Downloads · 30 days
130
26% of all-time downloads
kojikojiprg/ai-theories-small-gpt-en
ai-theories-small-gpt-en is a machine learning model from kojikojiprg. Use it for the machine learning task on the model card, and read the license before you ship it in a product. The card lists the license as mit.
ai-theories(https://github.com/kojikojiprg/ai-theories)プロジェクトの成果物。 Transformer decoder-only の GPT スタイル言語モデルを PyTorch でスクラッチ実装し、 英語 Wikipedia コーパスの一部で事前学習したもの(2181 ステップ、 バッチサイズ 32、系列長 256)。
Downloads · 30 days
130
26% of all-time downloads
All-time downloads
503
Public
Repo size
81.9 MB
Likes
0
Public
Click a slice to open those files.
.pt21 MB · 100%
From the Hugging Face model README
ai-theories(https://github.com/kojikojiprg/ai-theories)プロジェクトの成果物。
Transformer decoder-only の GPT スタイル言語モデルを PyTorch でスクラッチ実装し、
英語 Wikipedia コーパスの一部で事前学習したもの(2181 ステップ、
バッチサイズ 32、系列長 256)。
研究・教育目的のモデルであり、品質保証は行っていない。商用・実運用での利用は想定しない。
config.json を参照。トークナイザはバイトレベル BPE(語彙サイズ 8192)
だが、このリポジトリには同梱していない。 トークナイザは
kojikojiprg/ai-theories-tokenizer-en
を使用すること。
model_state.ptは、学習 2181 ステップを終了した時点の重みである。