Downloads · 30 days
0
ai-theories-tokenizer-en
kojikojiprg/ai-theories-tokenizer-en
ai-theories-tokenizer-en is a machine learning model from kojikojiprg. Use it for the machine learning task on the model card, and read the license before you ship it in a product. The card lists the license as cc-by-nc-4.0.
ai-theories(https://github.com/kojikojiprg/ai-theories)プロジェクトの成果物。 バイトレベル Byte Pair Encoding(BPE、語彙サイズ 8192)のスクラッチ実装によるトークナイザ。
Access
Public
Updated Sep 6, 2026
Repo size
—
Likes
0
Public
Repo makeup
Click a slice to open those files.
.json661 KB · 100%
At a glance
- License
- cc-by-nc-4.0
- Access
- Public
- Created
- Sep 6, 2026
- Updated
- Sep 6, 2026
- SHA
- e9d0ac9f
Model card
From the Hugging Face model README
ai-theories 標準トークナイザ(英語・バイトレベル BPE)
ai-theories(https://github.com/kojikojiprg/ai-theories)プロジェクトの成果物。
バイトレベル Byte Pair Encoding(BPE、語彙サイズ 8192)のスクラッチ実装によるトークナイザ。
研究・教育目的で構築したものであり、品質保証は行っていない。商用・実運用での利用は 想定しない。
由来
006. 小型 GPT の事前学習 の本番実験で、英語について 5 つのトークナイザ条件(文字レベル・バイトレベル BPE × 4 語彙サイズ・Unigram 言語モデル)の中から選定された条件(バイトレベル BPE、語彙サイズ 8192)である。学習済みの語彙・マージ規則自体は 008. デコーディング戦略 の学習済みモデルに同梱されていたものをそのまま引き継いでおり、再学習は行っていない。
構成
- 方式: バイトレベル BPE(byte-level Byte Pair Encoding)
- 語彙サイズ: 8192
- 事前分割チャンクの最大バイト数(
max_chunk_bytes): 64
tokenizer.json は merges・vocab・byte_level・chunk_split_mode・max_chunk_bytes・
symbol_to_id を含む(src/data/tokenizer.py の load_bpe_id_tokenizer_json() で
読み込める)。
- License
- cc-by-nc-4.0
- Languages
- en
- Created
- Sep 6, 2026
- Updated
- Sep 6, 2026