ai-theories-tokenizer-ja

ai-theories 標準トークナイザ(日本語・文字レベル)

ai-theories(https://github.com/kojikojiprg/ai-theories)プロジェクトの成果物。 文字単位(character-level)のトークナイザのスクラッチ実装。

研究・教育目的で構築したものであり、品質保証は行っていない。商用・実運用での利用は 想定しない。

由来

006. 小型 GPT の事前学習 の本番実験で、日本語について 5 つのトークナイザ条件の中から選定された条件(文字レベル) である。006 が実際に使った日本語版 Wikipedia コーパス(記事タイトル・リビジョン ID を src/data/wikipedia_manifests/ja_006_pretraining.json に固定、約 24.58 MB)から、 006 と完全に同一の手順(訓練・検証に分割する前のコーパス全体から出現文字を語彙化する) で再構築した。

構成

• 方式: 文字レベル(character-level)
• 語彙サイズ: 4654(コーパスに出現したユニーク文字数、006 の本番 実行結果と一致することを確認済み)

tokenizer.json は文字 → ID の対応表(char_to_id)のみを含む (src/data/text.py の load_character_level_tokenizer_json() で読み込める)。