Downloads · 30 days
0
japanese-tokenizer-cc100
lighttransport/japanese-tokenizer-cc100
japanese-tokenizer-cc100 is a machine learning model from lighttransport. Use it for the machine learning task on the model card, and read the license before you ship it in a product. The card lists the license as mit.
Access
Public
Updated Jul 15, 2023
Repo size
—
Likes
2
Public
Repo makeup
Click a slice to open those files.
.json1.2 MB · 100%
At a glance
- License
- mit
- Access
- Public
- Created
- Jul 1, 2023
- Updated
- Jul 15, 2023
- SHA
- b914e30b
Model card
From the Hugging Face model README
日本語データセットで train した Tokenizer です.
単体での利用は想定しておらず, LLaMa Tokenizer などにマージして利用するのを想定しています.
Training script
train_jp_tokenizer.py を参照ください.
Trained tokenizer
tokenizer-cc100-ja.jsoncc100 ja データセットをそのまま(normalize など適用せずに) train したもの. vocab size 30000.
TODO
- Normalize した日本語テキストに対して train する
- マージした Tokenizer をアップロードする
- License
- mit
- Languages
- ja
- Created
- Jul 1, 2023
- Updated
- Jul 15, 2023