moche-tokenizer-ko-en-64k

<div align="center">

<a href="https://moche.ai"><img src="https://raw.githubusercontent.com/moche-ai/moche-core/main/brand/hero.gif?v=h2" width="100%" alt="moche"></a>

moche-tokenizer-ko-en-64k

a Korean+English balanced 64k BPE — 5.0× leaner on Korean than GPT-2

🏠 moche.ai  ·  🎮 Playground  ·  📝 Blog  ·  💻 GitHub  ·  🤗 Org

</div>

🧭 Where this fits — the moche roadmap

<img src="https://raw.githubusercontent.com/moche-ai/moche-core/main/brand/constel-tokenizer.gif?v=h2" width="100%">

모든 moche 모델은 이 토크나이저 위에 세워집니다 — 로드맵의 G0, 토대. 한국어는 소형 모델의 병목이었습니다. 이 64k KO+EN BPE는 한국어에서 GPT-2 대비 5.0× 효율이라, 모델이 파라미터를 '한글 철자'가 아니라 '지식'에 쓰게 합니다.

✨ Highlights

• 🇰🇷 한국어 5.0× — 2.47 vs GPT-2 0.50 자/토큰 (GPT-4 대비 2.4×)
• ⚖️ KO+EN 균형 64k — 영어는 −3%만 양보하고 한국어 5배 개선
• 🧱 G0 · 토대 — 모든 moche 모델이 공유하는 첫 계약
• 🔓 MIT 라이선스 — 자유 사용

🚀 Quickstart

<details> <summary><b>🚀 Recipe</b></summary>

이 저장소는 토크나이저 학습 레시피(train_ko_en.py)를 공개합니다. 학습된 토크나이저는 moche 모델에 내장되어 배포됩니다 (예: moche-native-g1-0.5b 의 token_bytes.pt).

</details>

---

<img src="https://raw.githubusercontent.com/moche-ai/moche-core/main/brand/fertility.png?v=h2" width="100%">

Fertility (자/토큰, 높을수록 효율적)

held-out 평가 (각 언어 ~3M chars):

• 한국어 fertility가 GPT-2 대비 5.0×, GPT-4 대비 2.4×.
• 영어는 64k 어휘를 두 언어가 나눠 쓰는 트레이드오프로 소폭(-3%) 양보 — 한국어 5배 개선의 대가로 명백히 이득.

학습 상세

• 알고리즘: BPE (rustbpe, GPT-4 스타일 pre-tokenization)
• vocab: 65,536
• 데이터: 한국어 1B chars (fineweb-2-edu-korean-score-2) + 영어 1B chars (ClimbMix) 교대 혼합, 문서당 10k chars cap
• 학습 시간: ~3분 (CPU)
• 평가: held-out 문서 (학습에 미사용)

사용

# nanochat RustBPETokenizer 포맷 (tokenizer.pkl)
# 학습·평가 스크립트: https://github.com/moche-ai/moche-native/blob/main/tokenizer/train_ko_en.py

라이선스

MIT. 학습 데이터는 전부 공개 코퍼스(ClimbMix, fineweb-2-edu-korean).

---

moche-native — 첫 토큰부터 직접 만드는 한·영 옴니 모델. 프로젝트 저장소