Downloads · 30 days
0
llm0to1-tokenizer
izlley2/llm0to1-tokenizer
llm0to1-tokenizer is a machine learning model from izlley2. Use it for the machine learning task on the model card, and read the license before you ship it in a product. The card lists the license as apache-2.0.
한/영 이중언어 LLM LLM0to1-10b 를 바닥부터 학습할 때 쓴 토크나이저.
Access
Public
Updated Aug 20, 2026
Repo size
13.8 MB
Likes
0
Public
Repo makeup
Click a slice to open those files.
.json13.8 MB · 100%
At a glance
- License
- apache-2.0
- Access
- Public
- Created
- Aug 20, 2026
- Updated
- Aug 20, 2026
- SHA
- 75bc1067
Model card
From the Hugging Face model README
LLM0to1 Tokenizer
한/영 이중언어 LLM LLM0to1-10b 를 바닥부터 학습할 때 쓴 토크나이저.
| 항목 | 값 |
|---|---|
| 방식 | byte-level BPE |
| vocab | 160,000 |
| 특수토큰 | ChatML (`< |
| 학습 코퍼스 | 한국어·영어·코드·수학 혼합(한국어 비중 상향) |
왜 vocab 160k 인가
한국어는 교착어라 형태소 경계가 많아 영어권 토크나이저(32k~50k)를 쓰면 한 어절이 여러 토큰으로 쪼개진다. 같은 문장을 표현하는 토큰 수가 늘면 (a) 유효 컨텍스트가 줄고 (b) 학습 효율이 떨어진다. vocab 을 160k 로 키워 한국어 토큰 효율을 확보했다.
사용
from transformers import AutoTokenizer
tok = AutoTokenizer.from_pretrained("izlley2/llm0to1-tokenizer")
print(tok("안녕하세요, 반갑습니다.")["input_ids"])
공개된 토큰화 코퍼스(llm0to1-pt-tokenized-*)의 .ds 파일은 이 토크나이저의 ID 열이다.
복호화 방법은 각 데이터셋 카드를 참조.
- License
- apache-2.0
- Languages
- ko, en
- Created
- Aug 20, 2026
- Updated
- Aug 20, 2026