LLM0to1-10b-step20000

LLM0to1-10b — step 20000

바닥부터 학습한 ~10B 한/영 이중언어 LLM의 사전학습 중간 체크포인트입니다.

⚠️ base 모델 — instruction/chat 튜닝이 되어 있지 않습니다. ⚠️ LR 감쇠(anneal) 이전 체크포인트로 생성 품질이 낮습니다. 연구 목적 아카이브입니다.

스펙

학습

• 프레임워크: nanotron
• 옵티마이저: 하이브리드 Muon(2D 행렬) + AdamW(임베딩/norm)
• LR: WSD 스케줄, stable 2e-4 (이 체크포인트는 stable 구간)
• global batch: 2.1M 토큰 (512 × 4096)
• 학습량: 약 42B 토큰

사용법

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch
m = "izlley2/LLM0to1-10b-step20000"
tok = AutoTokenizer.from_pretrained(m)
model = AutoModelForCausalLM.from_pretrained(m, dtype=torch.bfloat16, device_map="auto")
ids = tok("대한민국의 수도는", return_tensors="pt").to(model.device)
print(tok.decode(model.generate(**ids, max_new_tokens=32)[0], skip_special_tokens=True))

이어서 사전학습하려면 원본 nanotron 체크포인트(옵티마이저 상태 포함)를 사용하세요: izlley2/LLM0to1-10b-step20000-nanotron

주의

• 안전성 정렬(alignment)이 되어 있지 않습니다.
• 학습 데이터에 이용약관이 있는 국내 코퍼스가 포함되어 있어 연구 목적으로 제한합니다. 상업적 이용 전 확인이 필요합니다.