korean-1m-cpu-llm

Task 6 — 100만 파라미터 한국어 CPU 언어모델 (Ollama/GGUF 연동용 버전)

이 모델은 무엇인가

일반적인 대형 언어모델과 다릅니다. 목표는 "좋은 챗봇"이 아니라, 약 100만 개 파라미터짜리 트랜스포머를 처음부터(from scratch) 설계·학습·CPU 추론까지 실제로 실행해서 파이프라인 자체가 동작하는지 실측으로 증명하는 것이었습니다. 이 규모에서는 문법적으로 맞는 한글을 이어 쓰는 정도가 현실적인 한계이며, 사실 지식이나 대화 능력은 기대할 수 없습니다.

이 저장소의 가중치는 Ollama/GGUF로 실제 서빙 가능한지 검증하기 위해, 표준 byte-level BPE 토크나이저로 다시 만든 버전입니다. 같은 프로젝트에서 먼저 만든 문자 단위(character-level) 토크나이저 버전(파라미터 1,009,692개, 1,600스텝 학습, loss 2.80까지 수렴)이 원본이자 품질 기준이었지만, 그 토크나이저가 llama.cpp(Ollama의 추론 엔진)의 GPT-2 토크나이저 방식과 호환되지 않아 별도로 재구축했습니다.

실제 설계 수치

파라미터 배분: 토큰 임베딩 150,000개(14.8%) + 위치 임베딩 12,800개(1.3%) + 트랜스포머 레이어 7개 849,100개(83.9%) + 최종 LayerNorm 200개(0.02%).

학습 데이터

• 출처: blueapple8259/TinyStories-korean-edu (라이선스: CDLA-Sharing-1.0)
• 영어 원작 TinyStories(제한된 어휘의 간단한 동화체 문장으로 구성된 유명 연구용 데이터셋)를 한국어로 번역하고, 교육적 품질 점수 (fineweb-edu-classifier) 3점 이상만 필터링한 버전입니다.
• 전체 약 505,000개 중 처음 4,000개 이야기만 스트리밍으로 다운로드해 사용 (100만 파라미터 모델에는 전체 데이터셋이 불필요).
• 실제 코퍼스 크기: 약 2,008,063자.

학습 방법 및 실제 결과

• CPU 전용, 단일 프로세스, PyTorch로 직접 작성한 학습 루프 (batch=256, lr=3e-4, AdamW)
• 실제 학습 스텝: 300스텝, 실제 wall-clock 2,064.8초(약 34.4분)
  • 참고: 문자 단위 원본 버전은 1,600스텝(누적 11,689.9초)을 학습했으나, 이 BPE 버전은 "Ollama 연동이 기술적으로 되는지" 확인이 목적이었고 당일 마감 시간 제약이 있어 300스텝으로 축소했습니다. 따라서 문장 자연스러움은 원본보다 낮습니다.
• 실제 loss: 시작 train 7.3296 / val 7.2423 → 종료 train 5.6684 / val 5.6266 (val loss가 train loss와 근접하게 하락 — 과적합 징후 없음, 다만 300스텝 시점에도 loss가 계속 하락 중이었으므로 완전히 수렴하지는 않은 상태)

실제 생성 샘플 (선별 없음)

>>> 안녕
한가를.는에게를을. 날 그녀는은리를고가. 날 릴리는를었습니다 그들은이. 날 그녀는를

문법적으로 온전한 한국어 문장은 아니지만, "그녀는", "그들은이" 같은 한국어 조사 결합 패턴은 나타나고 있습니다 — 300스텝만 학습된 100만 파라미터 모델의 현실적인 결과물입니다.

정직한 평가

• 유효한 한글 음절 구조: 통과 (구조상 깨진 글자가 나올 수 없음)
• 그럴듯한 띄어쓰기: 미흡 (원본 문자 단위 버전보다도 부족 — 학습량이 적기 때문)
• 국소적으로 말이 되는 단어 배열: 약함
• 사실 지식/대화 능력/장거리 일관성: 없음 (이 규모의 모델에서는 애초에 기대하지 않는 항목)

어떻게 쓰는가

• HuggingFace transformers로 직접 로드: GPT2LMHeadModel.from_pretrained("min2ju2/korean-1m-cpu-llm")
• Ollama/GGUF로 서빙: 이 저장소의 가중치는 GGUF로 변환되어 로컬 Ollama에 korean-1m-bpe라는 이름으로 등록되어 실제 로컬 챗봇과 연결·응답까지 확인되었습니다 (이 저장소에는 GGUF 파일 자체는 포함되어 있지 않으며, 변환 절차만 검증되었습니다).

참고 문헌

• nanoGPT — 최소 GPT 학습 참조 구현체
• TinyStories (Eldan & Li) — 좁은 합성 코퍼스로 학습 시 100만 파라미터대 트랜스포머도 문법적 텍스트를 생성할 수 있음을 보인 연구
• Multilingual TinyStories — 비영어권 언어로 TinyStories 방법론을 확장한 선례
• KoBERT(8,002 vocab) / KR-BERT(12,367-16,424 vocab) — 기존 한국어 서브워드 토크나이저 사례, 이 프로젝트가 왜 더 작은 vocab을 택했는지의 비교 근거

다음 역량 단계로 가려면

10M 파라미터로 가려면 레이어 12개 안팎, hidden dim 256 안팎으로 늘리고 전체 데이터셋(632MB)을 활용해야 합니다. 100M 파라미터부터는 CPU 학습이 비현실적이라 GPU가 사실상 필수이며, 그 규모부터는 KoBERT/KR-BERT 수준의 실제 한국어 서브워드 토크나이저(8,000-16,000 vocab) 도입이 타당해집니다.

License and Copyright Notice / 라이선스 및 저작권 표시

license: mit로 표시된 라이선스는 이 저장소가 공개한 모델 가중치, 학습 코드 및 문서에 적용됩니다. 학습에 사용된 원본 데이터셋 blueapple8259/TinyStories-korean-edu는 CDLA-Sharing-1.0 라이선스를, 그 원작인 roneneldan/TinyStories는 해당 데이터셋 카드에 명시된 라이선스를 각각 그대로 따르며, 이 저장소는 그 라이선스를 변경하지 않습니다.

"Task 6 — 100만 파라미터 한국어 CPU 언어모델"은 주식회사 MKD(MKD Inc.)가 설계, 학습 및 평가한 모델입니다. 위 표에 기술된 아키텍처 설계, 토크나이저 구축, 학습 루프 구현 및 실험 결과는 주식회사 MKD의 작업물이며, 사전 서면 동의 없이 무단 복제, 배포, 재사용을 금지합니다. 학습에 사용된 원본 데이터의 저작권 및 라이선스는 위에 명시된 원 데이터셋 제공자에게 있습니다.

The MIT license noted above applies to the model weights, training code, and documentation published in this repository. The training data used, blueapple8259/TinyStories-korean-edu (CDLA-Sharing-1.0) and its source roneneldan/TinyStories (see that dataset's own card for its license), remain governed by their respective original licenses, unchanged by this repository.

"Task 6 — a 1M-parameter Korean CPU language model" was designed, trained, and evaluated by MKD Inc. (주식회사 MKD). The architecture design, tokenizer construction, training loop implementation, and experimental results described above are MKD Inc.'s own work and may not be copied, distributed, or reused without prior written permission. Copyright and licensing of the underlying training data remain with the original dataset providers noted above.'