warmly-nmt-small100-enko

warmly-nmt-small100-enko — EN→KO 댓글 번역 파인튜닝 (B안 파일럿 v1, 게이트 미달)

⚠️ 파일럿 산출물 — 품질 게이트 미달로 채택되지 않음. 재현·비교 연구용으로 보존합니다.

SMaLL-100 (330M 다국어 NMT)를 Warmly(온기)의 "B안: 0.8B 영어 댓글 생성 + 소형 번역기" 트랙을 위해 EN→KO 감성 댓글 도메인으로 파인튜닝한 모델입니다 (2026-07-14, 883쌍, 교사 Qwen3.5-2B).

결과 요약

• 가설 입증: 내용 충실 번역 성공 (chrF 24 — 한국어 전용 KoBART가 en→ko를 아예 못 배운 것(chrF 5.67)과 대조). "0.8B의 한국어 접지 부족을 번역기로 우회"가 가능함을 확인.
• 게이트 미달 사유: 오역 5~6건/20 (broth→곰팡이, alpine→알프리카 등 — 학습 883쌍 + 2B 교사 오역이 원인), 이모지 소실.
• 후속: v2에서 NLLB-600M(8B 교사, 1410쌍)으로 개선 → neureps/warmly-nmt-nllb600-enko. 제로샷 선발전에서 NLLB-1.3B가 승자(오역 ~3-4)로 판정됨.

학습·추론 주의

• transformers 5에서는 SMaLL-100 토크나이저에 compat shim 필요 (nmt/small100_compat.py, qwen-prune 프로젝트)
• 학습 시 no_repeat_ngram_size=3 없으면 EOS를 못 배워 무한 반복
• 원본(비프루닝) vocab로 학습된 체크포인트

파일

best/ 체크포인트: model.safetensors (1.3GB, fp32) + 토크나이저 일체.