lfm2-1.2b-koen-mt-v6.4-merged

🌊 LFM2-1.2B-KoEn-MT-v6.4-merged

LiquidAI LFM2-1.2B 기반 고품질 한영/영한 양방향 번역 모델 (SFT)

🎯 v8 RL Adapter의 Base Model입니다.

RL Adapter: gyung/lfm2-1.2b-koen-mt-v8-rl-10k-adapter (CHrF++ 34.61 🏆)

📊 벤치마크 (Flores-200, 1012 Samples, En→Ko)

✅ v6.4는 GRPO 학습에 최적화된 안정적인 베이스 모델

🔧 v6.4의 특징

✨ 강점

1. Quote Bug 완전 해결: v6.1/v6.3에서 발생하던 "" 패턴이 완전히 사라짐
2. 자연스러운 문장 구조: 이전 버전보다 현대적이고 유려한 번역
3. 양방향 번역: EN ↔ KO 모두 단일 모델로 지원
4. RL 학습 최적 베이스: v8 GRPO 학습에서 검증된 안정성

⚠️ 알려진 한계

1. Tone Inconsistency: 존댓말/반말이 섞여 나오는 경우 있음 (→ RL로 해결됨)
2. 일부 고유명사 환각: 베이스 모델에서 상속된 편향 존재

💡 권장: 프로덕션 환경에서는 RL Adapter가 적용된 v8 사용 권장

🚀 사용법

기본 로드

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "gyung/lfm2-1.2b-koen-mt-v6.4-merged"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    device_map="auto",
    torch_dtype=torch.float16
)

영어 → 한국어 번역

messages = [
    {"role": "system", "content": "Translate to Korean."},
    {"role": "user", "content": "The training is progressing smoothly."}
]

input_ids = tokenizer.apply_chat_template(
    messages,
    return_tensors="pt",
    add_generation_prompt=True
).to(model.device)

outputs = model.generate(
    input_ids,
    max_new_tokens=256,
    do_sample=True,
    temperature=0.3,
    min_p=0.15,
    repetition_penalty=1.05
)

decoded = tokenizer.decode(outputs[0][input_ids.shape[1]:], skip_special_tokens=True)
print(decoded)
# 출력: 학습이 순조롭게 진행되고 있습니다.

한국어 → 영어 번역

messages = [
    {"role": "system", "content": "Translate to English."},
    {"role": "user", "content": "오늘 날씨가 정말 좋습니다."}
]

# 동일한 generate 코드 사용
# 출력: The weather is really nice today.

📈 학습 상세

2단계 커리큘럼 학습

학습 설정

학습 로그 (Phase 2)

🔗 관련 링크

• RL Adapter (v8): gyung/lfm2-1.2b-koen-mt-v8-rl-10k-adapter
• Previous SFT (v6.1): gyung/lfm2-1.2b-koen-mt-v6.1-curriculum
• Training Dataset: gyung/lfm2_koen_v6_sft_200k
• GitHub Repository: LFM2-KoEn-Tuning

📝 Citation

@misc{lfm2-koen-v6.4,
  author = {gyung},
  title = {LFM2-1.2B-KoEn-MT-v6.4: SFT-Enhanced Bidirectional Korean-English Translation Model},
  year = {2024},
  publisher = {Hugging Face},
  url = {https://huggingface.co/gyung/lfm2-1.2b-koen-mt-v6.4-merged}
}

📄 License

이 모델은 Liquid AI LFM Open License v1.0을 따릅니다.

• 허용: 학술 연구 및 개인적 사용
• 상업적 이용: 연 매출 1,000만 달러 미만 무료