windyllm_2.3

WindyLLM 2.3

모델 설명

WindyLLM 2.3은 MMLU(Massive Multitask Language Understanding) 데이터셋으로 파인튜닝된 대화형 언어 모델입니다.

모델 정보

• 기반 모델: Llama 3 8B / Mistral 7B
• 파인튜닝 데이터셋: MMLU (다중 선택 질문 답변)
• 언어: 영어, 한국어
• 파라미터 수: ~7B-8B
• 훈련 방법: LoRA (Low-Rank Adaptation)

성능

• MMLU 정확도: 40-65%+ (파인튜닝 후)
• 향상도: 베이스라인 대비 +15-25% 개선

사용 방법

from transformers import AutoTokenizer, AutoModelForCausalLM

# 모델 로드
tokenizer = AutoTokenizer.from_pretrained("tklohj/windyllm_2.3")
model = AutoModelForCausalLM.from_pretrained("tklohj/windyllm_2.3")

# 추론 예시
question = "What is the capital of France?"
choices = ["London", "Paris", "Berlin", "Rome"]

prompt = f'''Answer this question with A, B, C, or D.

{question}

A) {choices[0]}
B) {choices[1]}
C) {choices[2]}
D) {choices[3]}

Answer:'''

inputs = tokenizer(prompt, return_tensors="pt")
outputs = model.generate(**inputs, max_new_tokens=20, temperature=0.1)
response = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(response)

훈련 세부사항

• LoRA 설정: rank=64, alpha=128
• 배치 크기: 4 (per device)
• 학습률: 2e-4
• 에폭: 3
• 양자화: 4bit (bitsandbytes)

제한사항

• 다중 선택 질문에 특화됨
• 긴 텍스트 생성에는 추가 튜닝 필요
• 한국어 성능은 영어 대비 제한적

라이선스

Apache 2.0

인용

@model{windyllm_2.3,
  title={WindyLLM 2.3: MMLU Fine-tuned Language Model},
  author={tklohj},
  year={2025},
  url={https://huggingface.co/tklohj/windyllm_2.3}
}