korean-textbook-finetuned3

Korean Textbook Fine-tuned Model

모델 설명

이 모델은 unsloth/gpt-oss-20b를 베이스로 하여 maywell/korean_textbooks 데이터셋으로 파인튜닝된 한국어 교육 전용 모델입니다.

모델 상세 정보

• 베이스 모델: unsloth/gpt-oss-20b
• 파인튜닝 데이터셋: maywell/korean_textbooks
• 훈련 방법: LoRA (Low-Rank Adaptation)
• 언어: 한국어 (Korean)
• 용도: 교육 콘텐츠 생성

사용 방법

모델 로드

from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel
import torch

# 베이스 모델 로드
base_model = AutoModelForCausalLM.from_pretrained(
    "unsloth/gpt-oss-20b",
    torch_dtype=torch.float16,
    device_map="auto"
)

# LoRA 어댑터 로드
model = PeftModel.from_pretrained(base_model, "PAUL1122/korean-textbook-finetuned")

# 토크나이저 로드
tokenizer = AutoTokenizer.from_pretrained("PAUL1122/korean-textbook-finetuned")

추론 예시

messages = [
    {"role": "system", "content": "당신은 한국어로 교육 내용을 설명하는 도움이 되는 어시스턴트입니다."},
    {"role": "user", "content": "2의 거듭제곱에 대해 설명해주세요."},
]

inputs = tokenizer.apply_chat_template(
    messages,
    add_generation_prompt=True,
    return_tensors="pt",
    return_dict=True
).to(model.device)

with torch.no_grad():
    outputs = model.generate(
        **inputs,
        max_new_tokens=512,
        do_sample=True,
        temperature=0.7,
        top_p=0.9,
        pad_token_id=tokenizer.eos_token_id
    )

response = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(response)

훈련 상세 정보

• 훈련 스텝: 30 steps
• LoRA rank: 8
• LoRA alpha: 16
• 타겟 모듈: ['q_proj', 'gate_proj', 'up_proj', 'k_proj', 'o_proj', 'v_proj', 'down_proj']
• 학습률: 자동 설정 (Unsloth 기본값)
• 배치 크기: 자동 설정
• 최적화: AdamW
• 정밀도: Mixed precision (fp16)

성능

이 모델은 한국어 교육 자료 생성에 특화되어 있으며, 다음과 같은 주제에서 우수한 성능을 보입니다:

• 수학 개념 설명
• 과학 원리 설명
• 교육적 내용 생성
• 한국어 대화

시스템 요구사항

• GPU 메모리: 최소 16GB (권장 24GB+)
• 시스템 RAM: 최소 16GB
• Python: 3.8+
• 주요 라이브러리: transformers, peft, torch

라이선스

이 모델은 베이스 모델의 라이선스를 따릅니다. 자세한 내용은 원본 모델의 라이선스를 확인해주세요.

인용

이 모델을 사용하신다면 다음과 같이 인용해주세요:

Korean Textbook Fine-tuned Model, based on unsloth/gpt-oss-20b
Fine-tuned on maywell/korean_textbooks dataset

제한사항

• 이 모델은 교육적 목적으로 설계되었습니다
• 일반적인 대화나 다른 도메인에서는 성능이 제한될 수 있습니다
• 항상 생성된 내용을 검토하고 검증하시기 바랍니다

관련 링크

• 베이스 모델: unsloth/gpt-oss-20b
• 데이터셋: maywell/korean_textbooks

연락처

문의사항이 있으시면 이슈를 통해 연락해주세요.