kogpt2-chatbot-lora

LoRA 한국어 챗봇

모델 설명

이 모델은 skt/kogpt2-base-v2 모델을 기반으로 LoRA 방식으로 파인튜닝한 한국어 챗봇 모델입니다.
입력한 질문에 대해 답변을 제공합니다.

모델 상세

• 베이스 모델 : kogpt2-chatbot-lora
• 파인튜닝 방법 : LoRA
• 언어 : 한국어
• 목적 : 텍스트 생성

LoRA 설정

r: 16
lora_alpha: 32
target_modules: ["c_attn", "c_proj", "c_fc"], 
lora_dropout: 0.05
task_type: TaskType.CAUSAL_LM
trainable params: 2,359,296 (all params: 127,524,096 / 1.85%)

학습 설정

num_train_epochs: 10
per_device_train_batch_size: 4
per_device_eval_batch_size: 8
gradient_accumulation_steps: 4
learning_rate: 0.0002
warmup_steps: 100
logging_steps: 50
eval_strategy: "epoch"
eval_steps: 100
save_strategy: "epoch"
save_steps: 100
fp16: True
weight_decay: 0.01

학습 결과

• 최종 성능 :
  • Loss: 0.4727
  • Perplexity: 1.60

사용 방법

# 1. 토크나이저 불러오기
tokenizer_reload = AutoTokenizer.from_pretrained(model_name_upload)

# 2. 베이스 모델 불러오기
base_reload = AutoModelForCausalLM.from_pretrained("skt/kogpt2-base-v2")

# 3. 학습할 때와 똑같이 크기 조정
base_reload.resize_token_embeddings(len(tokenizer_reload))
base_reload.config.pad_token_id = tokenizer_reload.pad_token_id

# 4. LoRA 불러오기
model_reload = PeftModel.from_pretrained(base_reload, model_name_upload)

모델 정보

이 모델은 교육 목적으로 만들어졌습니다.