kogpt2-chatbot-lora

모델 이름

• kogpt2-chatbot-lora

모델 설명

• 챗봇이 위로한다는 취지의 데이터셋으로 파인튜닝된 한국어 챗봇 모델

모델 상세

• 베이스 모델: skt/kogpt2-base-v2
• 파인 튜닝 방법: LoRA
• 언어: 한국어

LoRA 설정

r=16,
lora_alpha=32,
target_modules=["c_attn", "c_proj", "c_fc"],  
lora_dropout=0.05,
bias="none",
task_type=TaskType.CAUSAL_LM

학습 설정

num_train_epochs=10,
per_device_train_batch_size=4
per_device_eval_batch_size=8,
gradient_accumulation_steps=4,
learning_rate=0.0002,
warmup_steps=100,  
logging_steps=50,
eval_strategy= "epoch",
eval_steps=100,
save_strategy= "epoch",
save_steps=100,
load_best_model_at_end=True,
fp16=True,
report_to="none",
weight_decay=0.01, 

사용 방법

from peft import PeftModel

# 베이스 모델 로드 (분류용)
print("베이스 모델 로딩")
base_model_reload = AutoModelForSequenceClassification.from_pretrained(
    "klue/bert-base",
    num_labels=2
)

# 업로드한 LoRA 어댑터 로드
print(f"LoRA 어댑터 로딩: propagation/kogpt2-chatbot-lora")
model_reload = PeftModel.from_pretrained(base_model_reload, model_name_upload)
tokenizer_reload = AutoTokenizer.from_pretrained(model_name_upload)

# GPU로 이동
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
model_reload = model_reload.to(device)
model_reload.eval()

print("모델 로드 완료!")