kogpt2-chatbot-lora

모델 이름

khamrai/nsmc-sentiment-lora

모델 설명

NSMC 데이터셋으로 파인튜닝된 한국어 감정 분석 모델입니다.

모델 상세

• 베이스 모델 : klue/bert-base
• 파인튜닝 방법 : LoRA
• 언어 : 한국어

LoRA 설정

• 학습 파라미터: 약 0.3% (~300K)
• 데이터셋: NSMC (네이버 영화 리뷰)
• Task: 이진 분류 (긍정/부정)

학습 설정

• LoRA Rank (r): 8
• LoRA Alpha: 16
• Target Modules: query, value
• Dropout: 0.1
• 학습 에폭: 5
• 학습률: 5e-4

학습 결과

=== 챗봇 테스트 ===

질문: 안녕하세요? 답변: 저는 늘 사랑이에요.

질문: 오늘 날씨가 어때? 답변: 날씨가 참 따뜻하죠.

질문: 배고픈데 뭐 먹을까? 답변: 커피도 드세요.

질문: 주말에 뭐하지? 답변: 데이트 시간 빼곡하게 차려보세요.

사용 방법

from transformers import AutoModelForSequenceClassification, AutoTokenizer
from peft import PeftModel
import torch

# 베이스 모델 로드
base_model = AutoModelForSequenceClassification.from_pretrained(
    "klue/bert-base",
    num_labels=2
)

# LoRA 어댑터 로드
model = PeftModel.from_pretrained(base_model, "khamrai/nsmc-sentiment-lora")
tokenizer = AutoTokenizer.from_pretrained("khamrai/nsmc-sentiment-lora")

# 추론
text = "이 영화 정말 재미있어요!"

inputs = tokenizer(text, return_tensors="pt", truncation=True, max_length=128)
outputs = model(**inputs)

probs = torch.softmax(outputs.logits, dim=-1)
pred = torch.argmax(probs, dim=-1).item()

label = "긍정" if pred == 1 else "부정"
confidence = probs[0][pred].item()

print(f"결과: {label} (확신도: {confidence:.2%})")

모델 정보

• 베이스 모델: klue/bert-base
• 파인튜닝 방법: LoRA (Low-Rank Adaptation)
• 학습 파라미터: 약 0.3% (~300K)
• 데이터셋: NSMC (네이버 영화 리뷰)
• Task: 이진 분류 (긍정/부정)