vietnamese-sentiment-lora

Vietnamese Sentiment Classifier — LoRA Fine-tuning

Fine-tuned Gemma 2B-IT bằng QLoRA để phân loại cảm xúc (sentiment) tiếng Việt trên dataset UIT-VSFC.

Kết quả

Chi tiết theo class

Neutral F1 thấp hơn do chỉ có 8 samples trong test set, không phải do model kém.

Mô tả dự án

Bài toán

Phân loại câu phản hồi của sinh viên Việt Nam thành 3 loại: positive, negative, neutral.

Dataset

UIT-VSFC — Vietnamese Students' Feedback Corpus, gồm 16,000+ câu tiếng Việt được gán nhãn bởi người.

Phương pháp

QLoRA (Quantized Low-Rank Adaptation):

• Base model: google/gemma-2b-it
• Quantization: 4-bit NF4
• LoRA rank: 16, alpha: 32
• Target modules: q_proj, v_proj
• Trainable parameters: ~0.06% tổng tham số

Training config:

• Epochs: 3
• Batch size: 4 (gradient accumulation: 4, effective batch: 16)
• Learning rate: 2e-4 với cosine scheduler
• Optimizer: paged AdamW 8-bit
• Hardware: Google Colab A100 GPU

Training loss

Cách sử dụng

Cài đặt

pip install transformers peft bitsandbytes accelerate torch

Inference

from transformers import AutoTokenizer, AutoModelForCausalLM, BitsAndBytesConfig
from peft import PeftModel
import torch

# Load base model với 4-bit quantization
bnb_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_quant_type="nf4",
    bnb_4bit_compute_dtype=torch.float16,
)

base_model = AutoModelForCausalLM.from_pretrained(
    "google/gemma-2b-it",
    quantization_config=bnb_config,
    device_map="auto",
)

# Load LoRA adapter
model = PeftModel.from_pretrained(base_model, "tung1707/vietnamese-sentiment-lora")
tokenizer = AutoTokenizer.from_pretrained("tung1707/vietnamese-sentiment-lora")

# Predict
def predict_sentiment(text):
    prompt = f"""Phân loại sentiment của câu tiếng Việt sau thành đúng 1 từ: positive, negative, hoặc neutral.

Câu: "{text}"
Sentiment:"""
    
    inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
    with torch.no_grad():
        outputs = model.generate(**inputs, max_new_tokens=10, do_sample=False)
    response = tokenizer.decode(outputs[0][inputs["input_ids"].shape[1]:], skip_special_tokens=True)
    return response.strip().lower()

# Test
print(predict_sentiment("Giảng viên dạy rất nhiệt tình"))  # → positive
print(predict_sentiment("Phòng học quá nóng"))              # → negative
print(predict_sentiment("Lịch thi được thông báo đúng hạn")) # → neutral

Cấu trúc repo

├── LoRA_Vietnamese_Sentiment.ipynb   # Notebook training hoàn chỉnh
├── README.md
├── adapter_config.json               # LoRA config
└── adapter_model.safetensors         # LoRA weights (~vài MB)

Kiến thức kỹ thuật

Tại sao dùng LoRA thay vì full fine-tuning?

• Full fine-tuning Gemma 2B cần ~10GB VRAM và cập nhật toàn bộ 2.5 tỷ tham số
• LoRA chỉ thêm ~1.5M tham số mới (0.06%), chạy được trên Google Colab free (T4 GPU)
• Kết quả gần tương đương full fine-tuning cho task đơn giản như classification

Tại sao dùng QLoRA (4-bit)?

• Giảm VRAM từ ~10GB xuống ~3-4GB bằng cách quantize base model xuống 4-bit
• Chỉ LoRA adapter được train ở full precision
• Trade-off: mất rất ít accuracy, tiết kiệm rất nhiều tài nguyên

Tại sao chọn target_modules = ["q_proj", "v_proj"]?

• Đây là Query và Value projection trong attention mechanism
• Nghiên cứu gốc của LoRA (Hu et al., 2021) cho thấy fine-tune Q và V cho kết quả tốt nhất
• Thêm K projection không cải thiện đáng kể nhưng tốn thêm tài nguyên

Tài liệu tham khảo

• LoRA: Low-Rank Adaptation of Large Language Models (Hu et al., 2021)
• QLoRA: Efficient Finetuning of Quantized LLMs (Dettmers et al., 2023)
• UIT-VSFC Dataset (Nguyen et al., 2018)
• Gemma: Open Models Based on Gemini (Google, 2024)

Tác giả

Bùi Duy Tùng — GitHub | Email