Downloads · 30 days
4
17% of all-time downloads
mustela410/lab21-qwen35-triage-lora
lab21-qwen35-triage-lora is a text generation model from mustela410. Use it when you need the model to write or continue text. It is set up for peft.
LoRA adapter cho unsloth/Qwen3.5-4B: phân loại ticket hỗ trợ khách hàng tiếng Việt thành JSON 4 khoá (product, issuetype, urgency, sentiment). Train trong một lab có kiểm soát — mọi con số dưới đây đo được và tái lập…
Downloads · 30 days
4
17% of all-time downloads
All-time downloads
24
Public
Repo size
150 MB
Likes
0
Public
Click a slice to open those files.
.safetensors130 MB · 87%
From the Hugging Face model README
LoRA adapter cho unsloth/Qwen3.5-4B: phân loại ticket hỗ trợ khách hàng tiếng Việt thành JSON
4 khoá (product, issue_type, urgency, sentiment). Train trong một lab có kiểm soát —
mọi con số dưới đây đo được và tái lập được, kể cả con số xấu.
| Run | target | regression | format | latency (ms/mẫu) |
|---|---|---|---|---|
| base + prompt naive | 0.000 | 0.7244 | 0.0 | 2885.4 |
| base + prompt tối ưu | 0.755 | 0.7244 | 1.0 | 774.2 |
| adapter này | 0.975 | 0.4667 | 1.0 | 1246.8 |
Đọc hai cột đầu cùng nhau. Task đích tăng +0.220 so với prompt tốt nhất,
nhưng năng lực tổng quát (15 câu hỏi phổ thông, keyword recall) tụt -0.258 —
gấp ~13 lần biên cho phép 0.02, nên phán quyết của lab là FAILED.
Nguyên nhân: 100% dữ liệu train là một task duy nhất, không có replay data. Đây là quên thảm hoạ
(catastrophic forgetting) đo được, không phải suy đoán.
Đừng merge adapter này thành weight dùng chung cho mọi request — nó sẽ mang theo cả
-0.258. Merge không làm mất điểm task đích
(0.975 → 0.975, delta 0.0), nên cách ship đúng là
hot-swap theo endpoint: route triage nạp adapter, mọi route khác dùng base weight.
from peft import PeftModel
from transformers import AutoModelForCausalLM, AutoTokenizer
base = AutoModelForCausalLM.from_pretrained("unsloth/Qwen3.5-4B", torch_dtype="bfloat16", device_map="auto")
tok = AutoTokenizer.from_pretrained("unsloth/Qwen3.5-4B")
model = PeftModel.from_pretrained(base, "mustela410/lab21-qwen35-triage-lora") # bỏ dòng này = quay về base
Đầu vào là nội dung ticket (không cần system prompt), đầu ra là một object JSON 4 khoá.
| placement | text-linear (12 module, không gắn vào vision tower) |
| rank / alpha | r=16 / alpha=32 (alpha = 2r) |
| tham số train được | 32,464,896 |
| learning rate | 0.0001 (thang LoRA; 1e-5 kiểu full-FT cho target 0.000) |
| precision | bf16, 4-bit: False |
| max_steps | 30 (dùng chung cho cả 4 run để so sánh công bằng) |
| loss mask | assistant-only, supervised_fraction = 0.4149 (chứng minh bằng decode ngược) |
| final_loss | 0.3508 · train 860.4 s · peak VRAM 12.01 GB |
final_loss không phải thước xếp hạng: run QLoRA cùng lab có loss xấu hơn (0.3550) nhưng
target cao hơn (0.985).
Dữ liệu train là corpus sinh tự động cho lab (một miền, một task, tiếng Việt). Không dùng cho
production, không dùng cho quyết định ảnh hưởng tới người thật. urgency còn sai một quy ước
từ vựng: các ticket lịch sự không có mốc thời gian ("Mong shop phản hồi") bị dự đoán thap
trong khi nhãn là trung_binh — 5/50 lỗi còn lại đều thuộc đúng lớp này.
Bài tập môn AICB-P2T3 · Ngày 21 (Fine-tuning & An Toàn). Số liệu đầy đủ: submission/REPORT.md
trong repo code.