Downloads · 30 days
3
3% of all-time downloads
thbhybhybyhb/lab21-2A202601454-qwen35-triage-vi
lab21-2A202601454-qwen35-triage-vi is a machine learning model from thbhybhybyhb. Use it for the machine learning task on the model card, and read the license before you ship it in a product. It is set up for peft. The card lists the license as apache-2.0.
LoRA adapter phân loại ticket chăm sóc khách hàng tiếng Việt → JSON triage 4 trường.
Downloads · 30 days
3
3% of all-time downloads
All-time downloads
97
Public
Repo size
150 MB
Likes
0
Public
Click a slice to open those files.
.safetensors130 MB · 87%
From the Hugging Face model README
LoRA adapter phân loại ticket chăm sóc khách hàng tiếng Việt → JSON triage 4 trường.
Bài nộp Lab 21 (Track 3) — AICB-P2T3 Ngày 21, Chương 5 "Fine-tuning & An Toàn". Học viên: Bế Nguyễn Hà Sơn · MSSV: 2A202601454
unsloth/Qwen3.5-4Br=16, alpha=32, đặt trên toàn bộ lớp linear của text decoder (12 loại module), LR 1e-4max_length=1024, fp16 + GradScaler trên Tesla T4assistant-only — chỉ 43 % token được tính loss, đã chứng minh bằng giải mã ngược (xem results/mask_proof.json)Đầu vào là một ticket CSKH tiếng Việt, đầu ra bắt buộc là đúng một object JSON, 4 khoá, không markdown:
{"intent": "doi_tra", "urgency": "trung_binh", "product": "balo laptop", "sentiment": "trung_tinh"}
| Trường | Tập giá trị |
|---|---|
intent | doi_tra · van_chuyen · hoan_tien · san_pham_loi · hoi_thong_tin |
urgency | cao · trung_binh · thap |
sentiment | tieu_cuc · trung_tinh · tich_cuc |
product | tên sản phẩm xuất hiện trong ticket |
| Cấu hình | target | regression | format | latency (ms) |
|---|---|---|---|---|
| (a) base + prompt cẩu thả | 0.000 | 0.758 | 0.000 | 3249 |
| (b) base + prompt tối ưu | 0.765 | 0.758 | 1.000 | 1089 |
| (c) adapter này | 0.970 | 0.633 | 1.000 | 1435 |
Adapter được chấm với prompt cẩu thả — hành vi đã nằm trong trọng số, không cần schema trong prompt.
Trên tác vụ đích adapter thắng baseline prompt tốt nhất +0.205. Nhưng điểm năng lực phổ thông tụt −0.124 (dung sai 0.020) → quên thảm hoạ (catastrophic forgetting), vì 100 % dữ liệu huấn luyện là JSON và không có replay data.
Khuyến nghị sử dụng: dùng như adapter chuyên dụng bật/tắt theo route, không dùng làm model đa dụng. Muốn khắc phục: trộn 1–5 % dữ liệu hội thoại phổ thông vào tập train.
| run | thay đổi | target | train loss | peak VRAM |
|---|---|---|---|---|
correct (adapter này) | — | 0.970 | 0.6261 | 12.01 GB |
attn_only | chỉ q,v · r=283 (khớp số tham số) | 0.970 | 0.5367 | 12.02 GB |
wrong_lr | LR 1e-5 (thang full-FT) | 0.000 | 1.5704 | 12.01 GB |
qlora | 4-bit NF4 | 0.940 | 0.7058 | 7.09 GB |
Lưu ý: xếp theo train loss thì attn_only đứng đầu; xếp theo điểm tác vụ thì nó hoà với
correct. Train loss là bằng chứng đảo ngược, không chỉ là bằng chứng yếu.
from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel
import torch
BASE = "unsloth/Qwen3.5-4B"
ADAPTER = "thbhybhybyhb/lab21-2A202601454-qwen35-triage-vi"
tok = AutoTokenizer.from_pretrained(BASE, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(BASE, dtype=torch.float16,
device_map="auto", trust_remote_code=True)
model = PeftModel.from_pretrained(model, ADAPTER)
msgs = [
{"role": "system", "content": "Phân loại ticket sau."},
{"role": "user", "content": "Alo shop, mình đặt balo laptop mã đơn VN411453. "
"Cho tôi trả lại. Đã 3 ngày rồi. Cho tôi hỏi."},
]
text = tok.apply_chat_template(msgs, tokenize=False, add_generation_prompt=True)
out = model.generate(**tok(text, return_tensors="pt").to(model.device),
max_new_tokens=160, do_sample=False)
print(tok.decode(out[0], skip_special_tokens=True))
urgency = thap là điểm yếu duy nhất còn lại: toàn bộ 6/200 trường sai đều là trường này,
và cả 6 ticket đều chứa cụm "Khi nào tiện". Ba trường còn lại đúng 100 % trên 50 mẫu.valid_trace_rate = 0.00 — model không còn sinh khối <think>.results/ — toàn bộ số liệu thô: mask_proof.json, baselines_frozen.json, runs.csv,
verdict.json, autopsy.json, qualitative.json, template_check.json, token_stats.jsonsubmission/REPORT.md — báo cáo đánh giá đầy đủ 7 mục