Downloads · 30 days
4
4% of all-time downloads
hungarmen/lab21-2A202601523-qwen35-triage-vi
lab21-2A202601523-qwen35-triage-vi is a text generation model from hungarmen. Use it when you need the model to write or continue text. It is set up for peft. The card lists the license as apache-2.0.
Adapter LoRA phân loại ticket chăm sóc khách hàng tiếng Việt thành JSON 4 trường. Bài nộp Lab 21 (AICB-P2T3 · Ngày 21 — Fine-tuning & An Toàn).
Downloads · 30 days
4
4% of all-time downloads
All-time downloads
113
Public
Repo size
130 MB
Likes
0
Public
Click a slice to open those files.
.safetensors130 MB · 100%
From the Hugging Face model README
Adapter LoRA phân loại ticket chăm sóc khách hàng tiếng Việt thành JSON 4 trường. Bài nộp Lab 21 (AICB-P2T3 · Ngày 21 — Fine-tuning & An Toàn).
Họ tên: Nguyễn Quang Hưng · MSSV: 2A202601523 Repo bài nộp (code + report + results): https://github.com/hungdevcmc/Day21-Track3-Finetuning-Lab
Đọc phần "Phán quyết" trước khi dùng. Adapter này trượt cổng hồi quy của lab: nó thắng rõ trên tác vụ đích nhưng làm tụt năng lực phổ thông của model nền.
Đầu vào: một ticket CSKH tiếng Việt. Đầu ra: đúng một JSON, đúng 4 khóa, không markdown.
{"intent": "doi_tra", "urgency": "trung_binh", "product": "balo laptop", "sentiment": "trung_tinh"}
| Trường | Tập giá trị |
|---|---|
intent | doi_tra · van_chuyen · hoan_tien · san_pham_loi · hoi_thong_tin |
urgency | cao · trung_binh · thap |
sentiment | tieu_cuc · trung_tinh · tich_cuc |
product | tên sản phẩm xuất hiện trong ticket |
| Base model | unsloth/Qwen3.5-4B |
| Phương pháp | LoRA (PEFT), base đóng băng |
| Vị trí gắn | text-linear — toàn bộ 12 lớp linear của text decoder, không gắn vision tower |
r / alpha | 16 / 32 |
| Tham số huấn luyện | 32,464,896 |
| Learning rate | 1e-4 (≈ 10× thang full fine-tune) |
| Batch hiệu dụng | 16 (1 × grad_accum 16) |
| Epochs / steps | 2 / 30 optimizer steps |
max_length | 1024 (p95 đo được của corpus: 98 token) |
| Loss mask | assistant-only — supervised_fraction = 0.4149, câu hỏi không vào loss |
| Precision | fp16 + GradScaler (T4 · sm_75 · không có bf16) |
| Dữ liệu | 225 train / 25 val, tách seed 42 từ 250 ticket tổng hợp |
| Phần cứng | Colab Free T4 · peak VRAM 12.01 GB · 991 s |
Trọng số adapter được lưu ở fp32 (hệ quả của bước recast cho GradScaler trên fp16), nên file nặng ~124 MB thay vì ~62 MB.
Chấm trên 50 ticket giữ riêng (target), 15 câu kiến thức phổ thông (regression), greedy decoding.
| Run | target | regression | format | latency (ms) |
|---|---|---|---|---|
| (a) base + prompt ngây thơ | 0.000 | 0.758 | 0.000 | 3303.3 |
| (b) base + prompt tối ưu | 0.765 | 0.758 | 1.000 | 1060.6 |
| (c) adapter này | 0.970 | 0.656 | 1.000 | 1493.4 |
Adapter được chấm với prompt một câu ("Phân loại ticket sau."), còn (b) dùng prompt
schema đầy đủ — hành vi đã nằm trong trọng số, không phải trong prompt.
target Δ = +0.205 so với baseline prompt tối ưu đã đóng băng trước khi train ✅regression Δ = -0.102 — gấp 5.1 lần ngưỡng dung sai 0.020 ❌valid_trace_rate = 0.00 — khả năng sinh khối <think> biến mất hoàn toànĐây là quên thảm hoạ (catastrophic forgetting): 225 mẫu, 2 epoch, 100% token được supervise đều là JSON 4 trường. Đừng deploy adapter này như trợ lý tổng quát. Dùng được nếu mount có điều kiện — chỉ bật cho route triage, mọi request khác đi thẳng vào base model.
Điểm 0.970 = sai 6/200 trường. Cả 6 đều là cùng một trường (urgency), cùng một
chiều (thap → trung_binh), và cùng một cụm từ trong ticket: "Khi nào tiện."
Hai cue thap khác thì đúng 100% ("Không vội" 7/7, "Hỏi cho biết thôi" 5/5), dù cụm
"Khi nào tiện" xuất hiện tới 35 lần trong tập train và luôn gắn nhãn thap. Giả thuyết:
base model đọc cụm đó như câu hỏi về thời điểm, và 30 step chưa đủ để lật một tiên nghiệm
ngược chiều.
| Run | Biến đổi | r | trainable | target | VRAM GB |
|---|---|---|---|---|---|
correct (adapter này) | — | 16 | 32,464,896 | 0.970 | 12.01 |
attn_only | chỉ gắn q,v (rank khớp ngân sách) | 283 | 32,456,704 | 0.970 | 12.02 |
wrong_lr | LR 1e-5 (thang full-FT) | 16 | 32,464,896 | 0.000 | 12.01 |
qlora | 4-bit | 16 | 32,464,896 | 0.940 | 7.09 |
attn_only hoà, không thua — trên corpus này phép so vị trí-vs-rank đã bão hoà. Đáng
chú ý: xếp theo train loss thì attn_only (0.536) "thắng" correct (0.626), tức thứ tự
theo loss khác thứ tự theo năng lực thật.
from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel
BASE = "unsloth/Qwen3.5-4B"
tok = AutoTokenizer.from_pretrained(BASE)
model = AutoModelForCausalLM.from_pretrained(BASE, dtype="auto", device_map="auto")
model = PeftModel.from_pretrained(model, "hungarmen/lab21-2A202601523-qwen35-triage-vi")
msgs = [
{"role": "system", "content": "Phân loại ticket sau."},
{"role": "user", "content": "Alo shop, mình đặt balo laptop mã đơn VN411453. Cho tôi trả lại. Đã 3 ngày rồi."},
]
ids = tok.apply_chat_template(msgs, add_generation_prompt=True, return_tensors="pt").to(model.device)
out = model.generate(ids, max_new_tokens=96, do_sample=False)
print(tok.decode(out[0][ids.shape[-1]:], skip_special_tokens=True))
product được chấm bằng so khớp sau khi bỏ dấu, nên tên sản phẩm lạ có thể lệch.results/ — toàn bộ file chấm điểm: mask_proof.json, baselines_frozen.json,
runs.csv, verdict.json, autopsy.json, qualitative.json, token_stats.json,
template_check.jsonsubmission/REPORT.md — báo cáo đầy đủ 7 mục