Downloads · 30 days
2
2% of all-time downloads
Tuannt1601/lab21-2A202601330-qwen35-triage-vi
lab21-2A202601330-qwen35-triage-vi is a machine learning model from Tuannt1601. Use it for the machine learning task on the model card, and read the license before you ship it in a product. It is set up for peft. The card lists the license as apache-2.0.
Adapter LoRA (r=16, all-linear, LR 1e-4, 2 epochs / 30 step) fine-tune trên unsloth/Qwen3.5-4B, task: phân loại ticket chăm sóc khách hàng tiếng Việt thành JSON 4 trường (intent, urgency, product, sentiment).
Downloads · 30 days
2
2% of all-time downloads
All-time downloads
92
Public
Repo size
150 MB
Likes
0
Public
Click a slice to open those files.
.safetensors130 MB · 87%
From the Hugging Face model README
Adapter LoRA (r=16, all-linear, LR 1e-4, 2 epochs / 30 step) fine-tune trên unsloth/Qwen3.5-4B,
task: phân loại ticket chăm sóc khách hàng tiếng Việt thành JSON 4 trường
(intent, urgency, product, sentiment).
Bài lab AICB-P2T3 · Ngày 21 · Chương 5 — Fine-tuning & An Toàn.
| Run | target | regression | format | latency (ms) |
|---|---|---|---|---|
| base + naive prompt | 0.000 | 0.758 | 0.000 | 3238.9 |
| base + optimized prompt | 0.765 | 0.758 | 1.000 | 1051.7 |
| LoRA fine-tune (adapter này) | 0.970 | 0.678 | 1.000 | 1438.3 |
Verdict cổng hồi quy: FAILED — fine-tune thắng xa trên target (+0.205) nhưng regression
(năng lực chung, không liên quan task) tụt 0.080, vượt ngưỡng chịu đựng 0.02. Nguyên nhân cụ
thể: model bị collapse vào khuôn JSON của task triage kể cả khi gặp câu hỏi phổ thông không
liên quan. Chi tiết đầy đủ, bao gồm phân tích 4 run đối chứng (vị trí adapter, learning rate,
QLoRA) và ví dụ định tính: xem submission/REPORT.md trong repo này.
Khuyến nghị: chưa nên deploy thẳng — cần trộn thêm dữ liệu phổ thông vào tập train để chống quên trước khi dùng thật.
from peft import PeftModel
from transformers import AutoModelForCausalLM, AutoTokenizer
base = AutoModelForCausalLM.from_pretrained("unsloth/Qwen3.5-4B")
tok = AutoTokenizer.from_pretrained("unsloth/Qwen3.5-4B")
model = PeftModel.from_pretrained(base, "Tuannt1601/lab21-2A202601330-qwen35-triage-vi")
https://github.com/Tuannt04/Day21-Track3-Finetuning-Lab-2A202601330-NguyenThuaTuan