Downloads · 30 days
4
12% of all-time downloads
Tam109204/lab21-2A202601267-qwen3-triage-lora
lab21-2A202601267-qwen3-triage-lora is a text classification model from Tam109204. Use it when you need a label for a piece of text. It is set up for peft. The card lists the license as apache-2.0.
Adapter LoRA phân loại ticket chăm sóc khách hàng tiếng Việt thành JSON 4 khoá (intent, urgency, product, sentiment).
Downloads · 30 days
4
12% of all-time downloads
All-time downloads
33
Public
Repo size
150 MB
Likes
0
Public
Click a slice to open those files.
.safetensors130 MB · 87%
From the Hugging Face model README
Adapter LoRA phân loại ticket chăm sóc khách hàng tiếng Việt thành JSON 4 khoá
(intent, urgency, product, sentiment).
Bài nộp Lab 21 — AICB-P2T3 Ngày 21, Track 3. Trần Thị Thanh Tâm · MSSV 2A202601267
unsloth/Qwen3.5-4BREPORT.md · Artefact thô: results/| Vị trí adapter | text-linear (12 loại module linear) |
| r / alpha | 16 / 32 |
| Learning rate | 1e-4 (10× thang full-FT) |
| Epochs / steps | 2.0 / 30 |
| Batch hiệu dụng | 16 (1 × grad_accum 16) |
max_length | 1024 |
| Loss mask | assistant-only (39/94 token, 41,5%) |
| Precision | fp16 + gradient scaling (T4 sm_75 không có bf16) |
| Tham số huấn luyện | 32.464.896 |
| VRAM đỉnh | 12,01 GB / 14,6 GB |
| Dữ liệu | 225 train / 25 val, seed 42 |
| target | regression | format | latency (ms) | |
|---|---|---|---|---|
| (a) base + prompt ngây thơ | 0.000 | 0.758 | 0.000 | 3255,0 |
| (b) base + prompt tối ưu | 0.765 | 0.758 | 1.000 | 1062,6 |
| (c) adapter này | 0.970 | 0.611 | 1.000 | 1456,0 |
Adapter thắng nhiệm vụ đích rõ rệt (+0.205 so với prompt tối ưu) nhưng mất 0,147 năng
lực tổng quát, trong khi ngưỡng cho phép là 0,020 — vượt hơn 7 lần. Đây là catastrophic
forgetting: 225 mẫu huấn luyện đều cùng một dạng đầu ra JSON, không có dữ liệu replay nào
neo giữ năng lực cũ.
Adapter này công bố để chấm bài và tham khảo, không dùng cho sản xuất. Muốn chữa thì trộn 1–5% dữ liệu replay ngoài miền rồi huấn luyện lại.
Một lỗ hổng đã biết: cả 6 mẫu sai trong tập đánh giá đều chứa cụm "Khi nào tiện" — model
đoán urgency = trung_binh trong khi nhãn đúng là thap. 44 mẫu không chứa cụm này thì đúng
hết. Chi tiết trong REPORT.md §6.
from peft import PeftModel
from transformers import AutoModelForCausalLM, AutoTokenizer
base = AutoModelForCausalLM.from_pretrained("unsloth/Qwen3.5-4B", dtype="auto", device_map="auto")
model = PeftModel.from_pretrained(base, "Tam109204/lab21-2A202601267-qwen3-triage-lora")
tok = AutoTokenizer.from_pretrained("Tam109204/lab21-2A202601267-qwen3-triage-lora")