Downloads · 30 days
0
LawAii/lab21-2A202601817-qwen35-triage-vi
lab21-2A202601817-qwen35-triage-vi is a machine learning model from LawAii. Use it for the machine learning task on the model card, and read the license before you ship it in a product.
Họ tên: Nguyễn Văn An MSSV: 2A202601817 Ngày: 21/08/2026
Downloads · 30 days
0
Access
Public
Updated Aug 21, 2026
Repo size
150 MB
Likes
0
Public
Click a slice to open those files.
.safetensors130 MB · 87%
From the Hugging Face model README
Họ tên: Nguyễn Văn An MSSV: 2A202601817 Ngày: 21/08/2026
Tier: T4 Base model: unsloth/Qwen3.5-4B GPU thực tế: Tesla T4 15.0 GB VRAM
Mọi con số dưới đây được trích xuất trực tiếp từ các file kết quả thực nghiệm trong
results/.
| Thông số | Giá trị |
|---|---|
| Dataset | 250 ticket CSKH tiếng Việt → JSON triage (4 trường) |
| Train / val | 225 / 25 mẫu (seed 42) |
| max_length | 256 — p95 đo được là 98 tokens (results/token_stats.json) |
| MASK_MODE | assistant-only |
| Epochs / max_steps | 2 epochs / 30 steps |
Template có giữ khối <think> không? Có — (results/template_check.json). Kết quả kiểm tra template render trả về ok: true, các thẻ <think> và nội dung suy luận đều được bảo toàn nguyên vẹn trong template jinja của Qwen3.5, đảm bảo an toàn khi huấn luyện với dữ liệu có chuỗi suy luận (reasoning traces).
| Chỉ số | Giá trị |
|---|---|
| supervised_fraction | 0.4149 (41.49%) |
| Câu trả lời nằm trong loss | True |
| Câu hỏi KHÔNG nằm trong loss | True |
Dán 3–5 dòng đầu của đoạn được tính loss:
</think>
{"intent": "doi_tra", "urgency": "trung_binh", "product": "balo laptop", "sentiment": "trung_tinh"}<|im_end|>
| Run | target | regression | format | latency (ms) |
|---|---|---|---|---|
| (a) base + naive prompt | 0.000 | 0.758 | 0.000 | 3258.2 |
| (b) base + optimized prompt | 0.765 | 0.758 | 1.000 | 1066.5 |
| (c) LoRA fine-tune | 0.970 | 0.611 | 1.000 | 1390.0 |
(b) có thật sự mạnh hơn (a) không? Có. Mô hình gốc khi dùng prompt tối ưu (b) đạt độ chính xác target 0.765 và format 1.000, vượt trội hoàn toàn so với naive prompt (a) chỉ đạt target 0.000 và format 0.000 do không có schema cụ thể. Tôi không sửa OPTIMIZED_PROMPT (SHA: 719e74d3b6232053), giữ nguyên prompt mẫu chuẩn để đảm bảo tính khách quan và liêm chính thực nghiệm, không làm yếu baseline để làm đẹp số liệu fine-tune.
| Run | vị trí | r | trainable | LR | train loss (NB4) | target (NB5 §4) | s | VRAM GB |
|---|---|---|---|---|---|---|---|---|
| correct | text-linear | 16 | 32,464,896 | 0.0001 | 0.6272 | 0.970 | 969.1 | 12.01 |
| attn_only | q,v | 283 | 32,456,704 | 0.0001 | 0.5368 | 0.970 | 794.9 | 12.02 |
| wrong_lr | text-linear | 16 | 32,464,896 | 0.00001 | 1.5704 | 0.000 | 919.0 | 12.01 |
| qlora | text-linear | 16 | 32,464,896 | 0.0001 | 0.7058 | 0.940 | 977.1 | 7.09 |
Xếp hạng bằng cột target, không bằng cột train loss — chấm bằng chỉ số thay thế chính là Lỗi #3.
4.1 — attn_only có cùng số tham số huấn luyện với correct. Trên tập target nó thắng, thua, hay hoà? Thứ tự đó có giống thứ tự theo train loss không? Điều đó nói gì về rank so với vị trí gắn adapter?
Trên tập target đánh giá độc lập (NB5), attn_only đạt 0.970, hoàn toàn hoà với correct (0.970). Tuy nhiên, nếu chỉ nhìn vào train loss ở NB4, attn_only có loss thấp hơn đáng kể (0.5368 so với 0.6272 của correct), tạo ảo giác rằng attn_only với rank cực cao ($r=283$) học tốt hơn. Điều này chứng minh rằng việc dồn toàn bộ ngân sách tham số vào rank tại các lớp Attention chỉ làm giảm training loss cục bộ (dễ overfit) mà không hề mang lại ưu thế tổng quát hóa trên tập test so với việc phân bổ đều rank nhỏ ($r=16$) trên toàn bộ các lớp all-linear. Đòn bẩy thực sự để đạt hiệu năng bền vững nằm ở vị trí gắn adapter bao phủ toàn bộ mạng (all-linear) chứ không phải cố gắng đẩy rank lên thật cao ở vài lớp đơn lẻ.
4.2 — wrong_lr chỉ khác đúng một con số. Đường loss khác nhau ra sao? Nếu chỉ nhìn loss mà không biết LR, bạn sẽ kết luận sai điều gì?
Ở run wrong_lr, việc áp dụng learning rate của full fine-tuning ($10^{-5}$) thay vì thang LoRA chuẩn ($10^{-4}$) khiến train loss bị kẹt ở mức rất cao là 1.5704 (so với 0.6272 của correct), dẫn đến điểm target hoàn toàn sụp đổ về 0.000. Nếu một kỹ sư chỉ nhìn vào đường loss phẳng lì này mà không biết rằng LR đang bị đặt quá bé cho LoRA, họ sẽ dễ dàng kết luận sai lầm rằng "tập dữ liệu CSKH quá khó, mô hình không đủ khả năng học" hoặc "phương pháp LoRA không hiệu quả đối với bài toán này". Trong thực tế, vì ma trận $B$ của LoRA được khởi tạo bằng 0, adapter cần một tốc độ học lớn hơn khoảng 10 lần so với full fine-tuning để các gradient ban đầu có thể phá vỡ thế cân bằng và kích hoạt quá trình cập nhật trọng số hiệu quả.
4.3 — qlora tiết kiệm bao nhiêu VRAM, trả giá bằng gì? Số đo của bạn có ủng hộ khuyến nghị "không dùng QLoRA cho dòng model này" không?
Run qlora tiết kiệm được khoảng 4.92 GB VRAM bộ nhớ đỉnh (giảm từ 12.01 GB xuống còn 7.09 GB, tương đương tiết kiệm hơn 40% VRAM GPU). Tuy nhiên, cái giá phải trả là độ chính xác target bị suy giảm từ 0.970 xuống 0.940 và train loss cao hơn (0.7058 so với 0.6272). Kết quả định lượng thực tế này hoàn toàn ủng hộ khuyến nghị kỹ thuật của nhà phát triển mô hình rằng đối với dòng Qwen3.5 kích thước 4B vốn đã vừa vặn trong bộ nhớ 16-bit (fp16) trên card T4, chúng ta không nên dùng QLoRA trừ khi phần cứng bị ép buộc ngặt nghèo, bởi vì sai số lượng tử hóa 4-bit của NF4 sẽ gây tổn thất hiệu năng trực tiếp lên độ chính xác trích xuất trường dữ liệu.
Kết quả cổng hồi quy: FAILED
target Δ = +0.205 · regression Δ = -0.147 · valid_trace_rate = 0.00
Diễn giải:
Cổng hồi quy (regression gate) đưa ra phán quyết FAILED bởi vì chỉ số năng lực tổng quát trên tập eval_regression bị sụt giảm 0.147 (từ 0.758 của base model xuống còn 0.611 sau khi fine-tune), vượt xa ngưỡng dung sai cho phép là 0.020 (2%). Hiện tượng này phản ánh trực tiếp vấn đề quên thảm họa (Catastrophic Forgetting) kinh điển trong học sâu: khi ta huấn luyện mô hình 30 steps trên một tập dữ liệu chuyên biệt hẹp gồm 250 mẫu chỉ có nhãn JSON trích xuất thực thể, mô hình đã dồn toàn bộ trọng số adapter để tối ưu hóa cấu trúc JSON cho nghiệp vụ CSKH mà làm xói mòn khả năng trả lời các câu hỏi logic, kiến thức ngôn ngữ tiếng Việt tổng quát. Mặc dù mô hình đạt bước tiến rất lớn trên bài toán mục tiêu (target Δ = +0.205, nâng độ chính xác từ 76.5% của few-shot prompt lên 97.0% của LoRA), nhưng phán quyết FAILED là một tín hiệu cảnh báo trung thực: chúng ta không thể đưa bản checkpoint này ra phục vụ môi trường chatbot đa nhiệm mà không có giải pháp bù đắp (chẳng hạn như trộn 1–5% dữ liệu đàm thoại tổng quát vào tập huấn luyện theo §14.3).
| # | Ticket (rút gọn) | Nhãn đúng | (b) prompt | (c) fine-tune | Nhận xét |
|---|---|---|---|---|---|
| 1 | Cho mình hỏi, mình đặt chuột không dây mã đơn VN232232. Cho tôi trả lại... | {"intent": "doi_tra", "urgency": "cao", "product": "chuột không dây", "sentiment": "tich_cuc"} | Sai intent (nhầm hoan_tien) | Đúng 100% (score 1.0) | ✅ FT thắng: Base prompt bị bối rối giữa cụm "trả lại" và hoàn tiền, trong khi FT phân loại chuẩn xác. |
| 2 | Shop ơi, mình đặt ốp lưng điện thoại mã đơn VN812931. Hoàn tiền. Sớm nhé... | {"intent": "hoan_tien", "urgency": "trung_binh", "product": "ốp lưng điện thoại", "sentiment": "tieu_cuc"} | Nhầm urgency "cao" | Đúng 100% (score 1.0) | ✅ FT thắng: FT phân biệt chính xác mức độ "trung_binh" của từ "Sớm nhé" thay vì gán nhãn "cao". |
| 3 | Cho mình hỏi, mình đặt bình giữ nhiệt mã đơn VN804124. Chưa thấy tiền. Khi nào tiện... | {"intent": "hoan_tien", "urgency": "thap", "product": "bình giữ nhiệt", "sentiment": "tich_cuc"} | Đúng 100% (score 1.0) | Sai urgency: dự đoán trung_binh (score 0.75) | ❌ FT thua: FT bị kích hoạt bởi từ khóa "Chưa thấy tiền" nên nâng mức khẩn cấp lên trung bình, bỏ qua cụm "Khi nào tiện". |
| 4 | Shop ơi, mình đặt nồi chiên không dầu mã đơn DH249548. Thiếu phụ kiện. Khi nào tiện... | {"intent": "san_pham_loi", "urgency": "thap", "product": "nồi chiên không dầu", "sentiment": "trung_tinh"} | Đúng 100% (score 1.0) | Sai urgency: dự đoán trung_binh (score 0.75) | ❌ FT thua: Mô hình FT có xu hướng thiên kiến (bias) dự đoán urgency trung bình khi gặp sự cố sản phẩm. |
| 5 | Shop ơi, mình đặt áo khoác gió mã đơn VN613097. Bị lỗi. Khi nào tiện. Cảm ơn shop nhiều. | {"intent": "san_pham_loi", "urgency": "thap", "product": "áo khoác gió", "sentiment": "tich_cuc"} | Đúng 100% (score 1.0) | Sai urgency: dự đoán trung_binh (score 0.75) | ❌ FT thua: Base model bắt được ngữ cảnh "Khi nào tiện" tốt hơn FT vốn đã bị ép học trên phân phối urgency lệch. |
Có mẫu chung nào ở các ca FT thua không?
Có một mẫu chung rất rõ ràng: Tất cả các ca mà bản Fine-tune bị mất điểm (đạt score 0.75 thay vì 1.0) đều bắt nguồn từ việc dự đoán sai trường urgency, cụ thể là mô hình gán nhãn trung_binh cho các mẫu có nhãn đúng là thap. Điều này xảy ra do trong tập huấn luyện 250 mẫu, các ticket chứa khiếu nại sản phẩm lỗi hoặc tiền bạc thường đi kèm urgency mức trung bình hoặc cao, tạo nên một sự liên kết ngầm (spurious correlation) khiến adapter có xu hướng đánh giá quá mức độ khẩn cấp bất chấp sự xuất hiện của các cụm từ giảm nhẹ như "Khi nào tiện", "Không vội".
Kết luận (≥150 từ):
Bản fine-tune LoRA (correct) cho thấy sự vượt trội tuyệt đối về khả năng xử lý bài toán nghiệp vụ chuyên biệt: nâng độ chính xác trích xuất JSON CSKH từ 0% (naive prompt) và 76.5% (optimized prompt) lên đến 97.0%, đồng thời đảm bảo 100% định dạng JSON chuẩn không markdown thừa. Tuy nhiên, nếu xét dưới góc độ một hệ thống triển khai sản phẩm thực tế (production system), chúng ta chưa nên deploy trực tiếp bản adapter đơn lẻ này cho toàn bộ luồng hội thoại chung do kết quả cổng hồi quy báo FAILED vì hiện tượng suy giảm 14.7% khả năng tổng quát (Catastrophic Forgetting).
Nếu sử dụng kiến trúc phân luồng (Router / Microservices) — trong đó một module chuyên trách chuyển hướng các ticket CSKH vào riêng model có gắn adapter LoRA này để xử lý trích xuất thông tin, thì việc deploy là hoàn toàn khả thi và đem lại hiệu quả vận hành vượt bậc so với việc chạy prompt dài tốn token.
Đòn bẩy kỹ thuật lớn nhất được chứng minh qua thực nghiệm trong lab này không phải là việc tăng tham số rank lên cực đại, mà chính là vùng cấu hình chuẩn (LoRA Without Regret): kết hợp giữa learning rate đúng thang ($10^{-4}$), vị trí gắn adapter bao phủ toàn bộ các lớp tuyến tính (all-linear), và cơ chế loss masking nghiêm ngặt chỉ tính trên phần phản hồi của assistant (supervised_fraction = 41.49%).
Ba điều tôi học được:
Không bao giờ dùng Training Loss làm thước đo phán quyết: Thí nghiệm đối chứng attn_only ($r=283$) có train loss thấp hơn correct ($r=16$) nhưng khi ra tập kiểm thử target thì kết quả bằng nhau; tối ưu loss trên tập train không đồng nghĩa với khả năng tổng quát hóa tốt hơn.
Loss Masking là tuyến phòng thủ cốt lõi của SFT: Nếu tính loss trên cả phần câu hỏi của người dùng (supervised_fraction tiệm cận 1.0), mô hình sẽ học thói quen lặp lại câu hỏi thay vì trích xuất nội dung cần trả lời.
Giá trị của việc đo baseline trước khi huấn luyện: Việc đóng băng và đo lường 2 baseline naive prompt và optimized prompt trước khi viết dòng code train giúp ta xác định chính xác ranh giới của Prompt Engineering trước khi quyết định đầu tư chi phí tính toán cho Fine-tuning.
Nếu có thêm 2 giờ nữa, tôi sẽ thử:
Trộn thêm 3% dữ liệu hội thoại tiếng Việt tổng quát (eval_regression) vào tập huấn luyện SFT (Replay Buffer Strategy) để khắc phục triệt để hiện tượng suy giảm năng lực tổng quát, đưa cổng hồi quy NB5 từ FAILED về PASSED.
B1 NB6 merge + hot-swap
B2 dataset miền riêng (data/CUSTOM_DATASET.md)
B3 reasoning-trace collapse (hai MASK_MODE, kèm valid_trace_rate)
B4 quét rank có kiểm soát
B5 HuggingFace Hub — link: https://huggingface.co/LawAii/lab21-2A202601817-qwen35-triage-vi