Downloads · 30 days
4
24% of all-time downloads
ai_in_action_lab21_wrong_lr
Marvis12957/ai_in_action_lab21_wrong_lr
ai_in_action_lab21_wrong_lr is a machine learning model from Marvis12957. Use it for the machine learning task on the model card, and read the license before you ship it in a product. It is set up for peft. The card lists the license as apache-2.0.
⚠️ KHÔNG DÙNG ĐỂ INFERENCE. Đây là adapter đối chứng cố ý cấu hình sai, được push để làm tư liệu minh hoạ cho bài lab 21 — Fine-tuning LLMs (LoRA/QLoRA), không phải model dùng được.
All-time downloads
17
Public
Repo size
130 MB
Likes
0
Public
Repo makeup
Click a slice to open those files.
.safetensors130 MB · 100%
At a glance
- Library
- peft
- License
- apache-2.0
- Access
- Public
- Created
- Aug 21, 2026
- Updated
- Aug 21, 2026
- SHA
- 9a4a4eda
Base models
Model card
From the Hugging Face model README
ai_in_action_lab21_wrong_lr — LoRA adapter (đối chứng LR sai) ⚠️
⚠️ KHÔNG DÙNG ĐỂ INFERENCE. Đây là adapter đối chứng cố ý cấu hình sai, được push để làm tư liệu minh hoạ cho bài lab 21 — Fine-tuning LLMs (LoRA/QLoRA), không phải model dùng được.
Tác giả: Trần Văn Hiếu · MSSV 2A202602030
Cấu hình huấn luyện
Giống hệt run correct (cùng vị trí text-linear, cùng rank 16, cùng 32,464,896 tham số) —
chỉ khác duy nhất learning rate = 1e-5 thay vì 1e-4 (learning rate quy mô full
fine-tuning, quá thấp cho LoRA).
| Hạng mục | Giá trị |
|---|---|
| Base model | unsloth/Qwen3.5-4B |
| Vị trí LoRA | text-linear (12 module) |
| Rank (r) | 16 |
| Learning rate | 1e-5 (sai — nên là 1e-4) |
| Epochs / steps | 2 / 30 |
Kết quả đánh giá (n = 50 mẫu target)
| Metric | Giá trị |
|---|---|
| target accuracy | 0.000 |
| format validity | 0.000 — không sinh nổi một JSON hợp lệ nào |
| latency | 5243.8 ms (gấp 3.6 lần run đúng — model sinh văn bản dài, không dừng đúng chỗ) |
Vì sao vẫn push lên Hub
Final training loss của run này (1.5704) cao hơn correct (~0.627) nhưng không NaN, không
phân kỳ — nhìn thoáng qua chỉ có vẻ "hơi kém". Chỉ khi đánh giá trên tập target mới lộ ra
model hỏng hoàn toàn. Adapter này được giữ lại làm minh hoạ cho bài học: loss cuối không
phải thước đo đủ tin cậy để đánh giá một run fine-tuning.
- Library
- peft
- License
- apache-2.0
- Languages
- vi
- Created
- Aug 21, 2026
- Updated
- Aug 21, 2026