Downloads · 30 days
9
13% of all-time downloads
Laplaces-Red-Devils/vihallu-qwen3-4b-softprompt
vihallu-qwen3-4b-softprompt is a text classification model from Laplaces-Red-Devils. Use it when you need a label for a piece of text. It is set up for peft.
Phát hiện hallucination tiếng Việt (ViHallu). Prompt Tuning: chèn 32 virtual token học được vào trước input, đóng băng toàn bộ base model — chỉ train 81,920 tham số (0.002%). Model 2 để so sánh với bản LoRA. DS319 Lab…
Downloads · 30 days
9
13% of all-time downloads
All-time downloads
67
Public
Repo size
11.8 MB
Likes
0
Public
Click a slice to open those files.
.json11.4 MB · 97%
From the Hugging Face model README
Phát hiện hallucination tiếng Việt (ViHallu). Prompt Tuning: chèn 32 virtual token học được vào trước input, đóng băng toàn bộ base model — chỉ train 81,920 tham số (0.002%). Model 2 để so sánh với bản LoRA. DS319 Lab 6 · Lương Đắc Nguyên (23521041).
| Accuracy | Precision | Recall | Macro-F1 | Sai format |
|---|---|---|---|---|
| 0.8135 | 0.8149 | 0.8106 | 0.8098 | 0/2000 |

So với LoRA (Acc 0.911): soft-prompt yếu hơn ~10 điểm nhưng chỉ dùng 81,920 tham số.
| Method | Prompt Tuning (PEFT), 32 virtual tokens |
| Epochs / lr | 5 / 5e-3 |
| max_seq_length | 2048 |
| Base | Qwen/Qwen3-4B-Instruct-2507 |