Qwen3-30B-A3B-Vietnamese-Instruct-GGUF

🇻🇳 Qwen3-30B-A3B Vietnamese Instruct — GGUF Q4_K_M

<div align="center">

Vietnamese-optimized Qwen3 MoE model, LoRA merged and quantized to GGUF Q4_K_M.

</div>

---

🌍 English Summary

A Vietnamese-optimized Qwen3-30B-A3B model merged with a Vietnamese instruction-tuning LoRA, then quantized to GGUF Q4_K_M format (~18.6 GB).

This model is designed to run efficiently on consumer hardware:

• NVIDIA RTX 3060 12GB or better with GPU offload
• Apple Silicon M1/M2/M3/M4 with 24GB+ unified memory
• CPU-only systems with 24GB+ RAM

Key Features

Feature	Details
Architecture	Qwen3 Mixture-of-Experts, ~30.5B total parameters
Active Parameters	~3.3B parameters per token
Primary Language	Vietnamese, also supports English and many other languages
Thinking Mode	Supports <think>...</think> reasoning blocks
Context Length	32,768 tokens native, extendable with YaRN
Quantization	GGUF Q4_K_M
File Size	Approximately 18.6 GB
License	Apache 2.0

Hardware Requirements

Setup	Minimum / Recommended
CPU only	24 GB RAM, 20 GB free disk
GPU offload	RTX 3060 12GB+ or RTX 4060 Ti 16GB
Apple Silicon	M1 Pro / M2 / M3 / M4 with 24GB+ unified memory

Quick Start with llama.cpp

wget https://huggingface.co/BachDaThan/Qwen3-30B-A3B-Vietnamese-Instruct-GGUF/resolve/main/Qwen3-30B-A3B-Vietnamese-Instruct-Q4_K_M.gguf

./llama-cli -m Qwen3-30B-A3B-Vietnamese-Instruct-Q4_K_M.gguf -c 8192 -ngl 99 --chat-template chatml

Quick Start with Ollama

cat > Modelfile << 'EOF'
FROM ./Qwen3-30B-A3B-Vietnamese-Instruct-Q4_K_M.gguf

TEMPLATE """{{ if .System }}<|im_start|>system
{{ .System }}<|im_end|>
{{ end }}
<|im_start|>user
{{ .Prompt }}<|im_end|>
<|im_start|>assistant
"""

SYSTEM "Bạn là trợ lý AI thông minh và hữu ích, trả lời bằng tiếng Việt."

PARAMETER temperature 0.6
PARAMETER top_p 0.95
PARAMETER top_k 20
PARAMETER repeat_penalty 1.1
PARAMETER num_ctx 8192
EOF

ollama create qwen3-viet -f Modelfile
ollama run qwen3-viet

Recommended Sampling Parameters

Parameter	Value
temperature	0.6
top_p	0.95
top_k	20
repeat_penalty	1.1
context length	8192 or higher if supported

---

🇻🇳 Tiếng Việt — Tài liệu đầy đủ

Đây là phiên bản GGUF Q4_K_M của model Qwen3-30B-A3B đã được tối ưu cho tiếng Việt bằng LoRA. LoRA được merge vào base model, sau đó chuyển sang GGUF và quantize để chạy trên máy cá nhân.

Điểm nổi bật

---

🏗️ Thông số kiến trúc

---

📦 Chi tiết Quantization

So sánh các mức quantize

---

💻 Yêu cầu phần cứng

CPU only

GPU offload

Apple Silicon

---

🚀 Hướng dẫn sử dụng

1. llama.cpp

wget https://huggingface.co/BachDaThan/Qwen3-30B-A3B-Vietnamese-Instruct-GGUF/resolve/main/Qwen3-30B-A3B-Vietnamese-Instruct-Q4_K_M.gguf

./llama-cli -m Qwen3-30B-A3B-Vietnamese-Instruct-Q4_K_M.gguf -c 8192 -ngl 99 --chat-template chatml

Chạy server API tương thích OpenAI:

./llama-server -m Qwen3-30B-A3B-Vietnamese-Instruct-Q4_K_M.gguf -c 8192 -ngl 99 --host 0.0.0.0 --port 8080

2. Ollama

cat > Modelfile << 'EOF'
FROM ./Qwen3-30B-A3B-Vietnamese-Instruct-Q4_K_M.gguf

TEMPLATE """{{ if .System }}<|im_start|>system
{{ .System }}<|im_end|>
{{ end }}
<|im_start|>user
{{ .Prompt }}<|im_end|>
<|im_start|>assistant
"""

SYSTEM "Bạn là trợ lý AI thông minh và hữu ích, trả lời bằng tiếng Việt."

PARAMETER temperature 0.6
PARAMETER top_p 0.95
PARAMETER top_k 20
PARAMETER repeat_penalty 1.1
PARAMETER num_ctx 8192
EOF

ollama create qwen3-viet -f Modelfile
ollama run qwen3-viet

3. LM Studio

1. Mở LM Studio.
2. Import file Qwen3-30B-A3B-Vietnamese-Instruct-Q4_K_M.gguf.
3. Load model.
4. Cấu hình khuyến nghị:
   • Temperature: 0.6
   • Top P: 0.95
   • Top K: 20
   • Repeat penalty: 1.1
   • Context: 8192
   • GPU layers: tối đa nếu có GPU

4. Python với llama-cpp-python

from llama_cpp import Llama

llm = Llama(
    model_path="./Qwen3-30B-A3B-Vietnamese-Instruct-Q4_K_M.gguf",
    n_ctx=8192,
    n_gpu_layers=-1,
    verbose=False,
)

response = llm.create_chat_completion(
    messages=[
        {"role": "system", "content": "Bạn là trợ lý AI thông minh, trả lời bằng tiếng Việt."},
        {"role": "user", "content": "Giải thích machine learning cho học sinh cấp 3."},
    ],
    temperature=0.6,
    top_p=0.95,
    top_k=20,
    repeat_penalty=1.1,
    max_tokens=2048,
)

print(response["choices"][0]["message"]["content"])

---

🧠 Thinking Mode

Qwen3 hỗ trợ hai chế độ:

Thinking Mode

Phù hợp cho toán học, lập trình, suy luận phức tạp. Model có thể tạo khối suy luận:

<think>
...
</think>

Khuyến nghị:

temperature = 0.6
top_p = 0.95
top_k = 20

Non-thinking Mode

Phù hợp cho chat nhanh, hội thoại thông thường.

Khuyến nghị:

temperature = 0.7
top_p = 0.8
top_k = 20

---

🔧 Quy trình build

1. Tải base model Qwen3-30B-A3B BF16
2. Tải Vietnamese LoRA adapter
3. Merge LoRA vào base model trên CPU
4. Lưu merged model dạng safetensors
5. Convert HF sang GGUF F16 bằng llama.cpp
6. Quantize F16 sang Q4_K_M bằng llama-quantize
7. Upload GGUF và README lên Hugging Face
8. Dọn dẹp file tạm

Toàn bộ pipeline được thiết kế để chạy bằng CPU trong Hugging Face Space.

---

⚠️ Hạn chế

1. Model được tối ưu cho tiếng Việt, có thể giảm hiệu năng ở ngôn ngữ khác.
2. Quantization Q4_K_M có thể giảm chất lượng nhẹ so với BF16 gốc.
3. Có thể xảy ra hallucination.
4. Không nên dùng cho tư vấn y tế, pháp lý, tài chính quan trọng mà không có chuyên gia kiểm duyệt.
5. Với ngữ cảnh rất dài, chất lượng có thể giảm nếu vượt quá độ dài huấn luyện hiệu dụng.

---

📖 Citation

@software{qwen3_vietnamese_gguf_2026,
  title = {Qwen3-30B-A3B Vietnamese Instruct GGUF},
  author = {BachDaThan},
  year = {2026},
  url = {https://huggingface.co/BachDaThan/Qwen3-30B-A3B-Vietnamese-Instruct-GGUF},
  license = {Apache-2.0}
}

---

🙏 Credits

---

<div align="center">

If this model is useful, please consider leaving a like on the Hugging Face repository.

Nếu model này hữu ích, hãy thả tim repo trên Hugging Face nhé!

</div>