Qwen2.5-Coder-7B-Vietnamese-GGUF

🚀 Qwen2.5-Coder-7B-Vietnamese-GGUF (v1.0 Preview)

<p align="center"> <img src="https://raw.githubusercontent.com/unslothai/unsloth/main/images/unsloth%20made%20with%20love.png" width="200"/> <b>Phiên bản Khởi đầu (v1.0): Mô hình AI Lập trình viên tiếng Việt tự nhiên, tối ưu hóa bởi Unsloth.</b> </p>

---

📌 1. GIỚI THIỆU PHIÊN BẢN v1.0 (RELEASE NOTES)

Đây là bản phát hành thử nghiệm đầu tiên (v1.0 Community Preview) trong chuỗi dự án tối ưu hóa mô hình lập trình cho cộng đồng lập trình viên Việt Nam.

Mô hình được tinh chỉnh bằng phương pháp QLoRA 4-bit (Unsloth) trên nền tảng Qwen2.5-Coder-7B-Instruct, tập trung giải quyết các điểm nghẽn lớn của các mô hình nước ngoài:

• ✅ Khắc phục lỗi ngôn ngữ: Loại bỏ hiện tượng dịch máy thô cứng và triệt tiêu nguy cơ tự nhảy sang tiếng Trung/Anh khi xử lý tác vụ kỹ thuật.
• ✅ Thấu hiểu Dev Slang Việt: Nắm bắt 100% các từ viết tắt và tiếng lóng thường ngày của lập trình viên Việt (k, ko, dc, ae, mn, bh, z b, fix bug, sập sv, dính cors, nuốt lỗi...).
• ✅ Định dạng chuẩn mực: Tự động tổ chức câu trả lời theo cấu trúc rõ ràng (# VAI TRÒ & MỤC TIÊU, phân tích nguyên nhân lỗi, khối code có comment tiếng Việt và bảng so sánh).

---

🗺️ 2. LỘ TRÌNH PHÁT TRIỂN DỰ ÁN (PROJECT ROADMAP)

Dự án được xây dựng theo quy trình huấn luyện 5 tầng chuyên sâu:

• v1.0 (Bản hiện tại): Định hình phong cách, giao tiếp tiếng Việt tự nhiên & Thấu hiểu Dev Slang (Đang phát hành tại repo này).
• v2.0 (Stage 1 Mega): Nạp Đại nền móng 100.000 mẫu dữ liệu (40k Tool Calling Glaive + 30k CodeFeedback + 30k UltraChat VN).
• v3.0 (Stage 2 Final Agent - Đang huấn luyện): Mài sắc 4.337 mẫu tinh hoa (ReAct Agent <thought> + <tool_call>, C++20/23 chuyên sâu, Vá lỗi bảo mật CWE, phong cách Gemini).
• v4.0 (Mega Polymath): Tích hợp Siêu dữ liệu Bách Khoa Toàn Thư, Lịch Sử Việt Nam & Thơ Ca Nghệ Thuật.

---

⚙️ 3. THÔNG SỐ KỸ THUẬT BẢN v1.0

• Base Model: Qwen/Qwen2.5-Coder-7B-Instruct
• Fine-tuning Framework: Unsloth (OpenAI Triton Kernels) + TRL.
• LoRA Configuration: Rank $r=32$, Alpha $\alpha=32$, Target Modules: all-linear.
• Định dạng xuất bản: GGUF 4-bit (q4_k_m) tương thích hoàn hảo với CPU và GPU phổ thông.
• Kích thước file: ~4.68 GB (Nạp vừa vặn trong 8GB VRAM hoặc 8GB - 16GB RAM máy tính).

---

💻 4. HƯỚNG DẪN CHẠY OFFLINE VỚI OLLAMA

Bước 1: Tạo file Modelfile

Tải file qwen2.5-coder-7b-instruct.Q4_K_M.gguf về máy và tạo file Modelfile trong cùng thư mục:

FROM ./qwen2.5-coder-7b-instruct.Q4_K_M.gguf

# Thiết lập tham số tối ưu
PARAMETER num_ctx 8192
PARAMETER temperature 0.6
PARAMETER top_p 0.9
PARAMETER repeat_penalty 1.15

TEMPLATE """{{ if .System }}<|im_start|>system
{{ .System }}<|im_end|>
{{ end }}{{ if .Prompt }}<|im_start|>user
{{ .Prompt }}<|im_end|>
{{ end }}<|im_start|>assistant
{{ .Response }}<|im_end|>"""

SYSTEM """Bạn là trợ lý AI chuyên gia lập trình. TUYỆT ĐỐI chỉ trả lời bằng Tiếng Việt và Code chuẩn mực."""

PARAMETER stop "<|im_end|>"
PARAMETER stop "<|endoftext|>"
Bước 2: Khởi tạo và chạy trên Terminal
code

# Tạo model vào Ollama
ollama create qwen-vn-v1 -f Modelfile

# Trò chuyện trực tiếp
ollama run qwen-vn-v1

📜 5. BẢN QUYỀN & TÁC GIẢ Phát triển và huấn luyện bởi: @khoin68. Tối ưu hóa mã nguồn mở: Unsloth AI Team & Alibaba Cloud Qwen Team.