Qwen2.5-Coder-7B-Stage1-100K-LoRA

🏛️ Qwen2.5-Coder-7B-Stage1-100K-LoRA (100K Mega Foundation Checkpoint)

<p align="center"> <img src="https://raw.githubusercontent.com/unslothai/unsloth/main/images/unsloth%20made%20with%20love.png" width="160"/> <br> <b>Checkpoint LoRA Siêu Nền Tảng: Huấn luyện trên 100.000 mẫu dữ liệu mở về Tool Calling, Code và Tiếng Việt toàn diện.</b> </p>

---

📌 1. TỔNG QUAN CHECKPOINT 100K MẪU

Đây là bộ trọng số LoRA Đại Nền Móng (Stage 1 Checkpoint) trong chuỗi dự án tối ưu hóa mô hình lập trình viên tiếng Việt, được đào tạo tiếp nối từ khoin68/Qwen2.5-Coder-7B-Vietnamese-LoRA (v1.0).

Mô hình đã hấp thụ trọn vẹn 100.000 mẫu dữ liệu SFT tuyển chọn thông qua 1.500 bước huấn luyện liên tục trên cụm máy chủ đám mây Kaggle GPU T4:

• 🛠️ 40.000 mẫu Tool Calling & Function Calling: Huấn luyện khả năng nhận diện và xuất cú pháp gọi hàm JSON chuẩn mực.
• 💻 30.000 mẫu Lập trình & Phân tích mã nguồn: Đa ngôn ngữ (Python, JS/TS, C++, Go, Java, Rust, SQL...) kèm giải thích chi tiết.
• 🇻🇳 30.000 mẫu Tiếng Việt Đời Sống & Tư Duy: Nạp kho hội thoại đời thường và tư duy suy luận logic sâu sắc.

---

📊 2. CHI TIẾT THÀNH PHẦN 100.000 MẪU DỮ LIỆU

---

⚙️ 3. THÔNG SỐ HUẤN LUYỆN (HYPERPARAMETERS)

• Base Model: unsloth/Qwen2.5-Coder-7B-Instruct-bnb-4bit (kế thừa trọng số v1.0).
• Framework: Unsloth (OpenAI Triton Kernels) + Hugging Face TRL (SFTTrainer).
• LoRA Rank ($r$): 32 | LoRA Alpha ($\alpha$): 32 | Dropout: 0.0.
• Target Modules: ["q_proj", "k_proj", "v_proj", "o_proj", "gate_proj", "up_proj", "down_proj"].
• Trainable Parameters: 80,740,352 / 7,696,356,864 (1.05% tổng tham số).
• Total Steps: 1,500 steps (~3.6 giờ tính toán liên tục trên Kaggle Tesla T4).
• Learning Rate: 1e-4 (Cosine Decay Scheduler).
• Batch Size: Per Device = 2, Gradient Accumulation = 4 (Effective Batch = 8).

---

💻 4. HƯỚNG DẪN SỬ DỤNG TRONG PYTHON

Nạp Model để Huấn luyện tiếp nối (Stage 2 SFT) hoặc Chạy suy luận:

import torch
from unsloth import FastLanguageModel

# 1. Nạp Model nền móng 100K mẫu
model, tokenizer = FastLanguageModel.from_pretrained(
    model_name = "khoin68/Qwen2.5-Coder-7B-Stage1-100K-LoRA",
    max_seq_length = 2048,
    dtype = None,
    load_in_4bit = True,
)

# 2. Bật chế độ suy luận nhanh
FastLanguageModel.for_inference(model)

# 3. Gửi câu hỏi kiểm tra khả năng gọi tool
messages = [
    {"role": "system", "content": "Bạn là trợ lý AI thông minh hỗ trợ gọi hàm hệ thống qua thẻ <tool_call>."},
    {"role": "user", "content": "Kiểm tra danh sách các file trong thư mục src/ và đọc nội dung file config.json giúp tôi."}
]

inputs = tokenizer.apply_chat_template(messages, tokenize=True, add_generation_prompt=True, return_tensors="pt").to("cuda")
outputs = model.generate(input_ids=inputs, max_new_tokens=256, temperature=0.3)
print(tokenizer.batch_decode(outputs)[0])

📜 5. BẢN QUYỀN & LỜI CẢM ƠN Phát triển và huấn luyện bởi: @khoin68. Mô hình gốc: Qwen2.5-Coder-7B (Alibaba Cloud). Công nghệ tăng tốc: Unsloth AI.