Qwen2.5-Coder-7B-Vietnamese-Agent-FINAL-LoRA-GGUF

Qwen2.5-Coder-7B-Vietnamese-Agent-FINAL-LoRA-GGUF

Model tiếng Việt được merge LoRA và quantize sang GGUF. Dung lượng bên dưới được đọc trực tiếp từ file sau khi build.

Thông số kỹ thuật

Các file GGUF

Dung lượng được đo bằng stat().st_size sau khi quantize; không phải số ước tính.

Prompt Template

Chat template thật được đọc từ tokenizer_config.json:

{% for message in messages %}{% if message['role'] == 'system' %}<|im_start|>system\n{{ message['content'] }}<|im_end|>\n{% elif message['role'] == 'user' %}<|im_start|>user\n{{ message['content'] }}<|im_end|>\n{% elif message['role'] == 'assistant' %}<|im_start|>assistant\n{{ message['content'] }}<|im_end|>\n{% endif %}{% endfor %}{% if add_generation_prompt %}<|im_start|>assistant\n{% endif %}

Hướng dẫn sử dụng nhanh

llama-cpp-python

from llama_cpp import Llama

llm = Llama(
    model_path="./Qwen2.5-Coder-7B-Vietnamese-Agent-FINAL-LoRA-Q4_K_M.gguf",
    n_ctx=8192,
    n_gpu_layers=-1,
    verbose=False,
)

response = llm.create_chat_completion(
    messages=[
        {"role": "user", "content": "Xin chào"},
    ],
    temperature=0.6,
    top_p=0.95,
)

print(response["choices"][0]["message"]["content"])

Ollama

FROM ./Qwen2.5-Coder-7B-Vietnamese-Agent-FINAL-LoRA-Q4_K_M.gguf

TEMPLATE """{{ if .System }}<|im_start|>system
{{ .System }}<|im_end|>
{{ end }}<|im_start|>user
{{ .Prompt }}<|im_end|>
<|im_start|>assistant
"""

PARAMETER temperature 0.6
PARAMETER top_p 0.95
PARAMETER num_ctx 8192

Minh bạch & License

• Base model: Qwen/Qwen2.5-Coder-7B-Instruct
• Base model license (đọc từ Hugging Face): apache-2.0
• LoRA adapter: khoin68/Qwen2.5-Coder-7B-Vietnamese-Agent-FINAL-LoRA
• LoRA adapter license (đọc từ Hugging Face): apache-2.0
• License của repo này được xác định sau khi pipeline xác minh license nguồn; không tự gán Apache-2.0.
• GGUF được merge và quantize tự động bởi BachDaThan.

Lưu ý

Model có thể sinh thông tin sai (hallucination). Không sử dụng output làm thay thế tư vấn chuyên môn trong các lĩnh vực quan trọng.