Mistral-7B-sentiment-analysis-Vietnamese-GGUF

Mistral-7B-sentiment-analysis-Vietnamese-GGUF

Model tiếng Việt được merge LoRA và quantize sang GGUF. Dung lượng bên dưới được đọc trực tiếp từ file sau khi build.

Thông số kỹ thuật

Các file GGUF

Dung lượng được đo bằng stat().st_size sau khi quantize; không phải số ước tính.

Prompt Template

Chat template thật được đọc từ tokenizer_config.json:

Qwen2 ChatML (native runtime template; tokenizer_config.json không khai báo trực tiếp).

Hướng dẫn sử dụng nhanh

llama-cpp-python

from llama_cpp import Llama

llm = Llama(
    model_path="./Mistral-7B-sentiment-analysis-Vietnamese-Q4_K_M.gguf",
    n_ctx=8192,
    n_gpu_layers=-1,
    verbose=False,
)

response = llm.create_chat_completion(
    messages=[
        {"role": "user", "content": "Xin chào"},
    ],
    temperature=0.6,
    top_p=0.95,
)

print(response["choices"][0]["message"]["content"])

Ollama

FROM ./Mistral-7B-sentiment-analysis-Vietnamese-Q4_K_M.gguf

# Không tự chuyển template Jinja không tương thích sang Ollama. Hãy dùng chat template native của runtime.

PARAMETER temperature 0.6
PARAMETER top_p 0.95
PARAMETER num_ctx 8192

Minh bạch & License

• Base model: mistralai/Mistral-7B-Instruct-v0.3
• Base model license (đọc từ Hugging Face): apache-2.0
• LoRA adapter: quydau/Mistral-7B-sentiment-analysis-Vietnamese
• LoRA adapter license (đọc từ Hugging Face): apache-2.0
• License của repo này được xác định sau khi pipeline xác minh license nguồn; không tự gán Apache-2.0.
• GGUF được merge và quantize tự động bởi BachDaThan.

Lưu ý

Model có thể sinh thông tin sai (hallucination). Không sử dụng output làm thay thế tư vấn chuyên môn trong các lĩnh vực quan trọng.