Qwen2.5-3B-Instruct-KAI-GGUF

Qwen2.5-3B-Instruct-KAI

Instruction

Llama3.2-1B-Instruct-KAI, Llama3.2-3B-Instruct-KAI, Qwen2.5-0.5B-Instruct-KAI, Qwen2.5-1.5B-Instruct-KAI, and Qwen2.5-3B-Instruct-KAI are a collection of models fine-tuned on the open Qwen2.5* and Llama3.2* models. They are optimized for Vietnamese language understanding and generation tasks such as reading comprehension, information extraction, question answering and summarization.

Quickstart

This is a demonstration of loading a model and performing a question-answering or summarization task.

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "kiki-ailab/Qwen2.5-3B-Instruct-KAI"

model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype="auto",
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(model_name)

prompt = "Xin chào !"

messages = [
    {"role": "system", "content": "You are a helpful assistant."},
    {"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)

generated_ids = model.generate(
    **model_inputs,
    max_new_tokens=512
)
generated_ids = [
    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]

response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]

Examples

Example 1:

prompt = """Dưới đây là một số tài liệu / văn bản:

<DOC id="doc-1">
Theo một nghiên cứu gần đây, biến đổi khí hậu đã làm gia tăng tần suất và cường độ của các hiện tượng thời tiết cực đoan, bao gồm bão, hạn hán và lũ lụt. Các khu vực ven biển Đông Nam Á có nguy cơ cao nhất do nước biển dâng và hiện tượng xâm nhập mặn.
</DOC>
<DOC id="doc-2">
Một báo cáo từ Ngân hàng Thế giới cho thấy rằng biến đổi khí hậu sẽ ảnh hưởng nghiêm trọng đến sản xuất nông nghiệp, đặc biệt là ở các nước đang phát triển, nơi nền kinh tế phụ thuộc lớn vào nông nghiệp. Cụ thể, năng suất cây trồng có thể giảm từ 10% đến 25% trong 30 năm tới.
</DOC>
<DOC id="doc-3">
Một sáng kiến quốc tế đã được khởi động nhằm giảm thiểu tác động của biến đổi khí hậu thông qua việc thúc đẩy sử dụng năng lượng tái tạo và giảm phát thải carbon. Các nước phát triển đã cam kết hỗ trợ tài chính cho các quốc gia dễ bị tổn thương nhất, nhưng việc triển khai vẫn gặp nhiều thách thức.
</DOC>

TASK: Hãy trả lời câu hỏi "Biến đổi khí hậu ảnh hưởng như thế nào đến nông nghiệp ở các nước đang phát triển?"

INSTRUCTION:
1. Câu trả lời không quá 50 từ. 
2. Trích dẫn rõ ràng tài liệu nào chứa thông tin liên quan, theo format: [doc-k]"""

Example 2:

prompt = """Trả lời câu hỏi dựa vào nội dung đoạn văn sau:
====
Bão Milton bắt đầu đổ bộ vào Siesta Key, bang Florida, Mỹ, với sức gió 193 km/h, tương đương cấp 3 trong thang đo bão 5 cấp, vào khoảng 20h30 ngày 9/10 (7h30 sáng 10/10 giờ Hà Nội). Sau vài tiếng càn quét qua Florida, bão Milton hạ xuống cấp 2 và tiếp tục hạ xuống cấp 1 vào rạng sáng 10/10.

Đây là cơn bão thứ năm ở Mỹ và cơn bão thứ ba tấn công bang Florida trong năm nay. Trước khi bão Milton đổ bộ, Thống đốc Florida Ron DeSantis cho biết ít nhất 19 cơn lốc xoáy đã xuất hiện ở Florida và 116 cảnh báo lốc xoáy được ban bố khắp bang.

Mưa lớn xảy ra ở các khu vực, nhất là thành phố St. Petersburg khi hứng chịu "trận mưa nghìn năm có một", với lượng mưa trút xuống thành phố trong ba giờ tương đương ba tháng trong năm. Các thành phố McKay Creek, Clearwater Beach và Temple Terrace cũng ghi nhận lượng mưa lớn, lần lượt là 371 mm, 355 mm và 344 mm.
====

Yêu cầu câu trả lời hoặc là được trích ra từ đoạn văn, hoặc là 'NO ANSWER' nếu nội dung đoạn văn không liên quan đến câu hỏi.

Câu hỏi: Bão Milton mạnh như thế nào ? Diễn ra ở đâu ?
Câu trả lời:"""

Example 3:

prompt = """Cho văn bản dưới đây:
====
Bão Milton bắt đầu đổ bộ vào Siesta Key, bang Florida, Mỹ, với sức gió 193 km/h, tương đương cấp 3 trong thang đo bão 5 cấp, vào khoảng 20h30 ngày 9/10 (7h30 sáng 10/10 giờ Hà Nội). Sau vài tiếng càn quét qua Florida, bão Milton hạ xuống cấp 2 và tiếp tục hạ xuống cấp 1 vào rạng sáng 10/10.

Đây là cơn bão thứ năm ở Mỹ và cơn bão thứ ba tấn công bang Florida trong năm nay. Trước khi bão Milton đổ bộ, Thống đốc Florida Ron DeSantis cho biết ít nhất 19 cơn lốc xoáy đã xuất hiện ở Florida và 116 cảnh báo lốc xoáy được ban bố khắp bang.

Mưa lớn xảy ra ở các khu vực, nhất là thành phố St. Petersburg khi hứng chịu "trận mưa nghìn năm có một", với lượng mưa trút xuống thành phố trong ba giờ tương đương ba tháng trong năm. Các thành phố McKay Creek, Clearwater Beach và Temple Terrace cũng ghi nhận lượng mưa lớn, lần lượt là 371 mm, 355 mm và 344 mm.
====

TASK: Đặt tiêu đề và tóm tắt bài báo trên thành 1-2 câu."""

Benchmarks

VMLU

We evaluate our fine-tuned models on VMLU benchmarks provided by https://vmlu.ai

Evaluate on ArenaHard (CohereForAI)

We follow the evaluation method outlined in https://github.com/lmarena/arena-hard-auto to assess our fine-tuned models against others on the ArenaHard benchmark.

• Based model: Qwen/Qwen2.5-7B-Instruct
• Judge: Qwen/Qwen2.5-72B-Instruct

Disclaimer

• Might still hallucinate on cultural-specific content.
• Primary focus on Vietnamese language understanding.
• May not perform optimally for specialized technical domains.

Feedback

We welcome any feedback on these public models. Please send your comments to [email protected].