finetuned-vistral-summarize

Usage

This model is finetuned from Viet-Mistral/Vistral-7B-Chat.

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

system_prompt: str = "Bạn là một trợ lý tiếng Việt nhiệt tình và trung thực. Hãy luôn trả lời một cách hữu ích nhất và chính xác nhất có thể, tránh việc đưa ra thông tin sai lệch."

model_name = "salforis/finetuned-vistral-summarize"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype = torch.bfloat16,
    device_map = "auto",
    use_cache = True,
)

content = """
(Dân trí) - Xuất sắc đánh bại đối thủ người Phần Lan Vilma Viitanmen, nữ võ sĩ Việt Nam Hà Thị Linh giành vé dự Olympic Paris 2024.
Tối 2/6, Hà Thị Linh bước vào trận play-off tranh vé dự Olympic 2024 gặp đối thủ người Phần Lan - Vilma Viitanmen. Đây là cơ hội cuối cùng để boxing Việt Nam tìm thêm vé tới Thế vận hội.
Trước đối thủ mạnh, nữ võ sĩ Việt Nam chơi rất tự tin, phòng thủ kín kẽ và khi ra đòn có sự chính xác cao, giành chiến thắng chung cuộc với tỷ số 4-1 (30/27, 29/27, 28/29, 29/28, 29/28).
Chiến thắng đồng nghĩa Hà Thị Linh xếp hạng 3 nội dung 60kg nữ tại giải vòng loại Olympic ở Bangkok (Thái Lan) nhưng quan trọng hơn cô giành suất chính thức dự Olympic Paris 2024.
Như vậy, Hà Thị Linh là võ sĩ thứ 2 của boxing Việt Nam dự Olympic 2024 (sau võ Thị Kim Ánh). 4 năm trước, boxing Việt Nam cũng có 2 suất dự Olympic Tokyo 2020 của Nguyễn Văn Đương (57kg nam) và Nguyễn Thị Tâm (51kg nữ)
Đến thời điểm này, thể thao Việt Nam có 11 suất chính thức dự Olympic Paris, gồm Nguyễn Thị Thật (xe đạp), Trịnh Thu Vinh, Lê Thị Mộng Tuyền (bắn súng), Nguyễn Huy Hoàng (bơi), Trịnh Văn Vinh (cử tạ), Nguyễn Thùy Linh, Lê Đức Phát (cầu lông), Nguyễn Thị Hương (canoeing), Phạm Thị Huệ (rowing), Võ Thị Kim Ánh, Hà Thị Linh (boxing).
"""

conversation = [{"role": "system", "content": system_prompt }]
# while True:
human = (f"Hãy giúp tôi tóm tắt nội dung của bài viết sau đây, lưu ý không được làm mất những thông tin quan trọng của bài viết:/n{content}")
conversation.append({"role": "user", "content": human })
input_ids = tokenizer.apply_chat_template(conversation, return_tensors="pt").to(model.device) ### nếu dùng GPU
with torch.no_grad():
    out_ids = model.generate(
        input_ids = input_ids,
        max_new_tokens = 1024,
        top_p = 1.0,
        top_k = 40,
        do_sample = True,
        temperature = 0.5,
        repetition_penalty = 1.0,
        eos_token_id = tokenizer.eos_token_id,
        use_cache = True,
        )
    assistant = tokenizer.batch_decode(out_ids[:, input_ids.size(1): ], skip_special_tokens=True)[0].strip()
    print("Kết quả: ", assistant)