vit5-vietnews-sum

ViT5-base fine-tuned for Vietnamese Abstractive News Summarization

Mô hình tóm tắt tin tức tiếng Việt (abstractive), fine-tune từ VietAI/vit5-base trên tập nam194/vietnews.

Đây không phải VietAI/vit5-base-vietnews-summarization. Mô hình này được fine-tune độc lập trong khuôn khổ một đồ án tốt nghiệp, xuất phát từ checkpoint nền VietAI/vit5-base.

Cách dùng

Yêu cầu transformers >= 5.0 (tokenizer dùng backend TokenizersBackend của v5).

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM

MODEL_ID = "<username>/vit5-base-vietnews-summarization-finetuned"

tokenizer = AutoTokenizer.from_pretrained(MODEL_ID)
model = AutoModelForSeq2SeqLM.from_pretrained(MODEL_ID)

article = "..."  # bài báo tiếng Việt

inputs = tokenizer(
    article,
    return_tensors="pt",
    truncation=True,
    max_length=768,
)
outputs = model.generate(
    **inputs,
    num_beams=4,
    max_new_tokens=128,
    min_new_tokens=8,
    no_repeat_ngram_size=3,
    length_penalty=1.0,
    early_stopping=True,
)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

Các tham số sinh ở trên đã được ghi sẵn trong generation_config.json, nên gọi model.generate(**inputs) không truyền gì cũng cho kết quả tương đương.

Tiền xử lý đầu vào

Kết quả tốt nhất khi đầu vào được xử lý giống lúc huấn luyện:

• thay dấu gạch dưới _ (word segmentation của vietnews) bằng khoảng trắng
• chuẩn hoá khoảng trắng thừa
• không thêm prefix nào (mô hình được huấn luyện với prefix rỗng)
• không tự thêm </s> — tokenizer đã tự thêm
• cắt nguồn ở 768 token, mục tiêu ở 128 token

Kết quả

Đánh giá một lần duy nhất trên split test (22.498 mẫu, không lấy mẫu con), rouge_score 0.1.2, F1, thang 0–100, tắt stemmer (Porter stemmer chỉ dành cho tiếng Anh).

Phân tầng theo độ dài bài báo

Chất lượng giảm rõ rệt với bài dài hơn 768 token, vì phần vượt quá bị cắt bỏ.

Huấn luyện

Hàm mất mát là cross-entropy có trọng số theo token: tổng CE trên các token mục tiêu chia cho tổng số token mục tiêu trong toàn batch tích luỹ.

Checkpoint được chọn theo ROUGE-L trên validation. Split test chỉ được dùng đúng một lần, cho đánh giá cuối cùng — không có quyết định nào về siêu tham số, tiền xử lý, giải mã hay metric được đưa ra sau khi nhìn kết quả test.

Hạn chế

• Chỉ huấn luyện trên tin tức tiếng Việt; miền văn bản khác (hội thoại, pháp lý, y khoa) sẽ kém hơn đáng kể.
• Bài dài quá 768 token bị cắt, mất thông tin ở cuối bài.
• Mô hình abstractive nên có thể sinh ra chi tiết không có trong bài gốc (hallucination). Không dùng cho các tình huống cần độ chính xác sự kiện tuyệt đối mà không có người kiểm duyệt.
• Kế thừa các thiên lệch có trong dữ liệu tin tức nguồn.

Môi trường tham chiếu

python      3.12.3
torch       2.11.0+cu128
transformers 5.15.0
tokenizers  0.22.2