Downloads · 30 days
0
duongbambo/NLLB-200-1.3B-finetuned-vietnamese-chinese
NLLB-200-1.3B-finetuned-vietnamese-chinese is a translation model from duongbambo. Use it when you need text moved from one language to another. It is set up for transformers. The card lists the license as other.
Repository này chỉ chứa adapter đã fine-tune cho mô hình NLLB-200 Distilled 1.3B của Meta, sử dụng Transformers + PEFT.
Downloads · 30 days
0
Access
Public
Updated May 30, 2026
Repo size
113 MB
Likes
0
Public
Click a slice to open those files.
.safetensors75.6 MB · 67%
From the Hugging Face model README
Repository này chỉ chứa adapter đã fine-tune cho mô hình NLLB-200 Distilled 1.3B của Meta, sử dụng Transformers + PEFT.
Lưu ý quan trọng
Repository KHÔNG chứa toàn bộ trọng số của base model. Để sử dụng, bạn bắt buộc phải load base model gốc facebook/nllb-200-distilled-1.3B rồi gắn adapter trong repo này vào.
facebook/nllb-200-distilled-1.3Badapter_model.safetensors – trọng số adapter đã fine-tuneadapter_config.json – cấu hình adaptertokenizer.json, sentencepiece.bpe.model, ...)Repo được thiết kế nhẹ, dễ chia sẻ, không upload toàn bộ mô hình gốc dung lượng lớn.
pip install -U transformers peft accelerate bitsandbytes datasets evaluate sacrebleu sentencepiece
import torch
from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
from peft import PeftModel
BASE_MODEL = "facebook/nllb-200-distilled-1.3B"
ADAPTER_REPO = "manhha2502/Finetune-NLLB-200-Distilled-1.3B"
# Load tokenizer
tokenizer = AutoTokenizer.from_pretrained(BASE_MODEL)
# Load base model
base_model = AutoModelForSeq2SeqLM.from_pretrained(
BASE_MODEL,
torch_dtype=torch.float16,
device_map="auto"
)
# Gắn LoRA adapter
model = PeftModel.from_pretrained(base_model, ADAPTER_REPO)
model.eval()
Mô hình được fine-tune và đánh giá trên tập test của dataset manhha2502/nlp_data_zh_vi.
| Mô hình | BLEU | ChrF | TER |
|---|---|---|---|
| NLLB-200 Distilled 1.3B (base) | 22.64 | 40.52 | 76.17 |
| NLLB-200 Distilled 1.3B + LoRA (fine-tuned) | 31.96 | 48.09 | 62.97 |
Kết quả cho thấy mô hình NLLB-200 Distilled 1.3B + LoRA đạt được cải thiện rõ rệt và nhất quán so với base model trên tập test của dataset manhha2502/nlp_data_zh_vi.
| Chỉ số | Base model | Fine-tuned | Thay đổi |
|---|---|---|---|
| BLEU | 22.64 | 31.96 | +9.32 |
| ChrF | 40.52 | 48.09 | +7.57 |
| TER | 76.17 | 62.97 | −13.20 |
Các chỉ số đều cải thiện theo cùng một xu hướng tích cực:
Điều này cho thấy adapter LoRA đã học hiệu quả các đặc trưng song ngữ Trung – Việt, dù chỉ fine-tune một phần nhỏ tham số của mô hình gốc. Kết quả khẳng định phương pháp LoRA + NLLB-200 Distilled 1.3B là một hướng tiếp cận hiệu quả cho bài toán dịch máy song ngữ với chi phí tài nguyên thấp.