lab22-dpo-vn

base_model: unsloth/Qwen2.5-3B-bnb-4bit library_name: peft pipeline_tag: text-generation tags:

• base_model:adapter:unsloth/Qwen2.5-3B-bnb-4bit
• dpo
• lora
• transformers
• trl
• unsloth

---

Model Card for Qwen2.5-3B DPO

Model Details

Model Description

• Developed by: Lê Duy Anh
• Model type: Causal Language Model (DPO Fine-tuned)
• Language(s) (NLP): English / Vietnamese
• License: Apache 2.0 (Kế thừa từ base model Qwen2.5)
• Finetuned from model: unsloth/Qwen2.5-3B-bnb-4bit

Uses

Direct Use

Mô hình này có thể được sử dụng trực tiếp để sinh văn bản trả lời các hướng dẫn (instructions), với sự cải thiện về độ an toàn và mức độ hữu ích nhờ phương pháp Direct Preference Optimization (DPO).

Out-of-Scope Use

Mô hình chỉ phục vụ cho mục đích nghiên cứu và học tập. Không khuyến khích sử dụng cho các hệ thống ra quyết định tự động, y tế, hay các lĩnh vực yêu cầu độ chính xác tuyệt đối mà không có sự giám sát của con người.

Bias, Risks, and Limitations

Giống như các LLM khác, mô hình có thể gặp hiện tượng hallucination (sinh ra thông tin không chính xác) hoặc kế thừa định kiến có sẵn trong tập dữ liệu UltraFeedback và vi_alpaca_clean.

Recommendations

Người dùng nên tự xác minh lại các thông tin do mô hình sinh ra trước khi sử dụng vào thực tế.

Training Details

Training Data

Quá trình fine-tune trải qua 2 giai đoạn với 2 tập dữ liệu:

• SFT Dataset: tsdocode/vi_alpaca_clean (1,000 mẫu tiếng Việt).
• Preference Dataset (DPO): argilla/ultrafeedback-binarized-preferences-cleaned (2,000 cặp tiếng Anh).

Preprocessing

Dữ liệu được format tự động theo Qwen2.5 Chat Template, bao gồm các trường prompt, chosen và rejected với chiều dài tối đa là 512 tokens (chiều dài prompt tối đa 256 tokens).

Training Hyperparameters

• Learning rate: 5e-07
• Beta: 0.1
• Loss type: sigmoid
• Epochs: 1
• Batch size: 8 (1 per device * 8 gradient accumulation steps)
• Optimizer: adamw_8bit
• LR Scheduler: cosine
• Max sequence length: 512

Speeds, Sizes, Times

• Trainable parameters: 29,933,568 (0.96%)
• Training steps: 250
• Training time (DPO): ~50 phút.

Evaluation

Testing Data

50 cặp dữ liệu cuối cùng từ tập argilla/ultrafeedback-binarized-preferences-cleaned được cắt ra để làm tập eval.

Metrics

• DPO Loss: Giám sát mức độ hội tụ của mô hình trong việc học preference.
• Reward margins/gap: Theo dõi sự khác biệt giữa chosen rewards và rejected rewards.

Results

• Final SFT Loss: 1.6288
• Final DPO Loss: 1.1995
• Quá trình train cho thấy chosen reward có xu hướng đi ngang/tăng nhẹ, trong khi rejected reward giảm nhanh, tạo ra reward margin rõ rệt.

Environmental Impact

• Hardware Type: NVIDIA Tesla T4 GPU (15.6 GB VRAM)
• Hours used: ~1 giờ
• Cloud Provider: Google Colab Free Tier

Technical Specifications

Model Architecture and Objective

Kiến trúc Qwen2.5-3B (Causal LM) được gắn thêm LoRA adapter (r=16, alpha=32). Mục tiêu huấn luyện là Alignment mô hình với sở thích con người thông qua thuật toán DPO.

Compute Infrastructure

Môi trường máy ảo Linux trên Google Colab.

Hardware

NVIDIA Tesla T4 GPU

Software

unsloth, transformers, trl, peft 0.19.1, PyTorch