Downloads · 30 days
0
Qwen2.5-7B-Instruct__trimm_vocab
Symato/Qwen2.5-7B-Instruct__trimm_vocab
Qwen2.5-7B-Instruct__trimm_vocab is a machine learning model from Symato. Use it for the machine learning task on the model card, and read the license before you ship it in a product.
Các kỹ thuật cắt tỉa vocab (cấm nói các ngôn ngữ không mong muốn), ví dụ khi dịch Anh Việt model hay chèn thêm từ tiếng Trung.
Access
Public
Updated Oct 21, 2024
Repo size
72.8 GB
Likes
3
Public
Repo makeup
Click a slice to open those files.
.safetensors72.5 GB · 100%
At a glance
- Access
- Public
- Created
- Oct 13, 2024
- Updated
- Oct 21, 2024
- SHA
- c7adb99c
Base models
Model card
From the Hugging Face model README
Các kỹ thuật cắt tỉa vocab (cấm nói các ngôn ngữ không mong muốn), ví dụ khi dịch Anh Việt model hay chèn thêm từ tiếng Trung.
mixed data training: kết hợp cải thiện tiếng Việt, cải thiện song ngữ Anh <=> Việt, và QA/RAG trong một lần huấn luyện. (xem data/final_finetune1.jsonl.xz)
Gần 1G text, 5 epochs, sẽ release toàn bộ epoch để test riêng và merge nếu muốn.
https://wandb.ai/tiendung/huggingface/runs/rmp30c82
Code và cách làm https://github.com/symato/physics_of_llms
Thảo luận ở https://discord.com/channels/1070551652341403769/1291645458841600051
python3 model_chat.py
- Languages
- vi
- Created
- Oct 13, 2024
- Updated
- Oct 21, 2024