Downloads · 30 days
0
yennguyen45/LilyMT-domain-router-ONNX
LilyMT-domain-router-ONNX is a machine learning model from yennguyen45. Use it for the machine learning task on the model card, and read the license before you ship it in a product.
Phiên bản Web INT8 (~179 MB cho cả hai nhánh). Mỗi nhánh chỉ giữ encoder, decoder khởi đầu và decoder có KV-cache; các trọng số MatMul đã được lượng tử hóa động xuống INT8 để giảm dung lượng và RAM CPU.
Downloads · 30 days
0
Access
Public
Updated Sep 22, 2026
Repo size
185 MB
Likes
0
Public
Click a slice to open those files.
.onnx184 MB · 98%
From the Hugging Face model README
Phiên bản Web INT8 (~179 MB cho cả hai nhánh). Mỗi nhánh chỉ giữ encoder, decoder khởi đầu và decoder có KV-cache; các trọng số MatMul đã được lượng tử hóa động xuống INT8 để giảm dung lượng và RAM CPU.
Hai checkpoint được tách thật sự:
ancient-v3: Cổ đại và ABO cổ đại; đầu vào tiếng Trung thuần, không thêm tag.modern-v14: Hiện đại và ABO hiện đại; thêm tag thể loại và một câu trước làm bối cảnh.onnx_translate.py là runtime tham chiếu. Nó thực hiện OpenCC t2s, tách câu nhưng
không tách ở dấu ba chấm, giới hạn 160 token đầu vào và sinh bằng beam 2,
repetition_penalty=1.2, tối đa 300 token. Không dùng sampling.
Cài dependency bằng pip install -r requirements-onnx.txt, sau đó tích hợp lớp
LilyMTOnnx vào API web. Các tham số chuẩn cũng nằm trong runtime_config.json.
Đã kiểm tra suy luận bằng ONNX Runtime trên CPU với cả câu hiện đại và cổ đại.