indictrans2-indic-indic-1B-ONNX-int8

IndicTrans2 1B (indic→indic) — ONNX bundle [INT8 (Dynamic Quantization)]

[!TIP] This model is part of a suite of optimized/quantized ONNX versions of the base model. Other variants in this direction:

• FP32 (Full Precision / Base): hari31416/indictrans2-indic-indic-1B-ONNX
• FP16 (Half Precision): hari31416/indictrans2-indic-indic-1B-ONNX-fp16
• INT8 (Dynamic Quantization): hari31416/indictrans2-indic-indic-1B-ONNX-int8 (Current)
• Q4F16 (4-bit Block Quantization): hari31416/indictrans2-indic-indic-1B-ONNX-q4f16

ONNX-exported and quantized version of ai4bharat/indictrans2-indic-indic-1B for in-browser and local edge inference.

• Precision: INT8 (Dynamic Quantization)
• Description: Dynamic INT8 quantization of the encoder and decoder. Highly recommended for CPU environments.
• Source Pipeline & Details: For pipeline details, benchmarks, and usage instructions, see the indictrans2-onnx-export GitHub repository.

Built for use with Transformers.js and onnxruntime-web in the browser, with fast BPE tokenizer.json files that don't require the SentencePiece WASM runtime.

Performance Visualizations

These charts show overall tradeoffs, language-level parity, and category breakdown.

Performance Tradeoffs & Size Comparison

Compared against the FP32 ONNX oracle on the golden evaluation fixtures.

Language-Level Parity (INT8)

Exact match rates and translation quality (SacreBLEU / chrF) per language pair under this precision:

Category-Level Parity (INT8)

Exact match rates and translation quality grouped by category types:

Translation Mismatch Examples

Here is a sample of up to 5 translation mismatches compared to the FP32 oracle. Many mismatches represent minor synonym differences or spacing variations.

Mismatch #1 (Category: Politics)

• Source (asm_Beng → ben_Beng): অনুগ্ৰহ কৰি পৰৱৰ্তী সোমবাৰৰ ভিতৰত সম্পূৰ্ণ কৰা কামটো দাখিল কৰক।
• Expected (FP32): দয়া করে পরবর্তী সোমবারের মধ্যে কাজটি সম্পন্ন করুন।
• Actual (INT8): দয়া করে পরবর্তী সোমবারের মধ্যে কাজটি সম্পূর্ণ করে জমা দিন।

Mismatch #2 (Category: Lexicon)

• Source (asm_Beng → ben_Beng): কোম্পানীটোৱে এক বন্ধুত্বপূৰ্ণ আৰু সহায়ক কৰ্ম পৰিৱেশ প্ৰদান কৰে।
• Expected (FP32): সংস্থাটি একটি বন্ধুত্বপূর্ণ এবং সহায়ক কাজের পরিবেশ প্রদান করে।
• Actual (INT8): কোম্পানিটি একটি বন্ধুত্বপূর্ণ এবং সহায়ক কাজের পরিবেশ প্রদান করে।

Mismatch #3 (Category: Lexicon)

• Source (ben_Beng → brx_Deva): পেট্রোলের দাম পাঁচ টাকা বেড়েছে।
• Expected (FP32): पेट्रलनि बेसेना से रां बांदों।
• Actual (INT8): पेट्रलनि बेसेना रू।

Mismatch #4 (Category: Generic)

• Source (ben_Beng → brx_Deva): ভালো বৃষ্টিপাতের কারণে ফসলের ফলন বেড়েছে।
• Expected (FP32): मोजां अखानि जाहोनाव आबाद दिहुनथाया बांदों।
• Actual (INT8): मोजां अखाया आबाद दिहुनथायाव बांहोदोंमोन।

Mismatch #5 (Category: Generic)

• Source (ben_Beng → brx_Deva): আগামী মাস থেকে এই নতুন নীতি কার্যকর হবে।
• Expected (FP32): गोदान खान्थिया फैगौ दाननिफ्राय बाहायजागासिनो।
• Actual (INT8): गोदान खान्थिया फैगौ दाननिफ्राय बाहायजागोन।

Files

• encoder_model.onnx (and optional .onnx.data weights sidecar)
• decoder_model.onnx and decoder_with_past_model.onnx (share decoder_shared.onnx.data when present)
• translate.py — self-contained Python inference helper (see Usage below)
• Fast tokenizer config files (tokenizer_src.json, tokenizer_tgt.json, tokenizer_meta.json)
• Model configuration configs (config.json, generation_config.json)

Usage Example (Python, onnxruntime)

# translate.py is included in this repo alongside the ONNX bundle.
# You can also find it (and read the full source) at:
#   https://github.com/Hari31416/indictrans2-onnx-export/blob/main/src/translate.py

from translate import IndicTransONNX

# Pass a HF repo ID for automatic download, or a local bundle directory path
model = IndicTransONNX("hari31416/indictrans2-indic-indic-1B-ONNX-int8")
print(model.translate("चुनाव कौन जीतेगा?", src_lang="hin_Deva", tgt_lang="tam_Taml"))

Required packages:

pip install onnxruntime tokenizers huggingface-hub

License

MIT (preserved from upstream AI4Bharat).