OmniVoice-Onnx-bidir

OmniVoice — llm_decoder xuất lại với attention HAI CHIỀU

Bản ONNX của riêng khối LLM (Qwen3-0.6B backbone) trong k2-fsa/OmniVoice, xuất lại để dùng kèm các sub-model khác của onnx-community/OmniVoice-Onnx.

Vì sao tồn tại

OmniVoice là TTS non-autoregressive: nó chạy backbone trong vòng lặp "iterative unmasking" với attention_mask 4-D toàn True (hai chiều). Bản llm_decoder.onnx ở onnx-community/OmniVoice-Onnx được dựng bằng onnxruntime-genai ModelBuilder — công cụ cho LLM sinh văn bản — nên causal masking bị nướng cứng vào graph.

Hệ quả đo được (cùng một vòng giải mã, chỉ đổi backbone; CER qua faster-whisper):

Audio vẫn ra và vẫn nghe như tiếng người thật — chỉ là nói sai nội dung, không có exception nào. Các sub-model còn lại của onnx-community (audio_embeddings_encoder, audio_heads_decoder, codec Higgs) dùng nguyên được, không cần xuất lại.

Nội dung

• vào: inputs_embeds (batch, seq, 1024) float32 — ra: hidden_states (batch, seq, 1024)
• mask all-True dựng trong graph (không nhận mask từ ngoài), seq động, opset 20
• đối chứng bản fp32 với PyTorch: max|Δ| = 0.0002, cos = 1.000000; sau int4: cos = 0.998

Cách xuất lại

torch.onnx.export trên OmniVoice.from_pretrained(..., attn_implementation="sdpa").llm, bọc trong module dựng torch.ones(b, 1, s, s, dtype=bool) làm mask, rồi lượng tử hoá bằng onnxruntime.quantization.matmul_nbits_quantizer.MatMulNBitsQuantizer(bits=4, block_size=128).

Giấy phép

Trọng số dẫn xuất từ k2-fsa/OmniVoice — checkpoint gốc là CC-BY-NC, nên repo này cũng vậy: phi thương mại, ghi nguồn. Việc đổi định dạng sang ONNX không làm đổi giấy phép của trọng số.