Downloads · 30 days
49
13% of all-time downloads
ottema/nemotron-3.5-asr-ptbr-onnx-int4
nemotron-3.5-asr-ptbr-onnx-int4 is a automatic speech recognition model from ottema. Use it when you need speech turned into text. It is set up for nemo. The card lists the license as openmdw-1.1.
Demo ao vivo (no seu navegador, sem servidor): ottema/nemotron-3.5-asr-ptbr-webgpu
Downloads · 30 days
49
13% of all-time downloads
All-time downloads
371
Public
Repo size
780 MB
Likes
0
Public
Click a slice to open those files.
.data779 MB · 100%
From the Hugging Face model README
Demo ao vivo (no seu navegador, sem servidor): ottema/nemotron-3.5-asr-ptbr-webgpu
Runs entirely in the browser using WebGPU — no audio is uploaded to a server.
Português brasileiro, 100% no navegador. Encoder INT4 (MatMulNBits, block 32, simétrico) + decoder/joint FP, exportados do checkpoint ottema/nemotron-3.5-asr-ptbr e compatíveis com o contrato ONNX do runtime nemotron-asr-webgpu (onnxruntime-web + WebGPU). O áudio nunca sai do dispositivo.
Brazilian Portuguese ASR running entirely in the browser via ONNX Runtime Web + WebGPU. INT4 weight-only quantized encoder (block-wise MatMulNBits), FP decoder/joint, cache-aware streaming at 560 ms chunks. No audio leaves the device.
| Arquivo | Tamanho | Execução |
|---|---|---|
encoder.onnx + encoder.onnx.data | 650 MiB | WebGPU (INT4 b32 sym, 219 MatMulNBits) |
decoder.onnx + decoder.onnx.data | 57 MiB | WASM/CPU (LSTM 2×640) |
joint.onnx + joint.onnx.data | 36 MiB | WASM/CPU |
vocab.txt, tokenizer.json | — | 13088 tokens (blank = 13087) |
Contrato do encoder (chunk 560 ms): inputs audio_signal [1,65,128], length, cache_last_channel [1,24,56,1024], cache_last_time [1,24,1024,8], cache_last_channel_len, lang_id (pt-BR = 12) → outputs outputs [1,7,1024], encoded_lengths, cache_*_next. Idêntico ao de onnx-community/nemotron-3.5-asr-streaming-0.6b-onnx-int4.
| Modelo | WER | Δ vs NeMo |
|---|---|---|
| NeMo FP32 offline (referência) | 11.18% | — |
| ONNX FP32 streaming | ~11.2% | ≈ 0 |
| ONNX INT4 b32 sym streaming (este repo) | 11.85% | +0.67pp |
| NVIDIA base multilíngue zero-shot FP (card Ottema) | 13.86% | — |
O INT4 PT-BR preserva praticamente todo o ganho do fine-tuning e continua ~2pp melhor que o modelo base multilíngue em FP.
| Config | WER | Δ | Tamanho encoder |
|---|---|---|---|
| INT4 block 128, assimétrico | 12.91% | +1.72pp | 577 MiB |
| INT4 block 32, assimétrico | 11.98% | +0.80pp | 628 MiB |
| INT4 block 32, simétrico | 11.85% | +0.67pp | 621 MiB |
A ablação por camadas (manter layers 0–1 e/ou 22–23 em FP32) mostrou degradação distribuída pelo encoder — excluir 4 layers + prompt kernel recuperava apenas 0,63pp por +260 MiB. A escolha de esquema (block size + simetria) foi responsável por ~1pp de WER sem custo de tamanho.
Runtime de referência: nemotron-asr-webgpu — basta apontar CONFIG.BASE (em src/shared.js) para este repo:
BASE: "https://huggingface.co/ottema/nemotron-3.5-asr-ptbr-onnx-int4/resolve/main/",
e usar lang_id = 12 (pt-BR). Modos File / Record / Live (streaming com VAD). Requer browser com WebGPU (Chrome/Edge desktop, Chrome Android, Safari 18+); fallback WASM/CPU funciona, mais lento. Os pesos são baixados uma vez e persistidos via Cache API.
Validado em: desktop (WebGPU e WASM) e Redmi Note 14 Pro (Chrome Android, WebGPU) com streaming de voz em tempo real.
Pipeline .nemo → ONNX → INT4 com gates numéricos em cada etapa:
cache_aware_stream_step() do NeMo 2.8.0rc0 + prompt de idioma pós-encoder (one-hot 128 → prompt_kernel MLP 1152→2048→1024)MatMulNBitsQuantizer (RTN), block 32, simétrico, apenas MatMuls do encoderOpenMDW-1.1, herdada do checkpoint base. Modelo original © NVIDIA; fine-tuning PT-BR e exportação ONNX por Ottema AI. ONNX export de referência pela Hugging Face onnx-community; runtime web por khawjaahmad/nemotron-asr-webgpu.