Downloads · 30 days
0
ShiWarai/sherpa-rknn-whisper-turbo
sherpa-rknn-whisper-turbo is a machine learning model from ShiWarai. Use it for the machine learning task on the model card, and read the license before you ship it in a product. The card lists the license as mit.
Whisper large-v3-turbo для Rockchip RK3588: encoder в RKNN (NPU) + decoder в ONNX (CPU).
Downloads · 30 days
0
Access
Public
Updated Jul 28, 2026
Repo size
2.8 GB
Likes
0
Public
Click a slice to open those files.
.rknn1.4 GB · 79%
From the Hugging Face model README
Whisper large-v3-turbo для Rockchip RK3588: encoder в RKNN (NPU) + decoder в ONNX (CPU).
Используется с whisper-rknn в гибридном режиме (~2× быстрее полного RKNN на autoregressive decode).
| Файл | Назначение | Размер |
|---|---|---|
encoder.rknn | Encoder (NPU), FP16 RKNN | ~1.3 GiB |
decoder.onnx | Decoder (CPU), dynamic INT8 MatMul | ~344 MiB |
tokens.txt | Словарь токенов | ~800 KiB |
decoder.onnx — квантованная версия (ONNX Runtime quantize_dynamic, только MatMul, QInt8) из FP32 export sherpa-onnx.
На RK3588 даёт ~10–17% ускорения decoder и ~10% wall на длинных файлах при сопоставимом качестве.
Каталог моделей на хосте (единственный источник для локального деплоя):
WHISPER_MODELS_DIR=/mnt/nvme0/models/sherpa-rknn-whisper-turbo
В контейнере:
export WHISPER_ENCODER=/models/encoder.rknn
export WHISPER_DECODER=/models/decoder.onnx
export WHISPER_DECODER_BACKEND=onnx
export WHISPER_TOKENS=/models/tokens.txt
export WHISPER_MODEL_PROFILE=turbo
export WHISPER_LANGUAGE=ru
Скачать: git clone / huggingface-cli download ShiWarai/sherpa-rknn-whisper-turbo.
| Компонент | Источник |
|---|---|
| ONNX encoder/decoder (FP32) | csukuangfj/sherpa-onnx-whisper-turbo |
| Encoder ONNX → RKNN | sherpa-onnx scripts/whisper/rknn/export_onnx.py + export_rknn.py, RK3588 |
| Decoder INT8 | dynamic quant MatMul из sherpa-onnx-whisper-turbo FP32 decoder (rknn-build/scripts/quantize_decoder_int8.py) |
Encoder: FP RKNN (do_quantization=False), не w8a8.