sense-voice-rknn-rk3566

sense-voice-rknn-rk3566

SenseVoice Small 的 RKNN 转换模型，用于 Rockchip RK3566 NPU 推理，配合 sherpa-onnx 使用。

• 来源：官方转换模型 sherpa-onnx-rk3566-20-seconds-sense-voice-zh-en-ja-ko-yue-2024-07-17（asr-models release），原始 ONNX 来自 csukuangfj/sherpa-onnx-sense-voice-zh-en-ja-ko-yue-2024-07-17
• 语言：中 / 英 / 日 / 韩 / 粤
• 固定 20 秒输入窗口：RKNN 不支持动态输入 shape，短音频自动 padding，长音频截断；建议上游接 VAD 切段

用法

sherpa-onnx-offline \
  --provider=rknn \
  --sense-voice-model=./model.rknn \
  --tokens=./tokens.txt \
  ./test.wav

Rust（sherpa-onnx crate）：OfflineSenseVoiceModelConfig.model 指向 model.rknn，OfflineModelConfig.provider = "rknn"，use_itn = false。

运行时要求

• librknnrt 2.2.0（c195366594@2024-09-14）。注意：2.3.x / 2.4.x 与 sherpa-onnx 的 RKNN 模型不兼容会崩溃（见 sherpa-onnx#3154）。下载：rknn-toolkit2 v2.2.0
• Failed to select npu core 警告在 RK3566 上可忽略（core mask 仅 RK3588 需要）

在 ElectronBotCli 项目中由 ModelManager 的 rknn 路径机制加载，已在 RK3566 (radxa-cm3) 实测通过。