whisper-large-v3-turbo-qnn-android

Whisper Large-V3-Turbo (w8a16) für die Hexagon-NPU von Snapdragon

Fertig übersetzte Modellpakete, um Whisper Large-V3-Turbo auf der NPU von Snapdragon-Telefonen laufen zu lassen — über ONNX Runtime mit dem QNN-Ausführungsanbieter. Sie sind das, was die App BlueSpeech auf Android nachlädt.

Zum Vergleich: auf derselben Hardware rechnet whisper.cpp nur auf der CPU und braucht etwa das Vierfache der Aufnahmedauer. Auf der NPU sind es rund zwei Sekunden für dreißig Sekunden Ton.

Aufbau

Je Chip ein Ordner. Darin fünf Dateien:

encoder.onnx                 dünne Hülle, verweist auf die Kontextdatei
decoder.onnx                 dito
encoder_qairt_context.bin    rechnet auf der NPU
decoder_qairt_context.bin    dito
vocab.bin                    Wortschatz, nullterminierte Einträge

encoder.onnx, decoder.onnx und vocab.bin sind für alle Chips dieselben — die Quantisierung ist chipübergreifend identisch (alle 37 Tensoren stimmen in Name, Form, Typ und Skala überein). Verschieden sind nur die beiden Kontextdateien.

Welcher Ordner für welches Gerät

Maßgeblich ist die Systemeigenschaft ro.soc.model:

Nicht nach der HTP-Fassung greifen. Das liegt nahe, weil die Laufzeitbibliotheken so heißen — es ist aber falsch. Der 7 Gen 4 und der 8 Gen 2 haben beide HTP 73, und der Encoder des einen ist 70 MB größer als der des anderen. Übersetzt wird nach Chip, nicht nach HTP-Fassung.

verzeichnis.json führt Größe und SHA-256 jeder Datei.

Was noch dazugehört

Die Pakete allein genügen nicht. Auf dem Gerät braucht es außerdem die QNN-Laufzeit (libQnnHtp.so, libQnnSystem.so und Stub+Skel der passenden HTP-Fassung) aus dem QAIRT-SDK. Die liegt bewusst nicht hier: ihre Weitergabebedingungen erlauben keine Bereitstellung als eigenständige Datei. Sie gehört in Ihre Anwendung.

Herkunft und Lizenz

• Gewichte: openai/whisper-large-v3-turbo — MIT
• Umsetzung: Whisper aus HF Transformers v4.42.3 — Apache 2.0
• Quantisierung (w8a16) und Übersetzung für die NPU: Qualcomm AI Hub

Die übersetzten Dateien tragen laut Qualcomms FAQ dieselbe Weitergabelizenz wie das Ausgangsmodell.

sm7750 und sm8650 stammen unverändert aus Qualcomms Bezugsquelle; sm8550, sm8750 und sm8850 sind selbst übersetzt, weil Qualcomm für diese Chips kein fertiges Paket anbietet.