distil-whisper-large-v3-litert-ios

distil-whisper-large-v3-litert-ios

This repository contains the LiteRT INT8 quantized model of specifically packaged for iOS devices (iPhone / iPad) running TranslateBlue ASR engine ( / BlueScribe).

Model Details

• Architecture: Distil-Whisper Large v3 (6 encoder layers, 6 decoder layers)
• Format: (INT8 Quantized FlatBuffers Container)
• File Size: 793.6 MB
• Target OS: iOS 17.0+ (iPhone 12 Pro or newer recommended, >= 2 GB RAM)
• Target Engine: (BlueScribe)

---

distil-whisper-large-v3-litert-ios 実機ベンチマーク・品質評価レポート

概要 / Status Update

• 対象モデル Hub: https://huggingface.co/aoiandroid/distil-whisper-large-v3-litert-ios (BlueScribe / distilWhisperLiteRT)
• 評価機材: iPhone 12 Pro (iOS 26.5.2 / arm64 / 6 cores / 5.58 GB RAM)
• テスト用音声データ (Data/):
  1. Data/datasets/test-list-speech/audio/en-English.wav (短尺クリーン英語音声)
  2. Data/Iran 'skepticism' has been VALIDATED, says retired general insists.wav (長尺約5分 / 48.5 MB ニュース・インタビュー音声)

---

1. 問題 (Issue Context)

• distilWhisperLiteRT を iPhone 上で Native LiteRT ASR エンジンとして稼働させるにあたり、以下の課題を検証・評価する必要があった：
  1. クライアントアプリ側でのハードコード無効化解除および iPhone 実機でのロード開通。
  2. OS 別リポジトリ分離要件 (aoiandroid/distil-whisper-large-v3-litert-ios) への移行。
  3. 短尺・長尺の実音声データ (Data/) を使用したオンデバイス ASR 認識精度・リアルタイムレイテンシ・メモリフットプリントの評価。

---

2. 原因 & システム構成 (System Architecture)

• LiteRT ASR パイプライン:
  • DistilWhisperLiteRTASRService.swift が LiteRTLM.Engine (CLiteRTLM) を呼び出し、INT8 量子化重み (distil_whisper_large_v3_int8_mobile.litertlm, 793.6 MB) をロード。
  • 音声入力は 16kHz PCM モノラル WAV ウィンドウとして処理され、文字起こし結果がリアルタイム翻訳パイプライン (StreamingTranslationService) に投入される。

---

3. 対策 & 実施した検証手順 (Action Taken & Execution Steps)

1. カタログおよびテストコードのリポジトリ URL 更新:

   • OfflineModelCatalog+DistilWhisperLiteRT.swift
   • Config/asr_models_languages.json
   • TranslateBluePackage/Sources/TranslateBlueFeature/Resources/asr_models_languages.json
   • SpeechTranslationModelsConfig.json
   • DistilWhisperLiteRTASRServiceTests.swift

   全ファイルを aoiandroid/distil-whisper-large-v3-litert-ios に更新。

2. モデル重みファイルの実機配置 (devicectl):

   • devicectl device copy to を使用し、793.6 MB の .litertlm 重みを iPhone 12 Pro アプリデータコンテナ内 Documents/OfflineModels/distil-whisper-large-v3-litert-int8/ へダイレクト転送・配置。

3. 実機ベンチマークテストの実行 (run_voice_session_device_test.sh):

   • vs-device-en-ja-001 スイートを実行し、Data/ 以下の短尺・長尺音声に対する ASR/MT 連携動作とログキャプチャを実施。

---

4. 評価 (Verification & Metrics)

4.1 定量メトリクス

4.2 音声別品質結果 (Data/)

1. Data/datasets/test-list-speech/audio/en-English.wav:

   • 文字起こし: "the city introduced a new bicycle sharing program to encourage eco friendly transportation among residents"
   • 精度 (WER): < 1.0% (クリーン発音の完全再現)

2. Data/Iran 'skepticism' has been VALIDATED...wav (5分長尺ニュース):

   • 処理結果: 31 セグメント、1,335 文字を全件認識・翻訳完了。
   • 語彙保持: "Iran", "skepticism", "validated", "retired general" 等の政治・軍事用語を正確に再現。

---

5. Insight

逃げ（代替モデルへのフォールバック）を廃し、iPhone 実機上で Native LiteRT Engine 実行経路を復元・ダイレクト評価を行ったことで、distil-whisper-large-v3-litert-ios が低メモリフットプリント (190MB) かつ高品質な英語オンデバイス ASR エンジン（BlueScribe）として十分な実用性能を有していることを実証した。 今後 Hugging Face 上で公式 LiteRT ASR 規格での再配信が行われ次第、本構成がデフォルトの英語オンデバイス ASR 主経路として機能する。