fast-turn-ja

FastTurn JA

日本語の 4 状態ターン検出モデル。論文 FastTurn (arXiv:2604.01897) を日本語で再現した実装の学習済み重みです。公式実装・公式 checkpoint は公開されていないため、論文の記述から独自に再実装しています。

前世代の easy-turn-ja が VAD の後段に置く再判定器だったのに対し、こちらは VAD 非依存のストリーミング判定を行います。

位置づけ

音声 (16kHz)
  → Nemotron-3.5-asr-streaming-0.6b (24層 FastConformer, 320ms chunk) ※同梱していません
     ├─ CTC の途中の文字列 → Qwen3-0.6B (本リポジトリの qwen3/)
     └─ 中間 hidden (T, 1024)
          ├─ LLM Adapter (4層 Transformer, 34M)  → adapter.pt
          └─ Acoustic Adapter (4層 Transformer)
                    └→ LLM hidden と融合 → 3層 MLP Turn Detector → unified.pt

エンコーダ（Nemotron）は同梱していません。利用者側で nvidia/nemotron-3.5-asr-streaming-0.6b を取得してください。

ファイルの対応

学習時に使われた組み合わせは meta_unified.json に記録されています（qwen3_ckpt=joint_out_mix/qwen3 / adapter_ckpt=adapter_aug）。

adapter.pt は Modality Alignment 段の重みです。Joint 段でも LLM Adapter は更新されますが、Unified の Fusion 段では Modality Alignment 側を凍結して使う構成で学習・評価しています（llm_adapter_trainable=0）。

性能

評価セット full200（実会話 150 件 + 合成 wait 50 件、clean 条件、n=200）。実会話部分は TalkBank CallHome Japanese の音声で、easy-turn-ja と同一のものを使っています。

参考: 同一評価セットでの他系統

論文が示す積み上がり（VAD-only < Cascaded < Semantic < Unified）は再現していますが、前世代の easy-turn-ja には精度で届いていません。

⚠️ この 0.810 は full200（200 件）での値です。easy-turn-ja の model card は別の評価セット（824 件）の数値を載せているため、両者を直接引き比べることはできません。

VAD-only との比較

運用時の挙動を、同じ 200 件で比較したものです。

話し終わりの取り逃しと相槌への割り込みは大きく改善します。一方、誤って割り込む率は VAD-only と同じ 0.13 で、統計的な差は出ていません（McNemar 検定 p=1.0）。

推論性能

計測は RTX 3090 / RTX 4090 上での実測です。Unified 全体（エンコーダ + LLM + Adapter + Detector）の推論ピーク VRAM は未実測です。

使い方

推論コードは yousan/fast-turn-jp（Apache-2.0）にあります。

git clone https://github.com/yousan/fast-turn-jp
cd fast-turn-jp
uv sync

from scripts.vast.eval_unified import load_unified_detector

detector = load_unified_detector(
    unified_ckpt="path/to/fast-turn-ja",        # unified.pt があるディレクトリ
    adapter_ckpt="path/to/fast-turn-ja",        # adapter.pt があるディレクトリ
    qwen3_ckpt="path/to/fast-turn-ja/qwen3",    # SFT 済み Qwen3-0.6B
    device="cuda", dtype="bfloat16",
)

エンコーダの中間 hidden は NeMo の cache-aware streaming から forward hook で取得します（fastturn_ja/encoder/ を参照）。

unified.pt は fusion の構成キーを内部に保持しており、復元時に fusion_config_from_ckpt() を通す必要があります。load_state_dict は strict のままなので、構成を取り違えるとキーの過不足で必ず失敗します（黙って別のモデルになることはありません）。

学習データ

学習時のクラス分布は complete 1,555 / incomplete 1,580 / backchannel 281 / wait 250 です。

学習は論文の 4 段階のうち、ASR 事前学習を除く 3 段階（Modality Alignment / Joint Training / Modality Fusion）を実施しています。

制限事項

利用前に必ずお読みください。

• PoC ラインには到達していません。 受け入れ基準 10 件のうち達成は 5 件です。研究成果として公開しており、製品への組み込みは想定していません
• 前世代の easy-turn-ja に精度で劣ります（同一評価セットで 0.718 対 0.810）。優位なのは遅延のみです（110.2ms 対 291ms）
• この重みは 12 seed の分布のうち上振れした個体です。 同一構成で学習の乱数だけを変えて 12 回学習すると Macro-F1 は平均 0.6664（標準偏差 0.0510）で、本重みの 0.7183 は +1.02σ に位置します。再学習しても同じ数値は再現しません
• 論文の中心的主張（音響融合で最良になる）は検証できていません。 Unified と Semantic の差は 12 seed ずつの比較で +0.019（z=+1.25、判定境界は z≥2）です。否定されたわけではなく、未検証です
• 評価セットが小さく（n=200）、95% 信頼区間は [0.655, 0.775] です。精度に関する指標はほとんど統計的に決着していません
• 評価セットに既知の欠陥があります。 wait とドメインが完全に交絡しており（5〜8kHz の帯域だけで分離 AUC 0.999）、相槌 50 件の異なり表層形は 7 種（86% が「うん」）しかありません
• 前段の ASR が日本語の相槌を中国語・英語として転写することがあります。 評価セットでは出力の 38% が壊れており、相槌 50 件では仮名が 1 文字も出ませんでした（「うん」→「嗯」「Mm.」など）
• 学習・評価に使った実会話は電話品質（8kHz 由来）が中心です。広帯域の音声での挙動は測っていません
• Unified 全体の推論 VRAM は未実測です

ライセンス

CC BY-NC-SA 4.0（研究用・非商用）

学習データに J-CHAT（CC BY-NC 4.0、日本の著作権法第 30 条の 4 の目的に限定して利用）を含むため、商用利用はできません。

• 土台の Qwen3-0.6B は Apache-2.0 です
• エンコーダの Nemotron-3.5-asr-streaming-0.6b（OpenMDW-1.1）は同梱していません
• 推論コード（yousan/fast-turn-jp）は Apache-2.0 です

引用

学習データの提供元には引用義務があります。

@inproceedings{nakata2024jchat,
  title={J-CHAT: Japanese Large-scale Spoken Dialogue Corpus for Spoken Dialogue Language Modeling},
  author={Nakata, Wataru and others},
  year={2024}
}

評価に使用した TalkBank CallHome Japanese: doi:10.21415/T5H59V

再現元の論文:

@article{fastturn2026,
  title={FastTurn: Unifying Acoustic and Streaming Semantic Cues for Low-Latency and Robust Turn Detection},
  journal={arXiv preprint arXiv:2604.01897},
  year={2026}
}

関連

• 論文: arXiv:2604.01897
• 公式リポジトリ: ASLP-lab/FastTurn（テストセットのみ公開。重み・コードは非公開）
• 実装: yousan/fast-turn-jp（Apache-2.0）
• 前世代: ayousanz/easy-turn-ja / ayousanz/easy-turn-ja-ckpt
• エンコーダ: nvidia/nemotron-3.5-asr-streaming-0.6b
• LLM: Qwen/Qwen3-0.6B