sarashina2.2-tts-gguf

Sarashina2.2-TTS-GGUF

Built with Sarashina

このリポジトリは、SB Intuitions 株式会社が公開した日本語中心の音声合成モデル sbintuitions/sarashina2.2-tts の言語モデル部分を GGUF形式（4bit〜8bit、FP16）に量子化 し、付属の軽量音響デコーダー（Flow Matching + HiFT-GAN）と連携させてローカル環境で容易に音声合成を行えるようにしたパッケージです。

[!IMPORTANT] 【本リポジトリの仕組みと前提】

• GGUF 単体では音声（WAV）は出力されません: llama.cpp は言語モデル（テキスト）のエンジンであるため、GGUF が出力するのは「離散音声トークン（ID列）」です。そのトークンを実際の「声の波形（WAV）」に復元するには、付属の音響デコーダー（Flow Matching + HiFT-GAN）を通す必要があります。
• 推論環境: したがって、本パッケージの実行には llama-server に加えて、付属の Python スクリプト（PyTorch / soundfile 等）を実行できる環境が必要です。

---

🌟 特長とモデルの能力

• 🎯 優れた日本語発音精度と漢字の読み分け（Kanji Polyphony 解決）:
  • 文脈に応じた漢字の読み分け（例:「一日」「風」「角」など）を言語モデルが高い精度で自動判別します。
• 🎙️ ゼロショット音声クローニング（音声 + 字幕 + 言わせたい文章）:
  • 数秒の参照音声とその文字起こし（字幕）を与えることで、話者の声質、話し方、抑揚、音響環境を忠実に再現します。
• 🗣️ 8種類の多彩なプリセットスタイル内包:
  • 参照音声を用意しなくても、voices.json からナレーション、日常会話、放送アナウンス、丁寧な接客、落語などのスタイルを即座に利用可能です。
• 🌐 日英バイリンガル & コードスイッチング対応:
  • 日本語と英語の合成、および同一文内に日本語と英語が混ざった文（Code Switching）も自然に発音します。
• ⚡ LLMの省メモリ化:
  • 4bit量子化（IQ4_XS / Q4_K_M）により、LLMのVRAM/メモリ消費を 約500MB に圧縮。CPU環境でも約 26 tokens/sec（音声時間換算でほぼリアルタイム）でトークンを生成できます。
• ⏱️ デコーダーの高速化オプション（--steps / --cfg-cutoff）:
  • 音響デコーダーのODEステップ数を調整可能（デフォルト: 10、高速化: 5）。
  • CFG Early-Stopping 最適化: 軌跡前半（$t \le 0.4$）のみ CFG（バッチ2）を適用し、後半はバッチ1で微細調整することで、コサイン類似度 0.9995（音質劣化ゼロ）を維持したままデコード時間を約 30% 短縮。
• 🎭 話者モーフィング・ブレンド機能（--voice-blend）:
  • 複数話者の埋め込みベクトルを任意の重みで球面補間・合成可能（例: ナレーション70% + 落語30%）。
• 🌐 OpenAI 互換 TTS API サーバー（server.py）:
  • POST /v1/audio/speech に対応した常駐型APIサーバーを内包。モデルをメモリ常駐させるため、毎回のロードオーバーヘッドがゼロになり、各種AIクライアントから直接プラグイン可能。

---

📊 量子化バリエーション一覧

用途やハードウェア環境に合わせて複数の量子化モデルを提供しています。

---

💻 必要なハードウェアスペックと実測パフォーマンス

スペック要件

リアルな生成速度（実測値の目安）

環境や設定（--steps）によって生成速度が異なります。

ヒント: CPU環境で使う場合は、--steps 5 を指定することで、音質を保ちながらデコード時間を半分以下に短縮できます。

---

📁 提供ファイル一覧

sarashina2.2-tts-gguf/
├── sarashina2.2-tts-Q4_K_M.gguf  # 4bit量子化済みLLM (デフォルト推奨)
├── sarashina2.2-tts-IQ4_XS.gguf  # 最軽量 4bit XS
├── sarashina2.2-tts-Q4_K_S.gguf  # 4bit Small
├── sarashina2.2-tts-Q5_K_M.gguf  # 高品質 5bit
├── sarashina2.2-tts-Q6_K.gguf    # 超高品質 6bit
├── sarashina2.2-tts-Q8_0.gguf    # 最高精度 8bit
├── sarashina2.2-tts-f16.gguf     # フル精度 FP16
├── flow.pt                       # フローマッチング音響モデル (約430MB)
├── hift.pt                       # HiFT-GAN ボコーダー (約80MB)
├── campplus_cn_common.bin        # ゼロショット用話者エンコーダー (約20MB)
├── voices.json                   # 8スタイルのプリセット話者ベクトル
├── flow_matching/                # 軽量音響デコーダー実装
├── speech_encoder/               # 話者エンコーダー実装
├── tts.py                        # 統合音声合成CLIスクリプト
├── server.py                     # OpenAI互換TTS APIサーバー (常駐型・高速)
└── run.sh                        # ワンコマンド実行シェルスクリプト

---

🚀 クイックスタート

1. リポジトリのクローン

git clone https://huggingface.co/envblex/sarashina2.2-tts-gguf
cd sarashina2.2-tts-gguf

2. 環境の準備

Python 3.10+ 環境にて、推論用パッケージをインストールします。

pip install torch torchaudio soundfile requests diffusers einops scipy s3tokenizer

また、llama.cpp 公式 Releases からお使いのOSに合ったビルド済みバイナリを取得し、llama-server にパスを通すか、本ディレクトリに配置してください。

---

3. 音声の生成方法

パターンA: プリセット話者で手軽に話させる（音声ファイル不要・最速）

run.sh を叩くだけで、自動的にバックグラウンドで llama-server を立ち上げ、音声を合成します。

# デフォルト（落ち着いたナレーション調）
./run.sh "こんにちは！これはGGUF形式で動作するSarashina2.2-TTSです。"

# スタイルを指定（例: 放送・ニュース調）
./run.sh "本日の天気は晴れのち雨でしょう。" broadcast output_news.wav

パターンB: ゼロショット音声クローニング（音声 + 字幕 + 言わせたい文章）

手持ちの参照音声（数秒の短い声）とその文字起こし（字幕）を指定することで、その人の声質や話し方をクローンして新しい文章を喋らせます。

python3 tts.py \
  --audio /path/to/my_voice.wav \
  --prompt-text "参照音声で実際に喋っている文字起こしテキスト" \
  --text "ここに新しく喋らせたい文章を入力します。" \
  --output ./my_cloned_voice.wav

注意: ゼロショットクローニングは参照音声の音響特徴も解くため、CPU環境では計算量が非常に多くなります。CPU環境で素早く使いたい場合は、パターンAのプリセット話者（--voice）が圧倒的に高速です。

パターンC: 高速化設定（--steps 5）やモデルの切り替え

# CPU環境で高速に合成する（steps=5: デコード時間半減）
python3 tts.py --text "ステップ数を減らして高速に合成します。" --steps 5 -o fast.wav

# 5bit 高品質モデル (Q5_K_M) を指定
python3 tts.py --gguf sarashina2.2-tts-Q5_K_M.gguf --text "高品質モデルで合成します。" -o output.wav

# GPU (CUDA) を使ってデコードを高速化
python3 tts.py --text "GPUで高速に波形合成します。" --device cuda -o gpu_out.wav

パターンD: 話者モーフィング・ブレンド（--voice-blend）

複数のプリセット話者の声質を任意の比率で滑らかに合成します。

# ナレーション 70% + 落語 30% のブレンド
python3 tts.py --text "話者モーフィングによる合成音声です。" --voice-blend "narration:0.7,rakugo:0.3" -o blend.wav

# 男性声 50% + 女性声 50% のブレンド
python3 tts.py --text "男性と女性の声質を半分ずつ混ぜます。" --voice-blend "speaker_a_male:0.5,speaker_b_female:0.5" -o blend.wav

パターンE: OpenAI 互換 TTS API サーバーの起動 (server.py)

OpenAI Audio Speech API（POST /v1/audio/speech）互換サーバーを起動します。モデルをメモリ常駐させるため、毎回の起動オーバーヘッド（約6秒）がゼロになり、Web UI や自作エージェントから即座に利用できます。

# サーバー起動 (ポート 8000, steps=5)
python3 server.py --port 8000 --steps 5

# curl で音声生成リクエスト (WAVバイナリを受信)
curl -X POST http://127.0.0.1:8000/v1/audio/speech \
  -H "Content-Type: application/json" \
  -d '{
    "model": "sarashina2.2-tts",
    "input": "OpenAI互換APIサーバーからのリクエストです。",
    "voice": "narration"
  }' \
  --output speech.wav

# voice パラメータにブレンドを指定することも可能
curl -X POST http://127.0.0.1:8000/v1/audio/speech \
  -H "Content-Type: application/json" \
  -d '{
    "input": "APIから話者ブレンドを指定します。",
    "voice": "broadcast:0.6,customer_service:0.4"
  }' \
  --output blend.wav

---

🎙️ プリセット話者スタイル一覧 (voices.json)

--voice オプションで以下の8種類のスタイル・声質を即座に利用できます。

---

📜 ライセンス・利用条件

本モデルは、ベースモデルのライセンスである Sarashina Model NonCommercial License Agreement Version 2.0 を継承しています。

• 非商用利用限定: 研究、学習、個人利用などの非商用目的に限定されます。
• 商用利用: 商用利用を希望される場合は、SB Intuitions 株式会社のお問い合わせページへ直接お問い合わせください。
• EU圏内への規制: EU AI Act に関する制約のため、欧州連合（EU）加盟国での使用および持ち込みは禁止されています。
• 詳細な利用許諾および禁止事項については、同梱の LICENSE ファイルを必ずご確認ください。

謝辞 (Acknowledgments)

本成果物は、以下の素晴らしいオープンソースプロジェクトおよび研究成果に基づいています。

• Sarashina2.2-TTS: SB Intuitions Corp.
• CosyVoice: FunAudioLLM
• HiFT-GAN: HiFTNet
• 3D-Speaker: ModelScope
• llama.cpp: ggml-org/llama.cpp