stable-tts-v1.1-tsukuyomi-ft-baseline

StableTTS v1.1 つくよみちゃん fine-tune（ベースライン）

StableTTS v1.1 の公式多言語チェックポイント（checkpoint_0.pt）を初期値に、つくよみちゃんコーパス 100発話で fine-tune したモデルです。

日本語378時間で継続事前学習したモデルとの比較用ベースラインとして作成しました。

• 事前学習モデル: ayousanz/stable-tts-v1.1-japanese-378h
• 事前学習 + つくよみちゃん fine-tune（推奨）: ayousanz/stable-tts-v1.1-japanese-378h-tsukuyomi-ft
• 4モデル比較デモ動画: https://youtu.be/0MiEmVuJ2Fw

学習設定

• 初期値: 本家 v1.1 checkpoint_0.pt（中英日 約600時間で学習された 31.6M パラメータの flow-matching + DiT モデル）
• データ: つくよみちゃんコーパス Vol.1 声優統計コーパス 100発話
• batch 16 × 2GPU、lr 1e-4、warmup 10、epoch 200

使い方

StableTTSEx（日本語 g2p を pyopenjtalk-plus 化したフォーク）での利用を推奨します。ボコーダは本家配布の KdaiP/StableTTS1.1 から別途取得してください。

from api import StableTTSAPI

model = StableTTSAPI(
    './checkpoints/checkpoint_200.pt',
    './vocoders/pretrained/firefly-gan-base-generator.ckpt',
    'ffgan',
).to('cuda')
audio, _ = model.inference(
    'こんにちは、今日はいい天気ですね。',
    'reference.wav',  # 参照音声（つくよみちゃんコーパスの任意の1発話など）
    'japanese', step=16, temperature=1.0, length_scale=1.0,
    solver='euler', cfg=3.0, sway_coef=-1.0, cfg_rescale=0.7,
)

推奨推論設定（2026-07 更新）: solver='euler', step=16, sway_coef=-1.0, cfg_rescale=0.7。Sway Sampling（F5-TTS 由来）により euler 16 ステップで従来の dopri5 25 ステップと同等以上の音質を約10倍高速に得られます（事前学習モデルでの A/B で dopri5-25 との mel-L1=0.078・CER/話者類似性ほぼ同等を確認。サンプリング設定なので fine-tune モデルにもそのまま適用できます）。cfg_rescale は過剰ガイダンスによる飽和を抑える微調整です。sway_coef / cfg_rescale は最新の StableTTSEx が必要で、従来設定（solver='dopri5', step=25）でも動作します。

サンプル音声

本モデルで推論した音声です（参照音声: つくよみちゃんコーパス VOICEACTRESS100_001.wav、step=25 / dopri5 / cfg=3.0）。samples/ ディレクトリにあります。

「こんにちは、今日はいい天気ですね。」 <audio controls src="https://huggingface.co/ayousanz/stable-tts-v1.1-tsukuyomi-ft-baseline/resolve/main/samples/greeting.wav"></audio>

「音声合成の技術は、ここ数年で大きく進歩しました。」 <audio controls src="https://huggingface.co/ayousanz/stable-tts-v1.1-tsukuyomi-ft-baseline/resolve/main/samples/tech.wav"></audio>

「明日の会議は何時から始まりますか？」 <audio controls src="https://huggingface.co/ayousanz/stable-tts-v1.1-tsukuyomi-ft-baseline/resolve/main/samples/nanji.wav"></audio>

「フローマッチングと呼ばれる手法を用いることで、少ないステップ数でも高品質な音声を生成することができます。」 <audio controls src="https://huggingface.co/ayousanz/stable-tts-v1.1-tsukuyomi-ft-baseline/resolve/main/samples/long.wav"></audio>

「やったー！ついに完成したんだよ！本当に、本当に嬉しい！」 <audio controls src="https://huggingface.co/ayousanz/stable-tts-v1.1-tsukuyomi-ft-baseline/resolve/main/samples/emotion.wav"></audio>

「ニューイングランド風は、牛乳をベースとした、白いクリームスープであり、ボストンクラムチャウダーとも呼ばれる。」（fine-tune 学習データに含まれる文・声質確認用） <audio controls src="https://huggingface.co/ayousanz/stable-tts-v1.1-tsukuyomi-ft-baseline/resolve/main/samples/va002.wav"></audio>

クレジット

本モデルの学習にはフリー素材キャラクター「つくよみちゃん」が無料公開している音声データを使用しています。

• つくよみちゃんコーパス Vol.1 声優統計コーパス（CV: 夢前黎）
• https://tyc.rei-yumesaki.net/data/corpus/

合成音声を公開する場合は、つくよみちゃんコーパスの利用規約に従ってクレジットを記載してください。