CuteTTS-jp

CuteTTS-jp

OPPOer/CuteTTS（約2億3千万パラメータ・24 kHz・ 逐次生成対応）を日本語 325.9 時間で継続学習したモデルです。

コードと学習手順: ayutaz/CuteTTS-jp

使い方

git clone https://github.com/ayutaz/CuteTTS-jp
cd CuteTTS-jp
uv sync --all-extras

hf download ayousanz/CuteTTS-jp --local-dir ./model/CuteTTS-jp

uv run python scripts/synthesize_japanese.py \
  --model-dir ./model/CuteTTS-jp \
  --text "価格は千二百八十円、消費税込みです。" \
  --reference-audio <まねたい声の録音> \
  --output out.wav

渡したテキストは、学習したときと同じ表記へ自動で書き換わります。 このモデルは「全文を片仮名にして、アクセントの山の位置に記号を付ける」表記で 学習しているので、こう変換されます。

frontend=accent
入力: 価格は千二百八十円、消費税込みです。
  → カカクワセ'ンニヒャクハチジュ'ーエン、ショーヒゼ'ーコミデス。

この書き換えを外すと精度が大きく落ちます。 下に載せた 7.12% は、この変換を 通して測った値です。どの表記で学習したかは config.json の japanese_frontend に記録してあり、スクリプトがそれを読んで従うので、 ふつうは何も指定しなくて構いません（--frontend で上書きできます）。

漢数字も同時に開かれます（千二百八十円 → セ'ンニヒャクハチジュ'ーエン）。 記号の位置は同じ読みの語を書き分けます（ハシ' が橋、ハ'シ が箸）。

抑揚を写す

同じ台詞を読んだ人間の録音があれば、声の高さの動きを写せます（+0.104 改善）。

uv run python scripts/synthesize_japanese.py \
  --model-dir ./model/CuteTTS-jp \
  --text "..." \
  --reference-audio <声質をまねる録音> \
  --prosody-reference <同じ台詞を読んだ録音> \
  --output out.wav

--reference-audio（声質）と --prosody-reference（抑揚）は別物で、両方渡せます。 別の文の録音を渡すとアクセントが悪化します。

測った値

日常会話 600 文。

「人間の録音」は本物の音声を同じ手順（自動文字起こし → 比較）に通した値で、 測定側の誤差です。これより良い値は出ません。

苦手なこと

• 抑揚とアクセントは人間に届いていません。 アクセントの山の位置が人間と 一致する割合は 43.6%（人間どうしなら 64.5%）
• 中国語は壊れています（文字誤り率 11.5% → 77.2%）。英語は無傷（単語誤り率 1.7%）
• 数字・日付・単位に弱いです。 学習データに数字を含む文が 1.3% しかありません
• 学習データはアニメ・ゲームの台詞なので、朗読ではなく演技寄りの話し方になります

学習の条件

前処理済みデータを 2 GB ダウンロードすれば同じ学習を再現できます （手順）。

ライセンス

このモデル（重み）: CC BY-SA 4.0 — Copyright 2026 ayutaz

コード: Apache License 2.0 — ayutaz/CuteTTS-jp

出発点の CuteTTS （Copyright 2026 OPPO and Fudan University）は Apache License 2.0 です。

謝辞

CuteTTS / Descript Audio Codec / F5-TTS / Qwen3 / pyopenjtalk-plus