TangYuGe-GPT-SoVITS-v2Pro

TangYuGe GPT-SoVITS v2Pro（唐语歌语音合成模型）

English summary. A Chinese text-to-speech model of the character Tang Yuge (唐语歌) from the visual novel Sparkling Memories (夏日花火), fine-tuned from the official GPT-SoVITS v2Pro base models. This repository is self-contained: it ships the fine-tuned GPT and SoVITS weights, the auxiliary pretrained models required for inference (BERT, HuBERT, speaker verification, G2PW, language identification), the official GPT-SoVITS base models for anyone who wants to continue training, 19 scene reference clips with their prompt texts, ready-to-use profiles and scripts. Chinese only. A newer version fine-tuned from v2ProPlus with noticeably less background noise is available at shiqianyan/TangYuGe-GPT-SoVITS-v2ProPlus.

本仓库是基于 GPT-SoVITS v2Pro 底模微调的唐语歌（《夏日花火》角色）中文语音合成模型，并附带推理所需的辅助模型，以及供继续训练使用的官方底模。下载本仓库、准备好 GPT-SoVITS 运行环境后即可直接使用。

推荐使用新版本：shiqianyan/TangYuGe-GPT-SoVITS-v2ProPlus 在相同训练数据上改用 v2ProPlus 底模，停顿处底噪低约 5–6 dB、电音更少，发音准确率与声纹相似度持平。本仓库保留用于对比和兼容旧的调用方式。

模型信息

适用范围

• 适合：为唐语歌这一角色生成中文台词语音，例如同人创作、游戏 Mod、角色对话机器人、个人学习研究。
• 不适合：非中文文本；需要与原声完全一致的商业配音；任何冒充真实人物、误导他人或违法的用途。生成内容请标注为 AI 合成。

快速开始

1. 准备 GPT-SoVITS

git clone https://github.com/RVC-Boss/GPT-SoVITS.git
cd GPT-SoVITS
git checkout ea2d2a8

按 GPT-SoVITS 官方说明安装 Python 依赖（Python 3.10，推荐 NVIDIA GPU）。本仓库已附带所需预训练模型，不需要再单独下载 GPT-SoVITS 的预训练模型包。

2. 下载本仓库

建议与 GPT-SoVITS 放在同一个父目录下：

cd ..
hf download shiqianyan/TangYuGe-GPT-SoVITS-v2Pro --local-dir TangYuGe-GPT-SoVITS-v2Pro

<workspace>/
├── GPT-SoVITS/
└── TangYuGe-GPT-SoVITS-v2Pro/

3. 安装预训练模型

python TangYuGe-GPT-SoVITS-v2Pro/scripts/install_pretrained.py --gptsovits-root GPT-SoVITS

脚本会校验文件哈希，再把 GPT-SoVITS-overlay/ 中的模型复制到 GPT-SoVITS 对应位置（已存在且相同的文件会跳过）。

随包的预训练模型分为两类：

weights/ 中的微调权重是全参数微调得到的完整推理模型，只做语音合成时不需要底模。GPT-SoVITS 保存微调权重时会去掉只在训练中使用的后验编码器（enc_q）和判别器，因此如果要在本模型基础上继续训练，需要用底模补回这两部分；这也是本仓库附带底模的原因。

4. 生成语音

以下命令均使用 GPT-SoVITS 的 Python 环境执行：

# 默认使用主 profile（严肃、长句）
python TangYuGe-GPT-SoVITS-v2Pro/scripts/run_tangyuge_infer.py --text "这里填写要合成的中文文本。" --output output.wav

# 切换场景：换一个 profile
python TangYuGe-GPT-SoVITS-v2Pro/scripts/run_tangyuge_infer.py --voice-profile TangYuGe-GPT-SoVITS-v2Pro/profiles/morning.yaml --text "早上好呀，今天也要加油哦。" --output morning.wav

若两个目录不在同一父目录下，追加 --gptsovits-root <GPT-SoVITS 路径>。

5. 启动 HTTP 服务（可选）

python TangYuGe-GPT-SoVITS-v2Pro/scripts/start_tangyuge_bridge.py

启动后在 127.0.0.1:9881 提供 /tts 接口（后端 GPT-SoVITS api_v2 运行在 9880）。服务会根据文本自动选择场景，也可显式指定：

curl -X POST http://127.0.0.1:9881/tts -H "Content-Type: application/json; charset=utf-8" \
  -d '{"text": "早上好呀，今天也要加油哦。", "profile": "morning"}' --output output.wav

请求字段：text（必填）、profile / scene / reference（选择场景）、top_k、top_p、temperature 等。辅助接口：GET /health、GET /profiles、GET /references。

在 GPT-SoVITS WebUI 中使用

安装预训练模型后，在 WebUI 推理页选择：

• GPT 模型：weights/tangyuge_v2pro-e2.ckpt
• SoVITS 模型：weights/tangyuge_v2pro_e2_s562.pth
• 参考音频：references/ 中任一文件，参考文本必须使用 manifests/references.yaml 中与之绑定的 prompt_text
• 采样参数：top_k=12、top_p=0.95、temperature=0.9

场景参考音频（reference）

GPT-SoVITS 的语气和节奏很大程度上由参考音频决定。本仓库提供 19 个场景，每个场景是一条原游戏语音及其台词文本，打包为 profiles/*.yaml：

更换参考音频时必须同时更换对应的参考文本，否则发音与节奏会明显变差。

仓库结构

├── README.md
├── LICENSE                        # Apache-2.0
├── THIRD_PARTY.md                 # 第三方预训练模型来源
├── weights/                       # 微调权重（fp16）
│   ├── tangyuge_v2pro-e2.ckpt     # GPT（文本→语义）
│   └── tangyuge_v2pro_e2_s562.pth # SoVITS（语义→声学）
├── GPT-SoVITS-overlay/            # 推理用辅助模型 + 继续训练用底模，与 GPT-SoVITS 目录同构
│   └── GPT_SoVITS/
│       ├── pretrained_models/     # 底模、BERT、HuBERT、声纹模型、语种识别模型
│       └── text/G2PWModel/        # 中文多音字模型
├── configs/tts_infer_pack.yaml    # GPT-SoVITS 推理配置
├── profiles/                      # 19 个场景 profile
├── references/                    # 19 条场景参考音频
├── samples/                       # 合成示例
├── scripts/                       # 安装、推理、HTTP 服务脚本
└── manifests/
    ├── references.yaml            # 参考音频与参考文本的绑定清单
    ├── training_e2_record.md      # 训练记录
    └── checksums.sha256           # 文件校验清单

训练细节

• 数据：从游戏中提取的唐语歌语音 702 条（约 48.8 分钟），筛选 1–12 秒、有效汉字不少于 6 个的 561 条（约 43.1 分钟）。
• SoVITS：batch size 2，学习率 1e-4，fp16 混合精度，共训练 3 个 epoch，选用第 2 个 epoch（562 步）。
• GPT：batch size 2，16-bit 混合精度，学习率沿用 GPT-SoVITS 默认微调配置，共训练 3 个 epoch，选用第 2 个 epoch。
• 选型：第 1 个 epoch 声纹相似度略高但稳定性较差，第 3 个 epoch 指标下降；人工试听确认第 2 个 epoch 最稳定。详见 manifests/training_e2_record.md。

评测

• 6 句固定测试文本的声纹相似度（ERes2NetV2，对训练语音平均声纹）为 0.825；原声自身的相似度中位数为 0.914。
• 与新版 v2ProPlus 模型在相同条件下对比：本模型停顿处底噪高约 5–6 dB，DNSMOS 背景噪声分低约 0.2；发音准确率（ASR 拼音错误率约 1–2%）与声纹相似度无显著差异。

局限性

• 仅支持中文；中英混合文本效果未验证。
• 部分听众反馈存在一定底噪与电音，新版 v2ProPlus 模型已改善。
• 极短的句子偶尔会只读出前半句，这是 GPT-SoVITS 自回归生成的共性问题。
• 效果依赖参考音频与参考文本的配对；参考文本写错会导致发音、节奏异常。
• 在 CPU 上推理时，部分 Intel 混合架构处理器（已在 i7-13650HX 上复现）的 PyTorch oneDNN 多线程卷积会算出错误结果；GPU 推理不受影响。CPU 推理请设置 torch.backends.mkldnn.enabled = False 或使用单线程。

许可证

本仓库以 Apache-2.0 许可发布。随包附带的第三方预训练模型的来源说明见 THIRD_PARTY.md。

致谢

• GPT-SoVITS
• HFL Chinese-BERT-wwm、TencentGameMate chinese_speech_pretrain
• 3D-Speaker、g2pW、fastText

引用

@misc{tangyuge_gptsovits_v2pro,
  title  = {TangYuGe GPT-SoVITS v2Pro},
  author = {shiqianyan},
  year   = {2026},
  howpublished = {\url{https://huggingface.co/shiqianyan/TangYuGe-GPT-SoVITS-v2Pro}}
}