NaiLong-Voice-Clone

奶龙语音克隆模型

完整项目与 Demo 效果可参见 GitHub

如果这个模型仓库对你有帮助，欢迎在 GitHub 上点个 Star ⭐ 支持一下！

本仓库提供了：

1. 奶龙语音克隆模型的权重。

2. 高性能通用推理应用 (app.py)：

   对于通用的特定角色声音克隆任务，只要有微调后的模型权重，即可生成一个支持极速语音合成与超低延迟流式输出的网页。

   • “极速语音合成”：在单个 4090 上进行语音合成，可约 15s 生成 5 分钟的长音频，约 3s 生成 20s 的中等长度音频。
   • “超低延迟流式输出”：在单个 4090 上流式输出，可以在 2 ~ 3s 的等待之后对任意长文本进行 “连续说话”。

   这既为通用特定角色声音克隆任务打通了从 “模型权重” 到 “前端交互” 的最后一步，又解决了大部分语音克隆软件不支持流式输出以及推理速度慢的问题。

3. GPT-SoVITS 的一些补丁，解决了整型溢出问题并优化了兼容性。

模型权重

我们基于 GPT-SoVITS 的 v2proplus 预训练模型，并使用 奶龙语音克隆数据集 中的 nailong_selected 音频集进行微调，得到了最终的奶龙语音克隆模型。

GPT_weights 与 SoVITS_weights 中存放了我们通过多次实验，得到的最优的一组 GPT 模型权重与 SoVITS 模型权重，具体选择其中的哪一个可以根据你的需求决定。

高性能通用推理应用

具体功能

我们的高性能通用推理应用，有如下具体功能：

• “生成音频”，可以支持在网页上播放、暂停、滑动、倍速、下载生成好的音频。
• “开始说话”，即流式输出，可以支持任意时刻暂停，以及重新 “开始说话”。
• 使用并行推理进行加速，在单个 4090 上可以支持同时有 4 个用户在流式输出中。
• 所有用户使用 “生成音频” 时，对应的输入文本与得到的音频会存储在 generated_audios 文件夹的一个子文件夹当中，其中子文件夹的名称包含生成时间与部分输入文本内容，方便直观得知用户访问时间密度分布与生成内容兴趣等。
• 可以支持多种语言：将 text_lang 设为 auto 即可以支持中，英，日，韩，粤 5 种语言。

安装与使用

对于本项目，安装与使用高性能推理应用的步骤为：

1. 安装 GPT-SoVITS。
2. 将 GPT_weights、SoVITS_weights、app.py、reference.wav 下载，并放入 GPT-SoVITS 文件夹当中。
3. 运行 app.py，即可生成一个本地的 6006 号端口作为网页了。

个性化配置

对于通用的特定角色音频克隆项目，需要进行的配置如下：

1. 将微调好的权重放在 GPT_weights、SoVITS_weights 文件夹中，并更新 app.py 的 vits_path 与 gpt_path。
2. 放一段 3~10s 的高质量参考音频 reference.wav，并相应更改 app.py 的两处（音频合成与流式输出） prompt_text 与 prompt_lang。
3. 根据你希望支持的语言修改 text_lang：设为 auto 可以支持中，英，日，韩，粤 5 种语言；设为 zh 可以效果更好更稳定的支持中文和英文。
4. 按照你的需要修改 app.py 的组件，包括 Author、Contact、title 与 Button 的 label 等。

GPT-SoVITS 补丁

1. 2-get-hubert-wav32k.py：修复了 GPT-SoVITS 对应代码中的 Integer Overflow 问题。
2. TTS.py 与 2-get-sv.py：针对 torchaudio.load() 进行了等价修改，解决了在特定 CUDA 环境下 torchcodec 的兼容性冲突。