VAE-DiT-TTS

A 120M tiny model is training

VAE-DiT TTS v1.0 Preview

基于 Diffusion Transformer (DiT)、Flow Matching 与 VAE latent 建模 的多语言 Zero-Shot 文本到语音（TTS）模型。只需提供一小段参考音频，即可快速克隆目标说话人的音色，并生成自然流畅的语音。

当前版本为 v1.0 Preview：在早期版本基础上，重点优化了 Duration Predictor（时长预测器），并引入了 GAN-based latent optimization，以进一步提升生成语音的节奏稳定性、清晰度与整体自然度。

💬 开源代码仓库：Light-yzc/F5_like_TTS

试听

• Language: ja
• Text: ありがとうございます！なんだか、すごく嬉しいです、先輩！わたし、今日この時の気持ちをずっと忘れません。

<audio controls src="https://huggingface.co/Regeny/VAE-DiT-TTS/resolve/main/demo_ja.wav"></audio>

---

🔔 v1.0 Preview 更新内容

相比先前版本，v1.0 Preview 主要包含以下改进：

• ✅ 优化 Duration Predictor

  • 改善长句与复杂文本下的时长预测稳定性
  • 减少语速异常、提前截断、漏音等问题
  • 提升多语言场景下的节奏一致性

• ✅ 新增 GAN-based latent optimization

  • 在 VAE latent 空间中引入额外对抗式优化目标
  • 提升生成结果的细节表现与音质还原
  • 改善高频细节、发音边界与整体听感自然度

• ✅ 整体推理效果增强

  • 更稳定的长文本合成体验
  • 更自然的停顿、韵律与句间过渡
  • 更好的说话人相似度与可懂度平衡

---

⚠️ Preview 阶段说明 / Known Limitations

尽管 v1.0 Preview 已对 Duration Predictor 做了明显优化，但在超长句子、复杂混合语言文本或标点稀少的输入上，自动时长预测仍可能出现偏差。

如果在合成长句时遇到以下情况：

• 声音偏快
• 局部漏音
• 结尾被提前截断
• 停顿节奏不理想

建议在推理时手动指定 duration 参数。
例如如果你预估目标输出约为 10 秒，可传入 duration=10.0，以获得更稳定的生成结果。

---

✨ 特性

• 🌏 多语言支持：中文 (ZH)、日文 (JA)、英文 (EN)
• 🎙️ Zero-shot 声音克隆：只需 3-10 秒参考音频
• 🏗️ 约 500M 参数量：基于 DiT 主干与交叉注意力机制
• ⚡ 30 步快速推理：使用带 Classifier-Free Guidance 的 Sway Sampling
• 🎵 48kHz 高保真输出：基于 Oobleck VAE 的高质量音频解码
• ⏱️ 增强的时长控制能力：优化后的 Duration Predictor 带来更稳定的节奏建模
• 🎚️ GAN latent optimization：进一步改善 latent 质量与最终音频表现

---

📊 模型架构

---

🚀 快速开始

1. 安装依赖

pip install torch torchaudio transformers diffusers phonemizer pykakasi pypinyin rjieba huggingface_hub
apt install espeak-ng  # Linux 系统必需，用于 G2P 音素转换
# brew install espeak-ng  # macOS