PocketTTS-ZH-6L

PocketTTS-ZH-6L(R21)中文语音克隆模型

中文语音合成(TTS)模型,支持语音克隆与数字/中英混读,CPU 优先设计,权重原生 int8 量化。

基于 Kyutai Pocket TTS 架构:6 层 FlowLM(d_model 1024)+ Mimi 神经音频编解码器(24 kHz),端到端流式推理。本版本(R21)相对上一代的核心变化:

• 原生 int8 交付:FlowLM 注意力与 FFN 权重已离线量化打包,无需运行时转换,体积 223 MB,CPU 速度提升约 1 倍
• 9174 token 词表:官方英文 BPE-4000 基底 + 追加单字汉字/全角标点,byte_fallback 兜底生僻字符
• 内置文本规范化(TN):阿拉伯数字、金额、日期、订单号自动转中文读法(368.5 → 三百六十八点五,16 位订单号逐位读出)
• 中英混读:APP、VIP、5G、WiFi 等英文术语按中文习惯读法

English summary: A Mandarin Chinese TTS model with voice cloning, built on the Pocket TTS architecture (6-layer flow transformer + Mimi codec). Weights ship pre-quantized int8 (223 MB, no runtime conversion needed): 0.18× real-time single-threaded on an i7-12700KF (≈5.5× faster than real-time audio production), 0.16× with 4 threads. Built-in text normalization reads Arabic digits, amounts, dates and order numbers in Mandarin (digit-by-digit for serial numbers). 9174-token SentencePiece vocabulary. Intended for customer-service dialogue and short-form Mandarin speech. See Performance and Limitations below.

快速开始

pip install pocket-tts soundfile wetext
cd <本目录>
python demo.py --prompt your_voice.wav --text "您的订单编号是20260918123456，退款368.5元预计三个工作日内到账。" --out out.wav

• TN 默认开启:数字、金额、日期、订单号自动转中文读法;--no-tn 可关闭
• 半角标点自动转全角:,.!?;: 会在合成前映射为 ，。！？；：（半角标点是英文 BPE token,中文训练数据未覆盖,会导致生成中途静音、EOS 不触发;此映射不受 --no-tn 影响）
• 模型为预量化 int8 权重(model_int8.pt),加载即用,无需 quantize=True

或有界面演示(需 pip install gradio):

python demo.py --gradio

界面中可看到 TN 规范化后的文本,并可选关闭 TN。

Python API:

import sys
sys.path.insert(0, "<本目录>")
from demo import load  # int8 加载 + TN
from tn import normalize_tn

model = load()
state = model.get_state_for_audio_prompt("your_voice.wav")  # 3~10 秒干净普通话
text = normalize_tn("您的订单编号是20260918123456")  # TN 显式调用(可选,demo.synthesize 默认已含)
audio = model.generate_audio(state, text)

• 参考音频:3~10 秒、干净、单说话人普通话,效果最佳
• 采样温度 temp=0.3(默认);文本越长对参考音频质量越敏感

性能

文本准确性用 whisper-small 对合成音频转写后计算字错误率(CER),每个场景 10 次独立采样取均值,生产配置(单步采样)。数值越低越好。

主指标:客服业务长句(52 字),语音克隆(客服参考音色)

分文本长度(客服参考音色,n=10)

速度与资源(int8 权重)

测试环境:Intel i7-12700KF,生成 52 字客服长句(约 8.5 秒音频),每档 3 次取均值。

线程说明:pocket_tts 库在 import 时固定单线程;demo.py 的 load() 已自动 设为 min(4, CPU 核数),这是实测甜点(1t 0.179 / 2t 0.163 / 4t 0.155 / 6t 0.201 / 8t 0.182)。性能路线已于 2026-09-18 实测封板,详见仓库根目录 INFERENCE_PERF_CLOSURE.md(ONNX 逐帧、Mimi 块解码等替代方案均劣于现状)。

示例音频

参考音频:客服目标音色(kefu_long / digits_order / codeswitch / short_unseen)与 AISHELL-3 说话人 A/B(speakerA_long / speakerB_long,仅用于演示音色克隆,不在交付范围内)。均由交付的 int8 模型 + TN 默认配置生成。

输入文本说明

• TN 默认开启(推荐):阿拉伯数字、金额、日期、电话、订单号/运单号/航班号自动转中文口语读法;订单号类编号逐位读出(如 20260918123456 → 二零二六零九一八一二三四五六)
• 关闭 TN(--no-tn)时,请自行使用中文数字写法;词表虽有数字 token,但训练数据全部经过 TN,关闭后数字读法不受控
• 网址(URL)、邮箱等复合符号朗读不稳定,建议预处理或避免
• 纯英文句子不受支持(可能输出静音),中英混读仅限常见术语词汇
• 长文本自动切分:模型单块生成超过约 50 token 会跳词,且 TN 会把数字膨胀成汉字读法——demo 在 TN 之后按逗号把超限句切成 ≤48 token 的子块(无标点长句按固定字数硬切),过短片段自动并入相邻块,逐块合成拼接;无标点长句的切点处韵律会略生硬
• 多行输入自动去换行:换行符会成为模型从未见过的 token 并充当"终止符"(换行后的内容整段丢失),demo 在 TN 后自动剥离换行/制表符

局限性与已知问题

• 极短句 + 语音克隆可能不稳定:约 9 字且无标点的文本,在嘈杂/电话信道参考音频下可能输出静音或复述参考音频内容(建议参考此类文本时实测);demo 已内置静音检测自动换 seed 重试
• 未见说话人泛化有限:对全新音色克隆长业务句 CER 明显高于已适应音色,建议参考音频清晰、时长 5 秒以上
• 必须提供参考音频(语音克隆是本模型的设计形态);无参考音频的直接合成质量不可用
• 方言、外语、唱歌不适用;情绪化/高表现力朗读能力有限
• 音色相似度未做定量评测,建议实际试听

伦理与使用限制

• 本模型仅用于已获得合法授权的语音合成。未经声音主体明确同意,禁止克隆其声音
• 禁止用于冒充、欺诈、制造虚假信息或任何违法用途
• 合成内容应明确标识为 AI 生成

文件清单