voxcpm-finetune-lora

VoxCPM 2 r50 三语种配音模型（th / id / tl）

基于 openbmb/VoxCPM2 的联合 LoRA 微调（2026-11-04）。 根目录为合并后的完整模型，lora/ 保留增量本体和配置。本仓库此前的 r18/r23 版本见提交历史。

加载

完整模型：

from voxcpm import VoxCPM
model = VoxCPM.from_pretrained("FrankLiuDundun/voxcpm-finetune-lora",
                               load_denoiser=False, optimize=True)

OmniVoice 使用 VOXCPM_MODEL_ID=FrankLiuDundun/voxcpm-finetune-lora。

LoRA 增量目录 lora/ 包含 lora_weights.safetensors 与 lora_config.json，二者必须一起使用。 配置为 r=64, alpha=64, dropout=0.05, enable_lm=true, enable_dit=true, enable_proj=false。 加载后必须检查 loaded 非空、skipped/missing 为空。

训练

• 冷启动，seed 42；LoRA r/alpha 64，LM+DiT，lr 1e-4，weight decay 0.01，batch 2 × 梯度累积 8（有效 16）， warmup 145，1480 步 ≈ 3 epoch。
• 数据 7891 条 / 14.47 小时：在已清洗的 12h 安全池（继承全部历史排除：疑似坏录音、疑似配乐、评测文本隔离）基础上， 加入 2103 条 TL/ID 3–6 秒片段。片段由已在训练集中的 FLEURS 长句用 MMS 强制对齐在 ≥0.15s 停顿处切出， 经 Whisper 回转写 CER≤0.10、尾静音≤0.2s 质检，不与任何评测文本重合。TL 中 ≤4s 样本由 4 条增至 708 条。
• 语种时长：id 6.62h / tl 4.76h / th 2.13h / zh 0.59h / en 0.37h。

TL/ID 片段是上表 FLEURS 原音的切分，许可同 FLEURS。对齐模型为 torchaudio MMS_FA。

生产口径验收

条件：cfg 1.8，步数按参考时长（<2s 28 / 2–5s 24 / ≥5s 22），单次生成、禁用重试，跨语言中/英参考，5 个 seed； ASR 为 Whisper large-v3。「严重」= 空转写、多读、少读/漏尾、CER 超阈（长句 0.3 / 短句 0.5）或时长失控。 判定为分语种「新增−修好」符号检验，不以均值掩盖单语种退化。

分语种（r50 相对 base，p 为单侧符号检验）：

相对 r46-u10：留出集 th 15→5（p=.001）、id 3→0，任何集合均无语种变差。 同轮对照的 r29/r49 也均优于基座，r50 严重数最少，按预先冻结的规则当选；留出集只对 r50 使用一次，不再用于调参。

**边界：**以上为 ASR 内容与时长的工程指标。自然度、口音、情绪未经合格母语者验收；参考音为 FLEURS 说话人， 未覆盖生产链路的分离人声与 ZipEnhancer 降噪；单 seed 仍可能出现坏例。详细数据见 evaluation.json。