Downloads · 30 days
56
58% of all-time downloads
JazerJu/qwen3-asr-ctc-aiinfra
qwen3-asr-ctc-aiinfra is a automatic speech recognition model from JazerJu. Use it when you need speech turned into text. It is set up for pytorch. The card lists the license as apache-2.0.
新增 a7avg5/(2026-11):修 aiinfra4 在纯英文音频上串出中文的问题, 85.45M 参数、self-conditioned,step 412000–420000 五点平均。根目录仍是 aiinfra4 (step 339707),未覆盖。回归结果与口径见 bench-asr-ctc, ONNX 头见 qwen-ctc-a7avg5。
Downloads · 30 days
56
58% of all-time downloads
All-time downloads
96
Public
Repo size
684 MB
Likes
1
Public
Click a slice to open those files.
.safetensors684 MB · 100%
From the Hugging Face model README
新增
a7_avg5/(2026-11):修 aiinfra4 在纯英文音频上串出中文的问题, 85.45M 参数、self-conditioned,step 412000–420000 五点平均。根目录仍是 aiinfra4 (step 339707),未覆盖。回归结果与口径见 bench-asr-ctc, ONNX 头见 qwen-ctc-a7avg5。
一个 85.4M 参数的 Self-conditioned CTC 头,接在冻结的 Qwen3-ASR-1.7B 音频
编码器后面,做首遍转写和强制对齐。编码器不含在本仓库,运行时从
Qwen/Qwen3-ASR-1.7B 加载。
相对 JazerJu/qwen3-asr-ctc(v1,
48.3M,非 self-conditioned),本模型多做了两件事:
领域续训没有以通用能力为代价。 FLEURS 11 个语种没有一个退步,15 个标准 测试集也全部持平或更好 —— 数字在下面。
conditioning_layer(72468 → 512)参与推理前向,不是训练期的辅助结构:
它把第 2、4 个 block 之后的中间预测 softmax 后投影回主干、加到下一层输入上。
for i, block in enumerate(self.blocks):
x = block(x)
if self.self_cond and i in self.inter_layers: # (1, 3)
inter = self.ctc_lo(self.layer_norm(x))
x = x + self.conditioning_layer(F.softmax(inter.float(), -1).to(x.dtype))
return self.ctc_lo(self.layer_norm(x))
照 v1 的结构建模型会静默出错:权重的键全都在,load_state_dict 少两个
unexpected key 就能过(把 strict 关掉的话),但少了这条通路,输出是错的。
config.json 里的 self_cond: true 和 inter_layers: [1, 3] 必须被读到。
本仓库的 modeling_ctc.py 已经按配置建图,直接用即可。
int4 量化后是 44.0 MB,不是 v1 的 25.1 MB —— 多出来的就是 conditioning_layer。
自留的 955 段测试数据,47 个术语共出现 1,158 次(贪心解码,统计的是术语被 正确写出的次数):
| 基座 | 本模型 | |
|---|---|---|
| 47 个术语合计 | 403(35%) | 940(81%) |
单个术语(次数 ≥ 14):
| 术语 | 次数 | 基座 | 本模型 |
|---|---|---|---|
| cann | 105 | 0% | 80% |
| 昇腾 | 73 | 0% | 84% |
| openai | 108 | 19% | 84% |
| sglang | 24 | 0% | 67% |
| hbm | 14 | 7% | 100% |
| ascend | 21 | 0% | 95% |
| ascend c | 18 | 0% | 72% |
| zero | 51 | 86% | 33% |
zero 是唯一退步的:语料里 ZeRO(DeepSpeed 的显存优化)和数字 0 同音,
续训后模型更倾向写成 ZeRO。这是真实的退步,没有修。
FLEURS 全量 7,876 句,基座与本模型同一次运行、同一套解码:
| 语种 | 指标 | n | 基座 | 本模型 | 差 |
|---|---|---|---|---|---|
| en_us | WER | 647 | 17.89 | 16.98 | −0.92 |
| cmn_hans_cn | CER | 945 | 10.79 | 10.24 | −0.55 |
| ko_kr | CER | 382 | 18.90 | 15.85 | −3.06 |
| ja_jp | CER | 650 | 19.22 | 18.25 | −0.98 |
| yue_hant_hk | CER | 819 | 26.12 | 25.54 | −0.58 |
| de_de | WER | 862 | 38.51 | 36.74 | −1.76 |
| fr_fr | WER | 676 | 43.45 | 42.15 | −1.30 |
| es_419 | WER | 908 | 31.45 | 30.56 | −0.89 |
| it_it | WER | 865 | 46.24 | 44.39 | −1.85 |
| nl_nl | WER | 364 | 48.13 | 46.82 | −1.30 |
| pl_pl | WER | 758 | 74.88 | 73.03 | −1.85 |
| 微平均 | 30.39 | 29.14 | −1.24 | ||
| 宏平均 | 34.14 | 32.78 | −1.37 |
韩语那 −3.06 不是领域数据的功劳,是修标签修出来的:紧凑词表里有一类 「空格 + 半截 UTF-8 字节」的 token,训练时把它拆成独立空格 + 重新分词, 韩语含 U+FFFD 的句子从 280 句降到 38 句。
标准测试集(同环境):
| 语料 | 指标 | 基座 | 本模型 |
|---|---|---|---|
| ASCEND test(中英混说) | MER | 13.91 | 12.43 |
| ReazonSpeech ja test | CER | 21.31 | 19.28 |
| LibriSpeech test-clean | WER | 5.91 | 5.55 |
| AISHELL-1 dev | CER | 4.12 | 3.91 |
| ja_local_1k | CER | 12.88 | 12.06 |
同一段连续音频按固定窗口切开送进去的 CER:
| 切段 | 基座 | 本模型 |
|---|---|---|
| 30 秒 | 28.1% | 18.4% |
| 20 秒 | 28.7% | 17.5% |
| 15 秒 | 27.6% | 17.8% |
| 8 秒 | 27.3% | 20.6% |
中文语料几乎没有长句(AISHELL-1 超过 12 秒的占 0.01%、WenetSpeech 0.08%, 而 LibriSpeech 有 72.3%),只喂短段训出来的模型在 30 秒输入上会崩。 解决办法是把相邻字幕按 ≤0.6 秒的间隔合并成 8–20 秒的长段再训一遍 —— 不拼接音频,只把时间窗口拉长,中间的停顿原样保留。
| 编码器 | Qwen3-ASR-1.7B audio tower,全程冻结 |
| CTC 头 | 2048→2048→512,5 层 Transformer block(8 头,FFN 128),72,468 类,self-conditioned |
| 参数量 | 85,448,596 |
| 起点 | 多语种 self-cond 基座(step 260,503) |
| 续训数据 | AI 基础设施领域中英混读 372 小时 / 545 个视频(硬字幕提取)+ 合并长段 + 英文 + TTS 合成,叠加原有 26 个 manifest 的基座语料 |
| 硬件 | 8× 昇腾 910B3 |
| 配方 | batch 32/卡(合计 256)、grad_accum 1、2 个 epoch、余弦 LR 自 8e-5 续、InterCTC 0.3、SpecAugment |
| 步数 / 时长 | 339,707 步(本轮增量 10 小时 30 分) |
| 最终 val loss | 通用 0.5321 / 领域 1.0815 |
vocab_compact.json 是从 Qwen3 原生的 151,705 词表压出来的紧凑词表(72,468 类,
含 blank 与 unk),与 v1 同一份。
pip install torch transformers qwen-asr safetensors soundfile
from modeling_ctc import Qwen3CtcAsr
asr = Qwen3CtcAsr(".", device="cuda") # 会自动拉 Qwen/Qwen3-ASR-1.7B
print(asr.transcribe([waveform_16k_float32]))
离线环境把本地编码器目录给 QWEN3_ASR_ENCODER。完整示例(含 CTC 强制对齐出
字级时间戳)见 example.py:
python example.py audio.wav
前两个和 v1 一样,第三个是本模型新增的:
编码器输入是时间维拼接的 2D 张量 [128, ΣT_mel] 加 feature_lens,
不是 [B, 128, T]。传 3D 会报 split_with_sizes 的错。
帧率是 13 fps(76.9 ms/帧),不是 Whisper/GLM 的 50 fps。 编码器用 3 层
stride-2 conv2d 做 8 倍降采样,但官方长度公式是「每 100 个 mel 帧出 13 帧」
(qwen3_output_lengths())。沿用 50 fps 的算法会把可用帧数高估 4 倍 ——
CTC 以为容量充足,实际 log_probs 只有 1/4 长,loss 看着能降但对齐全是错的。
必须打 attention mask 补丁。 qwen-asr 0.0.6 里 _prepare_attention_mask
定义了却从来没被调用,cu_seq_lens_q/k 只有 flash_attention_2 后端认。
不打补丁时同一条音频单条推理 vs 批推理的余弦相似度只有 0.81–0.88,打完
0.9998+。CUDA 上同样中招,不是昇腾特有的问题。patch_qwen3_attention_mask()
是幂等的,Qwen3CtcAsr 会自动调用。
self_cond 必须建进图里,见上文。
zero(ZeRO)退步,基座 86% → 本模型 33%,见上表。cann,LLM 二遍会改回「看」。 在「CTC 首遍 + LLM 二遍」的
流水线里实测:首遍 105 次里写对 84 次(89%),二遍只剩约 21%。同一条链路上
ascend 95%、昇腾 84%、sglang 67% 都保得住,只有 cann 掉,因为它和高频字
「看」完全同音。要在最终文本里保住,得把热词匹配算出的改写直接应用到二遍
文本上,而不是只塞进 prompt。导出好的 ONNX(fp16 / q4 / q4f16)在
JazerJu/glm-asr-ctc-bench
的 qwen-ctc-aiinfra4/ 下,配套编码器在同仓库 qwen-ctc/。
导出与量化脚本:https://github.com/JazerJu/Qwen3-ASR-CTC-GGUF
CTC 头权重按基础模型 Qwen3-ASR-1.7B 的 Apache-2.0 发布。训练语料各自的许可 归各自所有者,本仓库不含任何语料数据。