H-GTCRN.AXERA

H-GTCRN.AXERA

H-GTCRN 语音增强 AXERA 板端推理 demo。 AX650/NPU3 预编译模型 + Python SDK + C++ 可执行文件，即取即用，wav 进 wav 出。

• Python 示例（numpy + pyaxengine，无 torch/onnxruntime 回退）
• C++ 示例（bin/ 下可执行文件，无需编译）

支持模型

完整链路（与官方 GTCRN_IVA 一致）：STFT → WPE 去混响 → auxIVA 声源分离 → 特征构造 → [NPU: GTCRN 核 feat→mask] → 掩码应用 → ISTFT。 CPU 侧为 numpy / C++ 实现，NPU 只跑神经核。 端到端 RTF =（CPU 链路 + NPU）总耗时 / 音频时长（10s 音频约 3.6s，AX650 实测）； NPU core RTF = 仅神经核推理 / 音频时长。CPU 链路占绝对主导：WPE/IVA 是 整段统计算法（每频点 36×36 矩阵求逆 + 10 轮迭代），与上游一致为离线整段推理， 非流式；如需实时需改造为在线分块算法。

目录结构

H-GTCRN.AXERA/
├── models/                 # model.axmodel + model_meta.json
├── bin/                    # h_gtcrn_ax650 可执行文件（板端直接运行，wav→wav）
├── python/                 # Python SDK + numpy 版 wav→wav demo
├── samples/                # 带噪/增强对比音频
├── run.sh                  # Python 一键推理
├── run_cpp_ax650.sh        # C++ 一键推理（wav→wav）
├── setup.sh                # 板端 Python 依赖安装
└── README.md

快速开始（AX650 板端）

# 下载本仓库到板端后：
bash run_cpp_ax650.sh        # C++ 一键降噪：Samples1_noisy.wav → output_cpp_enhanced.wav
# 或 Python：
bash setup.sh                # 安装依赖（numpy + pyaxengine，已装则跳过）
python3 python/audio_demo.py --model models/model.axmodel \
  --input-wav samples/Samples1_noisy.wav --output output_enhanced.wav

输入要求：16kHz PCM16 wav，1 或 2 声道；长度 ≤ 10.0s（626 帧，自动补零），更长请 自行分片。板端运行库在 /soc/lib，系统已配置搜索路径，一般直接运行即可；如提示 找不到 libax_*.so，再加 export LD_LIBRARY_PATH=/soc/lib:${LD_LIBRARY_PATH:-}。

Python SDK

import numpy as np
from h_gtcrn_core_sdk import ModelSession

feat = np.load("examples/sample_input.npy").astype("float32")
session = ModelSession("models/model.axmodel")
mask = session.run_named({"feat": feat})["mask"]

依赖仅 numpy + pyaxengine（板端），无 torch/onnxruntime 回退。 python/audio_demo.py 是完整 wav→wav demo（numpy 实现 CPU 链路）。

C++ 推理（bin/ 可执行文件）

bin/h_gtcrn_ax650 已按 AX650 交叉编译好，板端直接运行：

./bin/h_gtcrn_ax650 models/model.axmodel samples/Samples1_noisy.wav output_enhanced.wav --bench 20

输出 16kHz PCM16 增强 wav，并打印 CPU 链路耗时 / NPU 耗时 / RTF。 C++ 源码（编译方法 + 工具链下载说明）见 GitHub： https://github.com/AXERA-TECH/H-GTCRN.AXERA

示例音频 (samples/)

• Samples1_noisy.wav — 原始 16kHz 双通道带噪输入（RMS 0.09499）
• Samples1_board_enhanced.wav — AX650 板端增强输出（RMS 0.02932）
• Samples1_core_ref_enhanced.wav — ONNX 参考增强输出

验证（AX650 板端实测）

参考

• H-GTCRN — 原始模型
• H-GTCRN.AXERA（GitHub 源码） — 模型转换 + C++ 源码
• Magnetar — AXERA 模型部署 agent 工具