Dan_Berrebbi_aishell4_asr

Usage

import librosa
from espnet2.bin.asr_inference import Speech2Text

speech2text = Speech2Text.from_pretrained(model_tag="espnet/Dan_Berrebbi_aishell4_asr")
# librosa resamples and mixes to one channel, so any file works; 16000 is
# what nearly every espnet recogniser is trained on - check this model's
# config if its audio is not 16 kHz
speech, rate = librosa.load("audio.wav", sr=16000, mono=True)
text, *_ = speech2text(speech)[0]
print(text)

ESPnet2 ASR model

Dan_Berrebbi_aishell4_asr

This model was trained by dan_berrebbi using aishell4 recipe in espnet.

Demo: How to use in ESPnet2

cd espnet
git checkout da1a26652f7d5a019cc24ad1e0e6e844f2b57e1b
pip install -e .
cd egs2/aishell4/asr1
./run.sh --skip_data_prep false --skip_train true --download_model Dan_Berrebbi_aishell4_asr

<!-- Generated by scripts/utils/show_asr_result.sh -->

RESULTS

Environments

• date: Tue Sep 21 09:36:01 EDT 2021
• python version: 3.7.11 (default, Jul 27 2021, 14:32:16) [GCC 7.5.0]
• espnet version: espnet 0.10.3a1
• pytorch version: pytorch 1.9.0
• Git hash: 7887faeabbc2299922267928e190ed89cb032a36
  • Commit date: Mon Sep 20 16:25:02 2021 -0400

asr_fine_tune5_100ep

WER

CER

TER

ASR config

<details><summary>expand</summary> ``` config: conf/tuning/train_asr_conformer5.yaml print_config: false log_level: INFO dry_run: false iterator_type: sequence output_dir: exp/asr_fine_tune5_100ep ngpu: 1 seed: 0 num_workers: 1 num_att_plot: 3 dist_backend: nccl dist_init_method: env:// dist_world_size: null dist_rank: null local_rank: 0 dist_master_addr: null dist_master_port: null dist_launcher: null multiprocessing_distributed: false unused_parameters: false sharded_ddp: false cudnn_enabled: true cudnn_benchmark: false cudnn_deterministic: true collect_stats: false write_collected_feats: false max_epoch: 100 patience: null val_scheduler_criterion: - valid - loss early_stopping_criterion: - valid - loss - min best_model_criterion: - - valid - acc - max keep_nbest_models: 10 grad_clip: 3 grad_clip_type: 2.0 grad_noise: false accum_grad: 1 no_forward_run: false resume: true train_dtype: float32 use_amp: false log_interval: null use_tensorboard: true use_wandb: false wandb_project: null wandb_id: null wandb_entity: null wandb_name: null wandb_model_log_interval: -1 detect_anomaly: false pretrain_path: null init_param: [] ignore_init_mismatch: false freeze_param: [] num_iters_per_epoch: null batch_size: 20 valid_batch_size: null batch_bins: 10000000 valid_batch_bins: null train_shape_file: - exp/asr_stats_raw_zh_char/train/speech_shape - exp/asr_stats_raw_zh_char/train/text_shape.char valid_shape_file: - exp/asr_stats_raw_zh_char/valid/speech_shape - exp/asr_stats_raw_zh_char/valid/text_shape.char batch_type: numel valid_batch_type: null fold_length: - 51200 - 150 sort_in_batch: descending sort_batch: descending multiple_iterator: false chunk_length: 500 chunk_shift_ratio: 0.5 num_cache_chunks: 1024 train_data_path_and_name_and_type: - - dump/raw/train_nodev/wav.scp - speech - sound - - dump/raw/train_nodev/text - text - text valid_data_path_and_name_and_type: - - dump/raw/dev/wav.scp - speech - sound - - dump/raw/dev/text - text - text allow_variable_data_keys: false max_cache_size: 0.0 max_cache_fd: 32 valid_max_cache_size: null optim: adam optim_conf: lr: 4.0 scheduler: noamlr scheduler_conf: model_size: 256 warmup_steps: 25000 token_list: - <blank> - <unk> - ， - 的 - 是 - 个 - 这 - 一 - 。 - 就 - 儿 - 嗯 - 们 - 呃 - 我 - 有 - <sil> - 那 - 说 - 不 - 些 - 也 - 他 - 你 - 要 - 后 - 以 - 咱 - 在 - 啊 - 了 - 然 - 家 - 都 - 来 - 还 - 可 - 子 - 下 - 上 - 时 - 比 - 话 - 孩 - 呢 - 去 - 人 - 好 - 对 - 能 - 么 - 吧 - 学 - 多 - 到 - 看 - 为 - 进 - 把 - 大 - 做 - 生 - 种 - 品 - 给 - 没 - 行 - 现 - 小 - 会 - 作 - 较 - 方 - 块 - 业 - 让 - 点 - 定 - 因 - 什 - 长 - 面 - 如 - 安 - 客 - 问 - 过 - 车 - 出 - 啦 - 边 - 候 - 主 - 所 - 题 - 买 - 销 - 天 - 意 - 自 - 全 - 动 - 工 - '&' - 老 - 或 - 者 - 年 - 着 - 实 - 活 - 理 - 包 - 样 - 再 - 区 - 用 - 呀 - 零 - 员 - 发 - 先 - 部 - 放 - 门 - 情 - 像 - 分 - 售 - 很 - 开 - 己 - 十 - 括 - 跟 - 事 - 需 - 更 - 其 - 装 - 市 - 成 - 里 - 物 - 别 - 间 - 第 - 次 - 中 - 提 - 超 - 顾 - 保 - 感 - 加 - 量 - 二 - 和 - 各 - 嘛 - 新 - 每 - 完 - 力 - 消 - 得 - 店 - 本 - 通 - 习 - 觉 - 道 - 心 - 校 - 菜 - 交 - 哪 - 产 - 于 - 位 - 电 - 想 - 三 - 况 - 度 - 期 - 应 - 但 - 教 - 体 - 常 - 师 - 它 - 高 - 前 - 之 - 西 - 特 - 商 - 果 - 场 - 重 - 防 - 管 - 起 - 地 - 该 - 东 - 少 - 打 - 费 - 当 - 带 - 服 - 口 - 购 - 知 - 回 - 同 - 钱 - 外 - 户 - 注 - 促 - 价 - 解 - <#> - 水 - 百 - 今 - 太 - 最 - 报 - 怎 - 才 - 等 - 及 - 关 - <-> - 肯 - 火 - 机 - 流 - 制 - 送 - 手 - 确 - 法 - 写 - 玩 - 传 - 路 - 班 - 查 - 招 - 卖 - 几 - 正 - 合 - 够 - 五 - 引 - 容 - 只 - 男 - 日 - 四 - 宣 - 反 - 两 - 清 - 处 - 周 - 单 - 首 - 课 - 衣 - 便 - 身 - 气 - 针 - 奶 - 六 - 经 - 接 - 女 - 育 - 鲜 - 赠 - 试 - 停 - 晚 - 类 - 故 - 入 - 性 - 增 - 食 - 满 - 格 - 基 - 备 - 洗 - 培 - 质 - 美 - 明 - 整 - 化 - 公 - 案 - 哎 - 吸 - 原 - 易 - 幺 - 总 - 尽 - 优 - 而 - 建 - 责 - 啥 - 干 - 月 - 使 - 找 - 季 - 望 - 器 - 目 - 识 - 低 - 听 - 烟 - 相 - 早 - 检 - 护 - 摆 - 住 - 直 - 从 - 务 - 希 - 导 - 内 - 八 - 持 - 近 - 配 - 叫 - 见 - 设 - 吗 - 非 - 调 - 程 - 拿 - 训 - <%> - 结 - 标 - 挺 - 花 - <$> - 受 - 式 - 求 - 平 - 换 - 具 - 愿 - 货 - 牌 - 专 - 轻 - 推 - 妈 - 司 - 辆 - 存 - 名 - 且 - 欢 - 喜 - 吃 - 数 - 段 - 议 - 控 - 往 - 礼 - 决 - 走 - 养 - 免 - 惠 - 园 - 档 - 谁 - 真 - 快 - 置 - 幼 - 乐 - 证 - 向 - 厂 - 简 - 声 - 视 - 划 - 绩 - 适 - 集 - 搞 - 办 - 规 - 灾 - 造 - 准 - 必 - 任 - 险 - 响 - 毕 - 群 - 鞋 - 九 - 嘞 - 信 - 库 - 计 - 认 - 奖 - 表 - 无 - 影 - 头 - 卡 - 告 - 考 - 抽 - 竟 - 选 - 帮 - 何 - 修 - 酒 - 尤 - 线 - 穿 - 讲 - 光 - 留 - 讨 - 随 - 请 - 卫 - 系 - 队 - 失 - 双 - 庭 - 强 - 微 - 折 - 色 - 半 - 否 - 立 - 差 - 沟 - 冬 - 批 - 害 - 已 - 危 - 白 - 爆 - 节 - 参 - 逛 - 搭 - 风 - 朋 - 友 - 环 - 验 - 评 - 严 - 般 - 效 - 舞 - 饭 - 境 - 负 - 又 - 底 - 术 - 刚 - 件 - 罚 - 助 - 态 - 状 - 室 - 房 - 游 - 息 - 领 - 难 - 警 - 按 - 级 - 错 - 利 - 与 - 餐 - 陪 - 蹈 - 论 - 记 - 许 - 马 - 算 - 楼 - 型 - 排 - 广 - 值 - 油 - 糕 - 楚 - 步 - 至 - 拉 - 紧 - 灯 - 升 - 七 - 共 - 努 - 除 - 展 - 形 - 元 - 网 - 宜 - 营 - 兴 - 互 - 蛋 - 燃 - 冷 - 条 - 思 - 巡 - 净 - 须 - 遇 - 落 - 禁 - 科 - 款 - 哦 - 止 - 采 - 材 - 介 - 套 - 围 - 维 - 旦 - 切 - 显 - 汇 - 损 - 速 - 越 - 模 - 假 - 精 - 稍 - 书 - 绍 - 父 - 积 - 策 - 示 - 骑 - 改 - 跑 - 运 - 变 - 洁 - 仓 - 鱼 - <space> - 绝 - 诶 - 伤 - 细 - 职 - 离 - 慢 - 素 - 料 - 睡 - 趣 - 爱 - 母 - 眼 - 味 - 列 - 督 - 张 - 率 - 被 - 域 - 语 - 坏 - 资 - 红 - 减 - 励 - 择 - 预 - 层 - 陈 - 根 - 休 - 毒 - 球 - 爸 - 登 - 足 - 取 - 指 - 柜 - 限 - 降 - 概 - 院 - 供 - 支 - 额 - 源 - 始 - 盘 - 饮 - 项 - 液 - 童 - 爷 - 号 - 抓 - 台 - 转 - 观 - 金 - 照 - 滑 - 岁 - 致 - 文 - 她 - 弄 - 站 - 酸 - 音 - 胎 - 投 - 疏 - 乱 - 临 - 允 - 狗 - 疫 - 询 - 、 - 象 - 占 - 坐 - 倒 - 争 - 午 - 亲 - 读 - 演 - 退 - 惯 - 贵 - 达 - 监 - 志 - 绿 - 醒 - 急 - 驾 - 违 - 诉 - 片 - 空 - 势 - 极 - 豆 - 独 - 钟 - 代 - 瓶 - 纸 - 并 - 企 - 映 - 统 - 属 - 省 - 夜 - 障 - 谈 - 避 - 由 - 终 - 频 - 掉 - 估 - 激 - 仅 - 布 - 谢 - 灭 - 忙 - 码 - 伙 - 缺 - 叶 - 功 - 析 - 赖 - 架 - 范 - 签 - D - 待 - 神 - 龄 - 画 - 券 - 居 - 杜 - 堵 - 您 - 勤 - 扫 - 技 - 财 - 隐 - 患 - 例 - 乘 - 摩 - 戏 - 鼓 - 份 - 杂 - 散 - 热 - 铺 - 据 - 肤 - 怕 - 依 - 拖 - 充 - 智 - 偷 - 远 - 挂 - 盗 - 附 - 梯 - 冰 - 联 - 借 - 蹭 - 异 - 蔬 - 绑 - 堂 - 将 - 厨 - 帽 - 破 - 戴 - 皮 - 粉 - 氛 - 仪 - 国 - 益 - 闯 - 惩 - 逃 - 刻 - 突 - 申 - 略 - 顿 - 毛 - 召 - 海 - 黄 - 青 - 士 - 移 - 喝 - 板 - 练 - 歌 - 千 - 床 - 享 - 磨 - 构 - 收 - 万 - 摸 - 圈 - 亮 - 刹 - 逆 - 驶 - 赶 - 松 - 呐 - 压 - 拥 - 辅 - 协 - 托 - 断 - 轮 - 善 - 哈 - 捆 - 座 - 病 - 健 - 牛 - 草 - 释 - 似 - 土 - 补 - 俩 - 堆 - 即 - 密 - 背 - 言 - 街 - 尚 - 窗 - C - 艺 - 纠 - 纷 - 忽 - 句 - 另 - 施 - 政 - 温 - 某 - 翻 - 章 - 守 - 熟 - 民 - 续 - 良 - 挤 - 础 - 字 - 瓜 - 乎 - 竞 - 距 - 际 - 暖 - 凭 - 董 - 碗 - 短 - 渠 - 康 - 藏 - 香 - 虽 - 露 - 厉 - 忘 - 误 - 冒 - 窃 - 络 - 淡 - 腐 - 颜 - 播 - 默 - 锻 - 炼 - 宝 - 组 - 淘 - 则 - 逻 - 垃 - 圾 - 复 - 贴 - 靠 - 潜 - 察 - 晨 - 碰 - 剩 - 峰 - 深 - 偏 - 虑 - 念 - 初 - 闹 - 幸 - 跳 - 米 - 旧 - 蛤 - 虾 - 汽 - 苦 - 螃 - 蟹 - 冲 - 固 - 隔 - 懂 - 卷 - 镜 - 罩 - 暴 - 闭 - 野 - 玻 - 璃 - 义 - B - 煤 - 富 - 踩 - 途 - 闲 - 紫 - 北 - 欲 - 曲 - 榜 - 垒 - 伴 - 累 - 判 - 搜 - 困 - 租 - 键 - 肥 - 社 - 弯 - 角 - 纪 - 律 - 详 - 右 - 刮 - 继 - 撤 - 输 - 普 - 未 - 稳 - 摔 - 访 - 扩 - 扣 - 末 - 票 - 承 - 担 - 丢 - 涉 - 欠 - 创 - 获 - 摊 - 疑 - 蓝 - 答 - 霜 - 录 - 齐 - 烦 - 治 - 粗 - 叛 - 污 - 址 - 若 - 染 - 含 - 药 - 雨 - 此 - 陌 - 研 - 催 - 拨 - 页 - 磕 - 呆 - 脸 - 墙 - 夫 - A - 棉 - 袜 - 填 - 死 - 懒 - 植 - 扇 - 捡 - 遍 - 操 - 摄 - 箱 - ？ - 繁 - 城 - 咯 - 左 - 拐 - 悉 - 犯 - 宽 - 伞 - 余 - 糊 - 巧 - 透 - 贪 - 顺 - 局 - 妇 - 私 - 浪 - 岗 - 棋 - 序 - 辛 - V - 握 - 擦 - 扔 - 斤 - 付 - 剐 - 锁 - 麻 - 敢 - 桶 - 佩 - 坠 - 封 - 替 - 塞 - 斗 - 攀 - 爽 - 沉 - 混 - 滋 - 刺 - 潮 - 皿 - 端 - 刷 - 刀 - 巾 - 烫 - 木 - 漏 - 迅 - 织 - 救 - 吹 - 仔 - 称 - 返 - 景 - 聚 - 阶 - 秀 - 涨 - P - 颈 - 肩 - 泥 - I - 侣 - 尔 - 伍 - 甚 - 皂 - 蒙 - 世 - 界 - 嘻 - 辈 - Q - 审 - 尾 - 浇 - 遛 - 馨 - 措 - 邻 - 撒 - 挥 - 遵 - 予 - 击 - 鉴 - 殊 - 哇 - 载 - 添 - 盈 - 盯 - 惊 - 喷 - 荷 - 怠 - 抢 - 喂 - 饱 - 谅 - 团 - 龙 - 冻 - 图 - 掺 - 扑 - 刊 - 葱 - 薄 - 萝 - 卜 - 麦 - 苹 - 触 - 飞 - 艳 - 畅 - 鸡 - 权 - 趟 - 连 - 哭 - 旁 - 漂 - 焊 - 敞 - 叉 - 钢 - 氧 - 溺 - 聊 - 巢 - 衡 - 淀 - 劣 - 虫 - 符 - 均 - 辨 - 菌 - 彻 - 烂 - 厅 - 皱 - 妥 - 拾 - 插 - 携 - 竹 - 碍 - 湿 - 灵 - 忌 - 旅 - 勿 - 宿 - 迷 - 探 - 春 - 劵 - 星 - 耐 - 裤 - 颖 - 韩 - 艾 - 灸 - 邀 - 婚 - 乳 - 芽 - 挑 - 摘 - 阿 - 姨 - 伊 - 慕 - 纯 - 貌 - 嘴 - 偶 - 睛 - 献 - 坚 - 账 - 典 - 唱 - L - E - 贡 - 寒 - 唧 - Y - 尝 - 抹 - 汰 - 腾 - 哼 - 仿 - 英 - 舒 - 扰 - 拒 - 剪 - 夏 - 宠 - 咬 - 派 - 委 - 婉 - 执 - 呗 - 悄 - 搬 - 雪 - 盐 - 暂 - 奸 - 耍 - 僻 - 却 - 署 - 寻 - 串 - 援 - 亏 - 烈 - 印 - 捎 - 幅 - 绘 - 锈 - 闸 - 罪 - 嫌 - 俗 - 歹 - 劳 - 兜 - 喽 - 谓 - 鹤 - 舍 - 克 - 徇 - 倍 - 敏 - 丝 - 纺 - 拭 - 融 - 蔫 - 掂 - 测 - T - 众 - 卸 - 暗 - 赔 - 偿 - 举 - 劲 - 篮 - 储 - 乙 - 炔 - 软 - 侵 - 诱 - 浊 - 蚀 - 秽 - 炸 - 泽 - 闻 - 鼻 - 甜 - 澈 - 脏 - 官 - 凝 - 芳 - 灰 - 卵 - 农 - 烧 - 肉 - 桌 - 椅 - 垫 - 硬 - 叠 - 瓷 - 碎 - 柄 - 屉 - 拳 - 撞 - 铝 - 歇 - 遗 - 炮 - 掌 - 妨 - 静 - 浸 - 涂 - 凉 - 炫 - 耀 - 姓 - 究 - 奏 - 缆 - 脚 - 酿 - 抄 - 慌 - 戚 - 燥 - 毯 - 挽 - 诺 - 济 - 旺 - 抖 - 郊 - 疗 - 巴 - 痧 - 脊 - 膜 - 晒 - 润 - 掏 - 笔 - 鞭 - 博 - 捧 - 函 - 胡 - 锅 - 雾 - 疯 - 狂 - 趋 - 膏 - 妆 - 尘 - 袋 - 贝 - 俺 - 耽 - 怀 - 恐 - 赋 - 脑 - 焉 - 愣 - 呵 - 噼 - 啪 - 虚 - 河 - 归 - 绊 - 械 - 扬 - 筒 - 靴 - 束 - 彩 - 荐 - 沙 - 迎 - 荡 - 凌 - 昂 - 碑 - 蹦 - 扉 - 泼 - 丰 - 滴 - 沾 - 亭 - 粘 - 奇 - 饼 - 牙 - 娃 - 杯 - 踢 - 嘿 - 抛 - 枯 - 剔 - 苗 - 纹 - 永 - 津 - 唉 - 趁 - 屡 - 逮 - 戒 - 肃 - 仁 - 肇 - 醉 - 糟 - 馈 - 横 - 扭 - 盔 - 侧 - 鲁 - 莽 - 飙 - 稿 - 逐 - 谋 - 京 - 苏 - 宁 - 驻 - 咨 - 旷 - 拓 - 杆 - 秤 - 叮 - 嘱 - 咋 - 炊 - 怪 - 婆 - 阎 - 王 - 饿 - 鬼 - 惨 - 渡 - 坎 - 囤 - 甲 - 蛙 - 鲤 - 桂 - 石 - 玉 - 溪 - 华 - 窝 - 截 - 秩 - 嗨 - 芹 - 梨 - 蕉 - S - 煲 - 汤 - 鲫 - 揽 - 挡 - 柚 - 瑞 - 匹 - '2' - 踹 - 吵 - 凶 - 矩 - 迟 - 脾 - 纳 - 朵 - 墨 - 袖 - 链 - 钩 - 笼 - 熄 - 盆 - 殴 - 欺 - 诈 - 厕 - 娱 - 爬 - 威 - 胁 - 阅 - 赌 - 拢 - 症 - 伪 - 脂 - 堪 - 盛 - 蚊 - 蝇 - 煎 - 晰 - 柔 - 涩 - 汁 - 腹 - 胃 - 痉 - 挛 - 颗 - 粒 - 匀 - 败 - 历 - 佳 - 乏 - 寄 - 残 - 杀 - 剂 - 疾 - 衍 - 溅 - 倘 - 褶 - 席 - 启 - 遮 - 槽 - 递 - 橱 - 迹 - 镁 - 泄 - 阀 - 柴 - 阻 - 恋 - 盲 - 浓 - 捂 - 腰 - 姿 - 缝 - 肿 - 焦 - 骗 - 伺 - 嘘 - 掩 - 褥 - 帘 - 籍 - 锥 - 锋 - 尖 - 锐 - 祸 - 秒 - 李 - 伸 - 浏 - 览 - 航 - 讯 - 谨 - 慎 - 匪 - 劫 - 医 - 族 - 忧 - 孤 - 拜 - 窄 - 唯 - 搁 - 朝 - 尺 - 盟 - 波 - 隆 - 词 - 村 - 娶 - 媳 - 县 - 聘 - 醇 - 泡 - 坨 - 淋 - 延 - 柱 - 肾 - 蒸 - 槛 - 赚 - 凡 - 恩 - 厚 - 赞 - 茎 - 蒜 - 苔 - 甘 - 菠 - 涮 - 霾 - 仍 - 云 - 追 - 丽 - 盖 - 欧 - 莱 - 雅 - 婴 - 孕 - 敲 - 约 - 惰 - 谱 - 射 - 惑 - 睹 - 奉 - 诚 - 惶 - 卓 - 勉 - 聪 - 疼 - 弃 - 奴 - 隶 - 嚷 - 眠 - 躺 - 乒 - 乓 - 琴 - 挖 - 掘 - 阵 - 浆 - 索 - 呼 - 古 - 弥 - 熔 - 抱 - 怨 - 猫 - 笑 - 挣 - 黑 - 猛 - 令 - 核 - 磊 - 橙 - 吨 - 吊 - 蘸 - 氮 - 罐 - 战 - 懈 - 渐 - 胜 - 命 - 抬 - 缘 - 睦 - 扮 - 珠 - 颁 - 蔼 - 凳 - 饰 - 缤 - 晶 - 抵 - 遥 - 腿 - 拍 - 妻 - 羽 - 绒 - 梳 - 袄 - 述 - 跆 - 屈 - 脱 - 朗 - 劝 - 胆 - 腔 - 圆 - 亚 - 宴 - 编 - 肢 - 壶 - 暑 - 怒 - 描 - 绕 - 悦 - 忆 - 嗓 - 胖 - 疙 - 瘩 - 哒 - 碴 - 棱 - 炒 - 井 - 漫 - 烘 - 焙 - 涤 - 船 - 纱 - 君 - 茉 - 莉 - 钙 - 瞩 - <_> - 塌 - 嗷 - 屁 - 股 - 绪 - 勇 - 奋 - 荣 - 诲 - 卑 - 挫 - 昧 - 疲 - 惫 - 册 - 呈 - 僵 - 熬 - 敬 - 呦 - <sos/eos> init: null input_size: null ctc_conf: dropout_rate: 0.0 ctc_type: builtin reduce: true ignore_nan_grad: true model_conf: ctc_weight: 0.3 lsm_weight: 0.1 length_normalized_loss: false use_preprocessor: true token_type: char bpemodel: null non_linguistic_symbols: /ocean/projects/cis210027p/berrebbi/espnet/egs2/aishell4/asr1/data/nlsyms.txt cleaner: null g2p: null speech_volume_normalize: null rir_scp: null rir_apply_prob: 1.0 noise_scp: null noise_apply_prob: 1.0 noise_db_range: '13_15' frontend: default frontend_conf: n_fft: 512 win_length: 400 hop_length: 160 fs: 16k specaug: specaug specaug_conf: apply_time_warp: true time_warp_window: 5 time_warp_mode: bicubic apply_freq_mask: true freq_mask_width_range: - 0 - 30 num_freq_mask: 2 apply_time_mask: true time_mask_width_range: - 0 - 40 num_time_mask: 2 normalize: global_mvn normalize_conf: stats_file: exp/asr_stats_raw_zh_char/train/feats_stats.npz preencoder: null preencoder_conf: {} encoder: conformer encoder_conf: input_layer: conv2d num_blocks: 12 linear_units: 2048 dropout_rate: 0.1 output_size: 256 attention_heads: 4 attention_dropout_rate: 0.0 pos_enc_layer_type: rel_pos selfattention_layer_type: rel_selfattn activation_type: swish macaron_style: true use_cnn_module: true cnn_module_kernel: 15 postencoder: null postencoder_conf: {} decoder: transformer decoder_conf: input_layer: embed num_blocks: 6 linear_units: 2048 dropout_rate: 0.1 required: - output_dir - token_list version: 0.10.3a1 distributed: false ``` </details> ## LM config <details><summary>expand</summary> ``` config: conf/train_lm_transformer.yaml print_config: false log_level: INFO dry_run: false iterator_type: sequence output_dir: exp/lm_nuit ngpu: 1 seed: 0 num_workers: 1 num_att_plot: 3 dist_backend: nccl dist_init_method: env:// dist_world_size: null dist_rank: null local_rank: 0 dist_master_addr: null dist_master_port: null dist_launcher: null multiprocessing_distributed: false unused_parameters: false sharded_ddp: false cudnn_enabled: true cudnn_benchmark: false cudnn_deterministic: true collect_stats: false write_collected_feats: false max_epoch: 15 patience: null val_scheduler_criterion: - valid - loss early_stopping_criterion: - valid - loss - min best_model_criterion: - - valid - loss - min keep_nbest_models: 10 grad_clip: 5.0 grad_clip_type: 2.0 grad_noise: false accum_grad: 1 no_forward_run: false resume: true train_dtype: float32 use_amp: false log_interval: null use_tensorboard: true use_wandb: false wandb_project: null wandb_id: null wandb_entity: null wandb_name: null wandb_model_log_interval: -1 detect_anomaly: false pretrain_path: null init_param: [] ignore_init_mismatch: false freeze_param: [] num_iters_per_epoch: null batch_size: 20 valid_batch_size: null batch_bins: 2000000 valid_batch_bins: null train_shape_file: - exp/lm_stats_zh_char/train/text_shape.char valid_shape_file: - exp/lm_stats_zh_char/valid/text_shape.char batch_type: numel valid_batch_type: null fold_length: - 150 sort_in_batch: descending sort_batch: descending multiple_iterator: false chunk_length: 500 chunk_shift_ratio: 0.5 num_cache_chunks: 1024 train_data_path_and_name_and_type: - - dump/raw/lm_train.txt - text - text valid_data_path_and_name_and_type: - - dump/raw/dev/text - text - text allow_variable_data_keys: false max_cache_size: 0.0 max_cache_fd: 32 valid_max_cache_size: null optim: adam optim_conf: lr: 0.005 scheduler: warmuplr scheduler_conf: warmup_steps: 25000 token_list: - <blank> - <unk> - ， - 的 - 是 - 个 - 这 - 一 - 。 - 就 - 儿 - 嗯 - 们 - 呃 - 我 - 有 - <sil> - 那 - 说 - 不 - 些 - 也 - 他 - 你 - 要 - 后 - 以 - 咱 - 在 - 啊 - 了 - 然 - 家 - 都 - 来 - 还 - 可 - 子 - 下 - 上 - 时 - 比 - 话 - 孩 - 呢 - 去 - 人 - 好 - 对 - 能 - 么 - 吧 - 学 - 多 - 到 - 看 - 为 - 进 - 把 - 大 - 做 - 生 - 种 - 品 - 给 - 没 - 行 - 现 - 小 - 会 - 作 - 较 - 方 - 块 - 业 - 让 - 点 - 定 - 因 - 什 - 长 - 面 - 如 - 安 - 客 - 问 - 过 - 车 - 出 - 啦 - 边 - 候 - 主 - 所 - 题 - 买 - 销 - 天 - 意 - 自 - 全 - 动 - 工 - '&' - 老 - 或 - 者 - 年 - 着 - 实 - 活 - 理 - 包 - 样 - 再 - 区 - 用 - 呀 - 零 - 员 - 发 - 先 - 部 - 放 - 门 - 情 - 像 - 分 - 售 - 很 - 开 - 己 - 十 - 括 - 跟 - 事 - 需 - 更 - 其 - 装 - 市 - 成 - 里 - 物 - 别 - 间 - 第 - 次 - 中 - 提 - 超 - 顾 - 保 - 感 - 加 - 量 - 二 - 和 - 各 - 嘛 - 新 - 每 - 完 - 力 - 消 - 得 - 店 - 本 - 通 - 习 - 觉 - 道 - 心 - 校 - 菜 - 交 - 哪 - 产 - 于 - 位 - 电 - 想 - 三 - 况 - 度 - 期 - 应 - 但 - 教 - 体 - 常 - 师 - 它 - 高 - 前 - 之 - 西 - 特 - 商 - 果 - 场 - 重 - 防 - 管 - 起 - 地 - 该 - 东 - 少 - 打 - 费 - 当 - 带 - 服 - 口 - 购 - 知 - 回 - 同 - 钱 - 外 - 户 - 注 - 促 - 价 - 解 - <#> - 水 - 百 - 今 - 太 - 最 - 报 - 怎 - 才 - 等 - 及 - 关 - <-> - 肯 - 火 - 机 - 流 - 制 - 送 - 手 - 确 - 法 - 写 - 玩 - 传 - 路 - 班 - 查 - 招 - 卖 - 几 - 正 - 合 - 够 - 五 - 引 - 容 - 只 - 男 - 日 - 四 - 宣 - 反 - 两 - 清 - 处 - 周 - 单 - 首 - 课 - 衣 - 便 - 身 - 气 - 针 - 奶 - 六 - 经 - 接 - 女 - 育 - 鲜 - 赠 - 试 - 停 - 晚 - 类 - 故 - 入 - 性 - 增 - 食 - 满 - 格 - 基 - 备 - 洗 - 培 - 质 - 美 - 明 - 整 - 化 - 公 - 案 - 哎 - 吸 - 原 - 易 - 幺 - 总 - 尽 - 优 - 而 - 建 - 责 - 啥 - 干 - 月 - 使 - 找 - 季 - 望 - 器 - 目 - 识 - 低 - 听 - 烟 - 相 - 早 - 检 - 护 - 摆 - 住 - 直 - 从 - 务 - 希 - 导 - 内 - 八 - 持 - 近 - 配 - 叫 - 见 - 设 - 吗 - 非 - 调 - 程 - 拿 - 训 - <%> - 结 - 标 - 挺 - 花 - <$> - 受 - 式 - 求 - 平 - 换 - 具 - 愿 - 货 - 牌 - 专 - 轻 - 推 - 妈 - 司 - 辆 - 存 - 名 - 且 - 欢 - 喜 - 吃 - 数 - 段 - 议 - 控 - 往 - 礼 - 决 - 走 - 养 - 免 - 惠 - 园 - 档 - 谁 - 真 - 快 - 置 - 幼 - 乐 - 证 - 向 - 厂 - 简 - 声 - 视 - 划 - 绩 - 适 - 集 - 搞 - 办 - 规 - 灾 - 造 - 准 - 必 - 任 - 险 - 响 - 毕 - 群 - 鞋 - 九 - 嘞 - 信 - 库 - 计 - 认 - 奖 - 表 - 无 - 影 - 头 - 卡 - 告 - 考 - 抽 - 竟 - 选 - 帮 - 何 - 修 - 酒 - 尤 - 线 - 穿 - 讲 - 光 - 留 - 讨 - 随 - 请 - 卫 - 系 - 队 - 失 - 双 - 庭 - 强 - 微 - 折 - 色 - 半 - 否 - 立 - 差 - 沟 - 冬 - 批 - 害 - 已 - 危 - 白 - 爆 - 节 - 参 - 逛 - 搭 - 风 - 朋 - 友 - 环 - 验 - 评 - 严 - 般 - 效 - 舞 - 饭 - 境 - 负 - 又 - 底 - 术 - 刚 - 件 - 罚 - 助 - 态 - 状 - 室 - 房 - 游 - 息 - 领 - 难 - 警 - 按 - 级 - 错 - 利 - 与 - 餐 - 陪 - 蹈 - 论 - 记 - 许 - 马 - 算 - 楼 - 型 - 排 - 广 - 值 - 油 - 糕 - 楚 - 步 - 至 - 拉 - 紧 - 灯 - 升 - 七 - 共 - 努 - 除 - 展 - 形 - 元 - 网 - 宜 - 营 - 兴 - 互 - 蛋 - 燃 - 冷 - 条 - 思 - 巡 - 净 - 须 - 遇 - 落 - 禁 - 科 - 款 - 哦 - 止 - 采 - 材 - 介 - 套 - 围 - 维 - 旦 - 切 - 显 - 汇 - 损 - 速 - 越 - 模 - 假 - 精 - 稍 - 书 - 绍 - 父 - 积 - 策 - 示 - 骑 - 改 - 跑 - 运 - 变 - 洁 - 仓 - 鱼 - <space> - 绝 - 诶 - 伤 - 细 - 职 - 离 - 慢 - 素 - 料 - 睡 - 趣 - 爱 - 母 - 眼 - 味 - 列 - 督 - 张 - 率 - 被 - 域 - 语 - 坏 - 资 - 红 - 减 - 励 - 择 - 预 - 层 - 陈 - 根 - 休 - 毒 - 球 - 爸 - 登 - 足 - 取 - 指 - 柜 - 限 - 降 - 概 - 院 - 供 - 支 - 额 - 源 - 始 - 盘 - 饮 - 项 - 液 - 童 - 爷 - 号 - 抓 - 台 - 转 - 观 - 金 - 照 - 滑 - 岁 - 致 - 文 - 她 - 弄 - 站 - 酸 - 音 - 胎 - 投 - 疏 - 乱 - 临 - 允 - 狗 - 疫 - 询 - 、 - 象 - 占 - 坐 - 倒 - 争 - 午 - 亲 - 读 - 演 - 退 - 惯 - 贵 - 达 - 监 - 志 - 绿 - 醒 - 急 - 驾 - 违 - 诉 - 片 - 空 - 势 - 极 - 豆 - 独 - 钟 - 代 - 瓶 - 纸 - 并 - 企 - 映 - 统 - 属 - 省 - 夜 - 障 - 谈 - 避 - 由 - 终 - 频 - 掉 - 估 - 激 - 仅 - 布 - 谢 - 灭 - 忙 - 码 - 伙 - 缺 - 叶 - 功 - 析 - 赖 - 架 - 范 - 签 - D - 待 - 神 - 龄 - 画 - 券 - 居 - 杜 - 堵 - 您 - 勤 - 扫 - 技 - 财 - 隐 - 患 - 例 - 乘 - 摩 - 戏 - 鼓 - 份 - 杂 - 散 - 热 - 铺 - 据 - 肤 - 怕 - 依 - 拖 - 充 - 智 - 偷 - 远 - 挂 - 盗 - 附 - 梯 - 冰 - 联 - 借 - 蹭 - 异 - 蔬 - 绑 - 堂 - 将 - 厨 - 帽 - 破 - 戴 - 皮 - 粉 - 氛 - 仪 - 国 - 益 - 闯 - 惩 - 逃 - 刻 - 突 - 申 - 略 - 顿 - 毛 - 召 - 海 - 黄 - 青 - 士 - 移 - 喝 - 板 - 练 - 歌 - 千 - 床 - 享 - 磨 - 构 - 收 - 万 - 摸 - 圈 - 亮 - 刹 - 逆 - 驶 - 赶 - 松 - 呐 - 压 - 拥 - 辅 - 协 - 托 - 断 - 轮 - 善 - 哈 - 捆 - 座 - 病 - 健 - 牛 - 草 - 释 - 似 - 土 - 补 - 俩 - 堆 - 即 - 密 - 背 - 言 - 街 - 尚 - 窗 - C - 艺 - 纠 - 纷 - 忽 - 句 - 另 - 施 - 政 - 温 - 某 - 翻 - 章 - 守 - 熟 - 民 - 续 - 良 - 挤 - 础 - 字 - 瓜 - 乎 - 竞 - 距 - 际 - 暖 - 凭 - 董 - 碗 - 短 - 渠 - 康 - 藏 - 香 - 虽 - 露 - 厉 - 忘 - 误 - 冒 - 窃 - 络 - 淡 - 腐 - 颜 - 播 - 默 - 锻 - 炼 - 宝 - 组 - 淘 - 则 - 逻 - 垃 - 圾 - 复 - 贴 - 靠 - 潜 - 察 - 晨 - 碰 - 剩 - 峰 - 深 - 偏 - 虑 - 念 - 初 - 闹 - 幸 - 跳 - 米 - 旧 - 蛤 - 虾 - 汽 - 苦 - 螃 - 蟹 - 冲 - 固 - 隔 - 懂 - 卷 - 镜 - 罩 - 暴 - 闭 - 野 - 玻 - 璃 - 义 - B - 煤 - 富 - 踩 - 途 - 闲 - 紫 - 北 - 欲 - 曲 - 榜 - 垒 - 伴 - 累 - 判 - 搜 - 困 - 租 - 键 - 肥 - 社 - 弯 - 角 - 纪 - 律 - 详 - 右 - 刮 - 继 - 撤 - 输 - 普 - 未 - 稳 - 摔 - 访 - 扩 - 扣 - 末 - 票 - 承 - 担 - 丢 - 涉 - 欠 - 创 - 获 - 摊 - 疑 - 蓝 - 答 - 霜 - 录 - 齐 - 烦 - 治 - 粗 - 叛 - 污 - 址 - 若 - 染 - 含 - 药 - 雨 - 此 - 陌 - 研 - 催 - 拨 - 页 - 磕 - 呆 - 脸 - 墙 - 夫 - A - 棉 - 袜 - 填 - 死 - 懒 - 植 - 扇 - 捡 - 遍 - 操 - 摄 - 箱 - ？ - 繁 - 城 - 咯 - 左 - 拐 - 悉 - 犯 - 宽 - 伞 - 余 - 糊 - 巧 - 透 - 贪 - 顺 - 局 - 妇 - 私 - 浪 - 岗 - 棋 - 序 - 辛 - V - 握 - 擦 - 扔 - 斤 - 付 - 剐 - 锁 - 麻 - 敢 - 桶 - 佩 - 坠 - 封 - 替 - 塞 - 斗 - 攀 - 爽 - 沉 - 混 - 滋 - 刺 - 潮 - 皿 - 端 - 刷 - 刀 - 巾 - 烫 - 木 - 漏 - 迅 - 织 - 救 - 吹 - 仔 - 称 - 返 - 景 - 聚 - 阶 - 秀 - 涨 - P - 颈 - 肩 - 泥 - I - 侣 - 尔 - 伍 - 甚 - 皂 - 蒙 - 世 - 界 - 嘻 - 辈 - Q - 审 - 尾 - 浇 - 遛 - 馨 - 措 - 邻 - 撒 - 挥 - 遵 - 予 - 击 - 鉴 - 殊 - 哇 - 载 - 添 - 盈 - 盯 - 惊 - 喷 - 荷 - 怠 - 抢 - 喂 - 饱 - 谅 - 团 - 龙 - 冻 - 图 - 掺 - 扑 - 刊 - 葱 - 薄 - 萝 - 卜 - 麦 - 苹 - 触 - 飞 - 艳 - 畅 - 鸡 - 权 - 趟 - 连 - 哭 - 旁 - 漂 - 焊 - 敞 - 叉 - 钢 - 氧 - 溺 - 聊 - 巢 - 衡 - 淀 - 劣 - 虫 - 符 - 均 - 辨 - 菌 - 彻 - 烂 - 厅 - 皱 - 妥 - 拾 - 插 - 携 - 竹 - 碍 - 湿 - 灵 - 忌 - 旅 - 勿 - 宿 - 迷 - 探 - 春 - 劵 - 星 - 耐 - 裤 - 颖 - 韩 - 艾 - 灸 - 邀 - 婚 - 乳 - 芽 - 挑 - 摘 - 阿 - 姨 - 伊 - 慕 - 纯 - 貌 - 嘴 - 偶 - 睛 - 献 - 坚 - 账 - 典 - 唱 - L - E - 贡 - 寒 - 唧 - Y - 尝 - 抹 - 汰 - 腾 - 哼 - 仿 - 英 - 舒 - 扰 - 拒 - 剪 - 夏 - 宠 - 咬 - 派 - 委 - 婉 - 执 - 呗 - 悄 - 搬 - 雪 - 盐 - 暂 - 奸 - 耍 - 僻 - 却 - 署 - 寻 - 串 - 援 - 亏 - 烈 - 印 - 捎 - 幅 - 绘 - 锈 - 闸 - 罪 - 嫌 - 俗 - 歹 - 劳 - 兜 - 喽 - 谓 - 鹤 - 舍 - 克 - 徇 - 倍 - 敏 - 丝 - 纺 - 拭 - 融 - 蔫 - 掂 - 测 - T - 众 - 卸 - 暗 - 赔 - 偿 - 举 - 劲 - 篮 - 储 - 乙 - 炔 - 软 - 侵 - 诱 - 浊 - 蚀 - 秽 - 炸 - 泽 - 闻 - 鼻 - 甜 - 澈 - 脏 - 官 - 凝 - 芳 - 灰 - 卵 - 农 - 烧 - 肉 - 桌 - 椅 - 垫 - 硬 - 叠 - 瓷 - 碎 - 柄 - 屉 - 拳 - 撞 - 铝 - 歇 - 遗 - 炮 - 掌 - 妨 - 静 - 浸 - 涂 - 凉 - 炫 - 耀 - 姓 - 究 - 奏 - 缆 - 脚 - 酿 - 抄 - 慌 - 戚 - 燥 - 毯 - 挽 - 诺 - 济 - 旺 - 抖 - 郊 - 疗 - 巴 - 痧 - 脊 - 膜 - 晒 - 润 - 掏 - 笔 - 鞭 - 博 - 捧 - 函 - 胡 - 锅 - 雾 - 疯 - 狂 - 趋 - 膏 - 妆 - 尘 - 袋 - 贝 - 俺 - 耽 - 怀 - 恐 - 赋 - 脑 - 焉 - 愣 - 呵 - 噼 - 啪 - 虚 - 河 - 归 - 绊 - 械 - 扬 - 筒 - 靴 - 束 - 彩 - 荐 - 沙 - 迎 - 荡 - 凌 - 昂 - 碑 - 蹦 - 扉 - 泼 - 丰 - 滴 - 沾 - 亭 - 粘 - 奇 - 饼 - 牙 - 娃 - 杯 - 踢 - 嘿 - 抛 - 枯 - 剔 - 苗 - 纹 - 永 - 津 - 唉 - 趁 - 屡 - 逮 - 戒 - 肃 - 仁 - 肇 - 醉 - 糟 - 馈 - 横 - 扭 - 盔 - 侧 - 鲁 - 莽 - 飙 - 稿 - 逐 - 谋 - 京 - 苏 - 宁 - 驻 - 咨 - 旷 - 拓 - 杆 - 秤 - 叮 - 嘱 - 咋 - 炊 - 怪 - 婆 - 阎 - 王 - 饿 - 鬼 - 惨 - 渡 - 坎 - 囤 - 甲 - 蛙 - 鲤 - 桂 - 石 - 玉 - 溪 - 华 - 窝 - 截 - 秩 - 嗨 - 芹 - 梨 - 蕉 - S - 煲 - 汤 - 鲫 - 揽 - 挡 - 柚 - 瑞 - 匹 - '2' - 踹 - 吵 - 凶 - 矩 - 迟 - 脾 - 纳 - 朵 - 墨 - 袖 - 链 - 钩 - 笼 - 熄 - 盆 - 殴 - 欺 - 诈 - 厕 - 娱 - 爬 - 威 - 胁 - 阅 - 赌 - 拢 - 症 - 伪 - 脂 - 堪 - 盛 - 蚊 - 蝇 - 煎 - 晰 - 柔 - 涩 - 汁 - 腹 - 胃 - 痉 - 挛 - 颗 - 粒 - 匀 - 败 - 历 - 佳 - 乏 - 寄 - 残 - 杀 - 剂 - 疾 - 衍 - 溅 - 倘 - 褶 - 席 - 启 - 遮 - 槽 - 递 - 橱 - 迹 - 镁 - 泄 - 阀 - 柴 - 阻 - 恋 - 盲 - 浓 - 捂 - 腰 - 姿 - 缝 - 肿 - 焦 - 骗 - 伺 - 嘘 - 掩 - 褥 - 帘 - 籍 - 锥 - 锋 - 尖 - 锐 - 祸 - 秒 - 李 - 伸 - 浏 - 览 - 航 - 讯 - 谨 - 慎 - 匪 - 劫 - 医 - 族 - 忧 - 孤 - 拜 - 窄 - 唯 - 搁 - 朝 - 尺 - 盟 - 波 - 隆 - 词 - 村 - 娶 - 媳 - 县 - 聘 - 醇 - 泡 - 坨 - 淋 - 延 - 柱 - 肾 - 蒸 - 槛 - 赚 - 凡 - 恩 - 厚 - 赞 - 茎 - 蒜 - 苔 - 甘 - 菠 - 涮 - 霾 - 仍 - 云 - 追 - 丽 - 盖 - 欧 - 莱 - 雅 - 婴 - 孕 - 敲 - 约 - 惰 - 谱 - 射 - 惑 - 睹 - 奉 - 诚 - 惶 - 卓 - 勉 - 聪 - 疼 - 弃 - 奴 - 隶 - 嚷 - 眠 - 躺 - 乒 - 乓 - 琴 - 挖 - 掘 - 阵 - 浆 - 索 - 呼 - 古 - 弥 - 熔 - 抱 - 怨 - 猫 - 笑 - 挣 - 黑 - 猛 - 令 - 核 - 磊 - 橙 - 吨 - 吊 - 蘸 - 氮 - 罐 - 战 - 懈 - 渐 - 胜 - 命 - 抬 - 缘 - 睦 - 扮 - 珠 - 颁 - 蔼 - 凳 - 饰 - 缤 - 晶 - 抵 - 遥 - 腿 - 拍 - 妻 - 羽 - 绒 - 梳 - 袄 - 述 - 跆 - 屈 - 脱 - 朗 - 劝 - 胆 - 腔 - 圆 - 亚 - 宴 - 编 - 肢 - 壶 - 暑 - 怒 - 描 - 绕 - 悦 - 忆 - 嗓 - 胖 - 疙 - 瘩 - 哒 - 碴 - 棱 - 炒 - 井 - 漫 - 烘 - 焙 - 涤 - 船 - 纱 - 君 - 茉 - 莉 - 钙 - 瞩 - <_> - 塌 - 嗷 - 屁 - 股 - 绪 - 勇 - 奋 - 荣 - 诲 - 卑 - 挫 - 昧 - 疲 - 惫 - 册 - 呈 - 僵 - 熬 - 敬 - 呦 - <sos/eos> init: null model_conf: ignore_id: 0 use_preprocessor: true token_type: char bpemodel: null non_linguistic_symbols: /ocean/projects/cis210027p/berrebbi/espnet/egs2/aishell4/asr1/data/nlsyms.txt cleaner: null g2p: null lm: transformer lm_conf: pos_enc: null embed_unit: 128 att_unit: 512 head: 8 unit: 2048 layer: 16 dropout_rate: 0.1 required: - output_dir - token_list version: 0.10.3a1 distributed: false ``` </details>