ESPnet 远场中文语音识别实战：MISP2021 Recipe 完整解析与 CER 结果解读

人工智能语音音频深度学习NLP【免费下载链接】espnetEnd-to-End Speech Processing Toolkit项目地址https://gitcode.com/gh_mirrors/es/espnet点击查看免费下载本文聚焦 ESPnet 仓库中egs2/misp2021/asr1这一远场Far-field多通道中文语音识别 Recipe从数据准备、信号增强WPE BeamformIt、特征配置、Conformer 声学模型训练到解码推理与 CER 评测给出完整可复现的技术指南。读完本文你将掌握如何在 ESPnet 中基于多通道远场语音数据搭建一套端到端 ASR 系统并理解 Recipe 自带的实验结果Environments 与 CER 报告应该如何解读与对比。一、Recipe 概览MISP2021 远场 ASR 目录结构MISP2021 是面向家庭场景的多通道远场语音识别挑战赛数据集其特点在于音频为多麦克风远场采集、语音由多个说话人产生、且同时提供了音视频两种模态信息。本仓库中egs2/misp2021/asr1聚焦于纯音频Far 场景的中文语音识别主要目录与文件如下run.shRecipe 主入口声明训练/验证/测试集合与各类配置并调用通用asr.sh流水线local/data.sh数据准备入口包含两阶段多通道信号增强stage 0与 Kaldi 格式数据整理stage 1local/enhancement.sh基于 nara-wpe 与 BeamformIt 的多通道语音增强脚本local/prepare_data.sh与local/prepare_far_data.py将增强后的音频与转写文件转换为wav.scp、segments、text、utt2spk等标准数据格式conf/模型与特征配置包括tuning/train_asr_conformer.yaml、train_asr_transformer.yaml、train_lm.yaml、decode_asr.yaml、fbank.conf、pitch.conf以及队列系统配置queue.conf、slurm.conf、pbs.confasr.sh、cmd.sh、path.sh、db.shESPnet Recipe 的标准骨架脚本。Recipe 中同时提供了 Conformer 与 Transformer 两种声学模型配置train_asr_conformer.yaml 与 train_asr_transformer.yaml其中 Conformer 配置被run.sh默认采用且官方报告的实验结果也来自 Conformer 模型。二、运行环境与实验版本基线Recipe 自带的 README.md 是由scripts/utils/show_asr_result.sh自动生成的 RESULTS 报告其中记录了实验复现时的环境基线这是判断结果可复现性的第一手依据项目版本日期Sat Oct 30 04:07:35 UTC 2021Python3.8.12 (default, Oct 12 2021, 13:49:34) [GCC 7.5.0]ESPnetespnet 0.10.4a1PyTorchpytorch 1.7.1Git 提交5d941dd5909291df991b25273741f32b0631ea91提交日期Mon Oct 25 06:12:01 2021 0000从环境信息可以看出该结果基于 ESPnet 0.10.4a1 与 PyTorch 1.7.1 复现。当前仓库版本已远高于此因此若在新版本环境下复现CER 数值可能因默认超参、随机种子或底层实现差异而略有波动建议以本仓库当前代码为准将上述记录视为历史基线。三、数据准备与远场信号处理流水线3.1 语料路径配置Recipe 不会自动下载 MISP2021 数据集需要先在 db.sh 中手动填写语料根路径变量MISP2021初始为空值。local/data.sh 在启动时会做检查if [ ! -e ${MISP2021} ]; then log Fill the value of MISP2021 of db.sh exit 1 fi3.2 stage 0WPE BeamformIt 多通道增强远场语音的首要问题是混响与噪声因此 Recipe 首先对dev、train两部分的原始多通道音频执行加权预测误差WPE去混响与 BeamformIt 波束形成输出目录为data/misp2021_far_WPEenhancement_dirdata/misp2021_far_WPE if [ ${stage} -le 0 ] [ ${stop_stage} -ge 0 ]; then log stage 0: Nara-wpe and Beamformit for x in dev train ; do local/enhancement.sh $MISP2021/audio/$x ${enhancement_dir}/audio/$x || exit 1; done fi具体的增强流程封装在 local/enhancement.sh 中分为两个子阶段WPE 去混响stage 0脚本首先确保安装了nara_wpe缺失时自动pip install nara_wpe然后通过local/find_wav.py -nj $nj $data_root $out_root/log wpe Far按并行任务数nj默认 6分发任务再调用local/run_wpe.py对每个分片执行去混响通过$cmd JOB1:$nj并行调度。BeamformIt 波束形成stage 1执行python local/run_beamformit.py $BEAMFORMIT/BeamFormIt conf/beamformit.cfg / $out_root/log/beamformit.scp $out_root其波束形成参数由 conf/beamformit.cfg 控制。需要特别注意的是BeamformIt 是外部依赖。脚本中做了显式检查并给出了安装指引export BEAMFORMIT$KALDI_ROOT/tools/BeamformIt export PATH${PATH}:$BEAMFORMIT ! hash BeamformIt echo Missing BeamformIt, run cd ../../../tools/kaldi/tools; extras/install_beamformit.sh; cd -; exit 1即需先通过tools/kaldi下的extras/install_beamformit.sh完成安装。3.3 stage 1Kaldi 格式数据整理增强完成后local/prepare_data.sh 将增强音频$enhancement_root/audio、视频$MISP2021/video与转写$MISP2021/transcription三类输入合并生成 ESPnet 所需的 Kaldi 风格数据echo prepare wav.scp segments text utt2spk python local/prepare_far_data.py -nj $nj $enhancement_root/audio $data_root/video $data_root/transcription $data_type $store_dir cat $store_dir/temp/wav.scp | sort -k 1 | uniq $store_dir/wav.scp cat $store_dir/temp/mp4.scp | sort -k 1 | uniq $store_dir/mp4.scp cat $store_dir/temp/segments | sort -k 1 | uniq $store_dir/segments cat $store_dir/temp/utt2spk | sort -k 1 | uniq $store_dir/utt2spk cat $store_dir/temp/text_sentence | sort -k 1 | uniq $store_dir/text utils/utt2spk_to_spk2utt.pl $store_dir/utt2spk | sort -k 1 | uniq $store_dir/spk2utt touch data/nlsyms.txt调用方式为./local/prepare_data.sh corpus-data-dir enhancement-data-dir data-set store-dir例如./local/prepare_data.sh /path/misp /path/misp_WPE train data/train_far。核心转换逻辑在 local/prepare_far_data.py 中从源码结构看它解析了转写文件的 TextGrid 时间标注结构脚本中定义了TextGrid类将长音频按说话人/句级切分为segments并生成句级转写texttext_sentence同时保留mp4.scp视频索引为后续音视频多模态任务保留了扩展点。最终产出data/train_far训练集对应train_fardata/dev_far验证集对应dev_far以及空白的data/nlsyms.txt本 Recipe 使用字符级 token无需非语言符号表。四、实验配置深度解析4.1 主入口 run.shrun.sh 声明了实验的核心组织方式train_settrain_far valid_setdev_far test_setsdev_far asr_configconf/tuning/train_asr_conformer.yaml lm_configconf/train_lm.yaml inference_configconf/decode_asr.yaml use_lmtrue use_word_lmfalse ./asr.sh \ --lang zh \ --audio_format wav \ --nlsyms_txt data/nlsyms.txt \ --ngpu 3 \ --token_type char \ --feats_type raw \ --use_lm ${use_lm} \ --asr_config ${asr_config} \ --inference_config ${inference_config} \ --lm_config ${lm_config} \ --use_word_lm ${use_word_lm} \ --train_set ${train_set} \ --valid_set ${valid_set} \ --test_sets ${test_sets} \ --lm_train_text data/${train_set}/text $关键参数含义--lang zh目标语言为中文--token_type char使用字符级建模汉字作为 token无需 BPE 子词模型--feats_type raw特征类型为 raw即由fbank.conf/pitch.conf在线计算 Fbank/Pitch 特征而非离线 dump 的fbank_pitch特征目录--audio_format wav输入音频格式为 wav--ngpu 3训练使用 3 张 GPU--use_lm true且--use_word_lm false解码时使用字符级 RNNLM 融合不使用词级 LM测试集test_setsdev_farRecipe 默认在dev_far上做开发集评测README 中 test_far 的结果来自更完整的评测流程。4.2 Conformer 声学模型配置默认声学模型配置为 conf/tuning/train_asr_conformer.yaml网络结构如下编码器Conformer12 层output_size: 256注意力维度、attention_heads: 4、linear_units: 2048FFN 中间层维度、num_blocks: 12input_layer: conv2dConv2D 下采样输入层、normalize_before: truepos_enc_layer_type: rel_pos与selfattention_layer_type: rel_selfattn相对位置编码的自注意力activation_type: swish、macaron_style: true、use_cnn_module: true、cnn_module_kernel: 15Macaron 式 FFN 与卷积模块卷积核 15各类 dropoutdropout_rate: 0.1、positional_dropout_rate: 0.1、attention_dropout_rate: 0.0。解码器Transformer6 层attention_heads: 4、linear_units: 2048、num_blocks: 6、dropout_rate: 0.1、positional_dropout_rate: 0.1、self_attention_dropout_rate: 0.0、src_attention_dropout_rate: 0.0。混合 CTC/Attention 目标model_conf中ctc_weight: 0.3CTC 与注意力损失的加权比例、lsm_weight: 0.1标签平滑权重、length_normalized_loss: false。训练策略batch_type: numel且batch_bins: 2000000按张量元素数动态组批accum_grad: 4梯度累积 4 步grad_clip: 5max_epoch: 100keep_nbest_models: 10模型选择准则best_model_criterion为验证集valid/acc取最大优化器Adamlr: 0.0005 WarmupLRwarmup_steps: 30000数据增强SpecAugmentspecaug: specaug启用时间扭曲time_warp_window: 5、time_warp_mode: bicubic、频率掩码freq_mask_width_range: [0, 30]、num_freq_mask: 2与时间掩码time_mask_width_range: [0, 40]、num_time_mask: 2。4.3 语言模型与解码配置语言模型配置为 conf/train_lm.yaml使用两层的序列 RNNLMlm: seq_rnnlm_conf: unit: 650, nlayers: 2batch_type: folded、batch_size: 64、max_epoch: 20、patience: 3优化器 SGDgrad_clip: 5.0模型选择以验证集valid/loss最小为准keep_nbest_models: 1。解码推理配置为 conf/decode_asr.yaml参数非常简洁lm_weight: 1.0 beam_size: 10 penalty: 0.0 maxlenratio: 0.0 minlenratio: 0.0 ctc_weight: 0.3即 beam search 宽度 10、长度惩罚为 0、LM 权重 1.0、CTC 权重与训练一致为 0.3。值得注意的是README 结果中的解码实验名称为decode_asr_lm_lm_train_lm_zh_char_valid.loss.ave_asr_model_valid.acc.ave含义是语言模型取valid.loss.aveloss 平均权重声学模型取valid.acc.aveaccuracy 平均权重与上述keep_nbest_models的保存策略一致。4.4 特征配置Recipe 使用在线特征提取raw 模式特征参数由两个配置文件控制conf/fbank.conf--sample-frequency1600016 kHz 采样率、--num-mel-bins8080 维 Mel 滤波器组conf/pitch.conf--sample-frequency16000Pitch 特征同样按 16 kHz 计算。这两个文件对应 README 中实验命名里的fbank_pitch与raw差异asr_train_asr_conformer_fbank_pitch_zh_char表明其离线特征路径包含 FbankPitch而asr_train_asr_conformer_raw_zh_char走 raw 在线特征路径。五、实验结果解读CER 报告分析Recipe 自带的 README.md 报告了两个 Conformer 实验的 CER字符错误率评测指标包含句子数Snt、字数Wrd、正确率Corr、替换Sub、删除Del、插入Ins、错误率Err与句级错误率S.Err数值单位均为百分比Err 越低越好S.Err 为整句完全错误的句子占比。5.1 实验一Conformer Fbank/Pitch 特征实验asr_train_asr_conformer_fbank_pitch_zh_char的 CERdatasetSntWrdCorrSubDelInsErrS.Errdecode_asr_lm_lm_train_lm_zh_char_valid.loss.ave_asr_model_valid.acc.ave/dev_far1898525432038.540.221.33.865.392.0decode_asr_lm_lm_train_lm_zh_char_valid.loss.ave_asr_model_valid.acc.ave/test_far1494931241220.729.949.40.579.893.65.2 实验二Conformer raw 特征实验asr_train_asr_conformer_raw_zh_char的 CERdatasetSntWrdCorrSubDelInsErrS.Errdecode_asr_lm_lm_train_lm_zh_char_valid.loss.ave_asr_model_valid.acc.ave/dev_far1901525494442.638.518.94.161.591.2decode_asr_lm_lm_train_lm_zh_char_valid.loss.ave_asr_model_valid.acc.ave/test_hire_far1494931241223.129.147.80.577.593.15.3 结果对比分析从两份报告中可以得出以下可验证的观察raw 特征整体优于 fbank_pitch在开发集 dev_far 上raw 特征实验 CER 为 61.5%比 fbank_pitch 实验的 65.3% 低约 3.8 个百分点测试集test_far / test_hire_far均为 14949 句上 raw 为 77.5%比 fbank_pitch 的 79.8% 低约 2.3 个百分点。这说明在远场多通道场景下使用 raw 模式在线提取特征取得了更好的效果。测试集远难于开发集两个实验中 test 集 CER 都比 dev 集高出约 14~16 个百分点且Del删除错误在测试集上异常偏高49.4% / 47.8%而 dev 集仅为 21.3% / 18.9%Corr 也显著下降。这提示测试集语音的静音/漏检、说话人重叠或转写对齐问题更为严重从源码结构看远场数据经 WPE 与 BeamformIt 增强后仍可能存在能量弱化导致字符被大量删除。句级错误率极高所有子集的 S.Err 均超过 91%说明该任务难度很大——绝大多数句子在整句层面无法完全正确识别这符合多说话人家庭场景远场语音的固有挑战。需要说明的是报告中的第二个测试集名称test_hire_far是 README 原样记录的标识两表中 test 集的 Snt 与 Wrd 完全一致14949 / 312412应为同一评测集合的不同命名。六、端到端复现步骤结合 run.sh、local/data.sh 与 local/enhancement.sh完整复现流程如下准备环境完成 ESPnet 安装并通过tools/kaldi的extras/install_beamformit.sh安装 BeamformItWPE 依赖nara_wpe会在脚本中自动安装配置语料路径在egs2/misp2021/asr1/db.sh中设置MISP2021为本地语料根目录需包含audio、video、transcription子目录数据准备执行./local/data.sh默认stage0到stop_stage1依次完成 WPE BeamformIt 增强与 Kaldi 格式整理生成data/train_far与data/dev_far模型训练与评测执行./run.sh调用通用 asr.sh 流水线完成 Fbank/Pitch 特征计算、Conformer 声学模型与 seq_rnn 语言模型训练、以及带 LM 融合的 beam search 解码最终由scripts/utils/show_asr_result.sh生成 README 风格的 CER 报告结果复现对照若需逼近官方基线建议对齐 README 中的环境版本ESPnet 0.10.4a1、PyTorch 1.7.1与run.sh中的超参ngpu 3、batch_bins 2000000、warmup_steps 30000等。七、总结egs2/misp2021/asr1Recipe 完整展示了 ESPnet 处理远场多通道中文语音的标准路径多通道增强WPE 去混响 BeamformIt 波束形成→ Kaldi 格式数据整理 → Conformer CTC/Attention 混合模型 RNNLM 融合解码 → CER 评测。Recipe 自带的 RESULTS 报告既是可复现性的基线证据也揭示了该任务的真实难度测试集 CER 约 77~80%删除错误占比高。对于希望研究远场语音识别、音视频多模态 ASR可参考同目录misp2021/avsr1或对比不同特征方案的开发者这份 Recipe 都是一个可直接运行与扩展的起点。赞分享人工智能语音音频深度学习NLP【免费下载链接】espnetEnd-to-End Speech Processing Toolkit项目地址https://gitcode.com/gh_mirrors/es/espnet点击查看免费下载相关推荐ESPnet 多语言低资源语音识别OpenLI-52 食谱egs2/open_li52/asr1实战与结果解读ESPnet 多语言低资源语音识别OpenLI 52 食谱egs2/open_li52/asr1实战与结果解读 导读 OpenLI 52 是 ESPnet人工智能语音音频深度学习NLP终极指南ESPnet Conformer语音识别实战全解析终极指南ESPnet Conformer语音识别实战全解析 你是否曾为语音识别系统在复杂环境下的表现而烦恼噪声干扰、口音差异、设备变化——这些现实场景中的挑人工智能语音音频深度学习NLPWenetSpeech中文语音识别完整指南技术解析与实战部署WenetSpeech中文语音识别完整指南技术解析与实战部署 WenetSpeech是一个包含超过10000小时中文语音数据的大规模语音识别数据集为中文语音数据集语音音频上一篇Steam成就管家从技术原理到安全实践的全方位指南下一篇react-otp-input最佳实践提升用户体验的10个技巧创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考