ESPnet 缅甸语 ASR 实战：基于 HuBERT 自监督特征的 Transformer 低资源语音识别配方

人工智能语音音频深度学习NLP【免费下载链接】espnetEnd-to-End Speech Processing Toolkit项目地址https://gitcode.com/gh_mirrors/es/espnet点击查看免费下载本文围绕 ESPnet 仓库中egs2/bur_openslr80/asr1这一面向缅甸语Burmese的端到端语音识别配方展开系统讲解其数据准备、BPE 分词、HuBERT 预训练特征接入、Transformer 编解码训练与解码评测的完整链路并结合仓库源码逐项拆解train_asr_hubert_transformer_adam_specaug.yaml等核心配置的底层原理。读完本文你将掌握如何在低资源语言上复用 SSLSelf-Supervised Learning预训练模型搭建 ASR 系统、如何阅读与复现该配方记录在 README 中的 WER/CER/TER 结果以及如何把同一套流程迁移到其他语种。一、配方概览一份“结果文档”背后的完整技术栈本仓库中与egs2/bur_openslr80/asr1/README.md对应的是一个完整的缅甸语 ASR 配方目录其中 README.md 是该配方训练完成后由脚本自动生成的结果页文件首行注明 “Generated by scripts/utils/show_asr_result.sh”记录了实验环境、模型配置名与评测指标。而真正支撑这份结果的是 egs2/bur_openslr80/asr1 目录下的整套可执行流水线run.sh一键入口串联数据准备、训练、解码全流程asr.shESPnet2 通用 ASR 任务脚本与 egs2/TEMPLATE/asr1 中的模板一致负责按 stage 执行各步骤conf/模型、解码、LM 及调度后端配置local/数据下载与预处理脚本db.sh语料路径注册表cmd.sh并行调度后端local/ stdout/ sge/ pbs/ slurm/ ssh选择。从 README 记录的环境信息可以看出该结果基于espnet 0.10.7a1、pytorch 1.10.1、Python3.9.7复现配置名为asr_train_asr_hubert_transformer_adam_specaug_raw_bpe150其命名规则可解读为ASR 训练任务 HuBERT 前端s3prl frontend Transformer 编解码器 Adam 优化器 SpecAugment 数据增强 raw 特征 150 个 BPE 子词。二、README 中的评测结果WER / CER / TER 全表README.md 记录了单一实验配置在bur_test测试集上的完整评测结果其中各指标含义如下Snt句子数Wrd词WER或字/音节CER或目标词条TER数Corr正确率Sub替换错误率Del删除错误率Ins插入错误率Err最终错误率WER/CER/TER含插入错误S.Err句子错误率。WER词错误率datasetSntWrdCorrSubDelInsErrS.Errdecode_asr_batch_size1_lm_lm_train_lm_bpe150_valid.loss.ave_asr_model_valid.acc.best/bur_test480422739.150.410.56.167.099.8CER字符错误率datasetSntWrdCorrSubDelInsErrS.Errdecode_asr_batch_size1_lm_lm_train_lm_bpe150_valid.loss.ave_asr_model_valid.acc.best/bur_test4803334582.27.610.13.621.499.8TER词条错误率Token Error RatedatasetSntWrdCorrSubDelInsErrS.Errdecode_asr_batch_size1_lm_lm_train_lm_bpe150_valid.loss.ave_asr_model_valid.acc.best/bur_test4801823770.717.711.62.531.899.8几点专业解读评测集规模bur_test共 480 句词数 4227、字符数 33345、TER 词条数 18237属于典型的低资源语言小测试集指标波动区间相对较大CER21.4%明显优于 WER67.0%缅甸语采用音节型书写系统字符级别的删除/替换错误远低于词级错误这解释了低资源缅甸语 ASR 通常以 CER 为主要评价口径的惯例句子错误率接近 100%由于每句都可能存在至少一个字符级偏差S.Err 高是此类任务常见现象不应单独作为模型劣化的判据解码配置标记结果目录名中的batch_size1、lm_...valid.loss.ave、asr_model_valid.acc.best表明解码时 batch_size 为 1语言模型取验证集 loss 最低的平均权重ASR 模型取验证集 acc 最高的 best 权重与 decode_asr.yaml 中batch_size: 1以及 run.sh 中--inference_asr_model valid.acc.best.pth的参数一一对应。该 README 末尾给出了模型托管信息Link to model: https://huggingface.co/espnet/bur_openslr80_hubert模型权重在 Hugging Face Hub 上以espnet/bur_openslr80_hubert名义发布可通过 ESPnet 的 ModelZoo 机制加载见 egs2/bur_openslr80/asr1/scripts/utils/upload_models_to_hub.sh。三、数据准备OpenSLR 80 缅甸语语料的下载与切分配方使用 OpenSLR 编号 80 的缅甸语数据集db.sh 中注册为BURMESEdownloads。数据准备由 local/data.sh 完成分为两个子阶段stage 0下载wget https://us.openslr.org/resources/80/my_mm_female.zip下载压缩包并解压到downloads目录。该资源以缅甸语女性播音员朗读语音为主覆盖了不同主题文本stage 1预处理调用 local/data_prep.py 生成 Kaldi 风格数据目录随后通过utils/spk2utt_to_utt2spk.pl生成 utt2spk 映射并用utils/fix_data_dir.sh校验修复data/bur_train、data/bur_dev、data/bur_test三个子集。从 run.sh 可见训练/验证/测试集划分约定train_setbur_train、train_devbur_dev、test_setbur_test。若本地已备好语料将 db.sh 中的BURMESE改为实际路径并跳过下载阶段即可。四、训练入口 run.sh 的每个参数都代表什么run.sh 是整条流水线的“控制面板”其调用./asr.sh时传入的关键参数及含义如下参数取值作用--stage 1 --stop_stage 1001 / 100从数据准备之后开始执行到收尾阶段数据准备由 data.sh 单独完成--ngpu 11单卡训练--nj 8080训练/特征提取阶段的并行 job 数--inference_nj 256256解码阶段并行 job 数--inference_asr_model valid.acc.best.pth—选取验证集 acc 最高的模型权重做解码--gpu_inference falsefalseCPU 解码与 README 结果目录batch_size1对应--inference_args --batch_size 1—解码 batch 强制为 1--use_lm truetrue训练并使用外部语言模型参与解码重打分--token_type bpe --nbpe 150bpe / 150采用 150 个 BPE 子词SentencePiece--feats_type rawraw使用原始波形由 s3prl 前端自行提特征--feats_normalize uttmvnuttmvn按句做均值方差归一化--asr_config / --inference_config / --lm_configconf/ 下对应 yaml分别指定训练、解码、LM 配置--lm_train_text / --lm_dev_text / --lm_test_textdata/*/text语言模型训练/验证/测试文本--local_score_opts --score_lang_id falsefalse关闭语种识别辅助评分注意lidfalse该配方不把语种 ID 作为附加标签。所有 stage 逻辑由 asr.sh模板见 egs2/TEMPLATE/asr1/asr.sh承载从 BPE 训练、特征收集、训练、解码到打分均通过--stage/--stop_stage控制。五、核心训练配置逐行拆解HuBERT Transformer SpecAugment本配方最有技术价值的是 train_asr_hubert_transformer_adam_specaug.yaml它展示了“自监督预训练前端 随机初始化解码器”的经典低资源范式。5.1 编解码器TransformerEncoderencoder: transformeroutput_size: 256注意力维度、attention_heads: 4、linear_units: 2048前馈层维度、num_blocks: 1212 层编码块、dropout 系列为0.1/0.1/0.0、input_layer: conv2dConv2d 子采样作为编码器输入端、normalize_before: truePre-NormDecoderdecoder: transformer4 个注意力头、6 层解码块、2048 前馈维度self-attention 与 cross-attention dropout 均置 0优化与调度optim: adam、lr: 0.0002、scheduler: warmuplr且warmup_steps: 25000前 2.5 万步线性预热max_epoch: 200、keep_nbest_models: 5。5.2 冻结的自监督前端s3prl hubert_large_ll60kfreeze_param: [ frontend.upstream ] frontend: s3prl frontend_conf: frontend_conf: upstream: hubert_large_ll60k # Note: If the upstream is changed, please change the input_size in the preencoder. download_dir: ./hub multilayer_feature: True preencoder: linear preencoder_conf: input_size: 1024 # Note: If the upstream is changed, please change this value accordingly. output_size: 80frontend: s3prl对应源码实现 espnet2/asr/frontend/s3prl.py 中的S3prlFrontend它通过S3PRLUpstream加载hubert_large_ll60k在 LL60k 语料上预训练的 HuBERT Large并断言 upstream 名称必须存在于S3PRLUpstream.available_names()若未安装 s3prl源码会提示cd ${MAIN_ROOT}/tools make s3prl.donemultilayer_feature: True让 Featurizer 融合 HuBERT 的多层隐藏表示download_dir: ./hub指定预训练权重下载目录freeze_param: [frontend.upstream]冻结 upstream 全部参数在S3prlFrontend.__init__中保存pretrained_params快照只有前端后的投影层可训练——这是低资源任务能稳定训练的关键preencoder: linear对应 espnet2/asr/preencoder/linear.py 的LinearProjection一个torch.nn.Linear(input_size, output_size) Dropout 的线性投影层把 HuBERT Large 的 1024 维表示压到 80 维再喂给 Transformer 编码器配置文件中的注释明确提醒更换 upstream 时必须同步修改input_sizeextract_feats_in_collect_stats: falsecollect statsstage 10阶段不真正前向传播 s3prl 前端而是生成 dummy 统计文件避免在大语料统计阶段重复昂贵的 SSL 特征计算。5.3 训练目标与数据增强model_confctc_weight: 0.3CTC 与注意力损失的混合权重、lsm_weight: 0.1标签平滑、length_normalized_loss: false不做长度归一化specaug: specaug开启 SpecAugment——apply_time_warp: truetime warp 窗口 5bicubic插值、num_freq_mask: 2频率掩码宽度 0–30、num_time_mask: 2时间掩码宽度 0–40。作为对照仓库还提供了未使用 HuBERT 的基线配置 train_asr.yaml其前端为默认 Fbank使用batch_type: numel、batch_bins: 200000、accum_grad: 20、optim: adam、lr: 10、scheduler: noamlrNoam 调度warmup 25000 步、max_epoch: 50、init: xavier_uniform。两份配置对比即可看出HuBERT 配置把前端替换为冻结的 SSL 前端 线性投影其余训练目标CTC/attention 混合保持一致。六、语言模型与解码配置6.1 LM 配置 train_lm.yaml2 层 LSTM、隐层单元 650optim: sgdbatch_type: folded、batch_size: 64max_epoch: 20、patience: 3以验证集 loss 最小为模型选择准则keep_nbest_models: 1。该 LM 使用data/bur_train/text训练即与 ASR 共享同一份训练文本由 run.sh 的--lm_train_text指定这与 README 结果目录中的lm_train_lm_bpe150150 BPE 词表语言模型命名吻合。6.2 解码配置 decode_asr.yamlbatch_size: 1 beam_size: 10 penalty: 0.0 maxlenratio: 0.0 minlenratio: 0.0 ctc_weight: 0.5 lm_weight: 0.3解码采用 beam searchbeam size 10ctc_weight: 0.5表示解码时 CTC 与注意力打分各占一半权重lm_weight: 0.3为外部 LM 的分值系数maxlenratio/minlenratio均为 0 表示不额外约束输出长度上下限。这正是 README 中 WER/CER/TER 表格所使用的推理参数。七、如何复现与扩展7.1 一键复现在完成 ESPnet 环境安装参见仓库根目录 README.md 与 tools/README.md后进入配方目录执行cd egs2/bur_openslr80/asr1 ./run.sh首次运行会自动下载 OpenSLR 80 数据stage 0由 local/data.sh 触发若网络受限或已有语料修改 db.sh 中BURMESE的值为本地路径并从--stage 1开始无 GPU 或需调试时可将 run.sh 中--ngpu 0、--nj调小集群环境则通过 cmd.sh 将cmd_backend切换为slurm/pbs/sge对应 conf/slurm.conf、conf/pbs.conf、conf/queue.conf训练完成后scripts/utils/show_asr_result.sh 会自动把各测试集得分汇总成与 README.md 相同格式的结果页。7.2 迁移到其他低资源语种本配方是“低资源语言 冻结 SSL 前端”的通用模板迁移时只需关注三处数据层替换 local/data.sh 与 local/data_prep.py 的数据来源并在 db.sh 注册新语料路径tokenizer按语种特点调整--nbpe如音节型文字可参考本配方沿用 BPE必要时改用字符级--token_type char前端在frontend_conf.upstream中选择匹配语种/采样率的 s3prl upstream如 wav2vec2、XLSR 系列并同步修改preencoder_conf.input_size同时确认freeze_param: [frontend.upstream]仍然生效。八、小结egs2/bur_openslr80/asr1/README.md虽仅是一页自动生成的评测结果但它浓缩了一条可完整复现的缅甸语低资源 ASR 技术路线OpenSLR 数据 → BPE 150 子词 → 冻结的 HuBERT Larges3prl 前端→ 线性投影预编码 → 12 层 Transformer 编码器 6 层解码器 → CTC/Attention 混合训练 SpecAugment → beam search 与外部 LM 重打分。该配方最终在bur_test上取得 CER 21.4%、WER 67.0%、TER 31.8% 的结果其全部实现细节配置、脚本、源码级前端实现均可从当前仓库中直接查阅与复现是研究低资源语言 ASR 与自监督特征适配的可靠参考样例。赞分享人工智能语音音频深度学习NLP【免费下载链接】espnetEnd-to-End Speech Processing Toolkit项目地址https://gitcode.com/gh_mirrors/es/espnet点击查看免费下载相关推荐PaddleSpeech Speech SSL 自监督语音模型实战wav2vec2/Hubert/WavLM 的语音识别与声学表征提取PaddleSpeech Speech SSL 自监督语音模型实战wav2vec2/Hubert/WavLM 的语音识别与声学表征提取 导读 本文基于 Pad人工智能语音音频ESPnet ASR2 模板深度解析基于自监督离散单元的端到端语音识别Discrete Units ASRESPnet ASR2 模板深度解析基于自监督离散单元的端到端语音识别Discrete Units ASR 本篇技术指南系统讲解 ESPnet2 中 AS人工智能语音音频深度学习NLPSpeechBrain 低资源非洲语言 ASR 实战基于 wav2vec2 与 CTC 的 DVoice 多语言语音识别SpeechBrain 低资源非洲语言 ASR 实战基于 wav2vec2 与 CTC 的 DVoice 多语言语音识别 导读 本文围绕 SpeechBrai人工智能深度学习语音音频NLP预训练上一篇OneUptime Kubernetes Monitor 实战指南集群指标采集、告警规则与预置模板全解析下一篇SilentPatch终极指南一款免费补丁让GTA三部曲在现代电脑上满血复活创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考