PaddleSpeech 中文 G2P（文本转音素）评测实战：基于 BZNSYP 数据集与 WER 指标

人工智能语音音频NLP媒体生成【免费下载链接】PaddleSpeechEasy-to-use Speech Toolkit including Self-Supervised Learning model, SOTA/Streaming ASR with punctuation, Streaming TTS with text frontend, Speaker Verification System, End-to-End Speech Translation and Keyword Spotting. Won NAACL2022 Best Demo Award.项目地址https://gitcode.com/paddlepaddle/PaddleSpeech点击查看免费下载本文以 PaddleSpeech 仓库中examples/other/g2p的完整评测流程为主线讲解如何利用 BZNSYP 数据集提供的音素级人工标注对中文 TTS 前端的 G2PGrapheme-to-Phoneme字形转音素能力进行量化评估。读完本文你将掌握 BZNSYP 标注数据的解析方法、PaddleSpeech 中文前端zh_frontend的音素预测调用方式、WER 指标的底层计算原理以及如何借助 sclite 和仓库自带的 badcase 对比脚本定位多音字与韵律标注误差。一、为什么需要评估 G2P在 TTS语音合成链路中前端frontend负责把原始中文文本转换为带声调的音素序列这一步骤通常被称为 G2P。它的输出质量直接决定了后续声学模型和声码器能生成什么样的发音尤其对多音字、轻声、儿化、韵律边界sp/sil 等停顿标记的准确处理至关重要。PaddleSpeech 的 g2p 示例采用了一种以标注为准的评测思路Ground Truth真值使用 BZNSYP 数据集中人工标注的音素标签phone label并删除标签与预测结果中的静音 token如sp、sil、sp1、spl预测结果由仓库内的中文前端paddlespeech/t2s/frontend/zh_frontend.py中的Frontend对同一批文本生成音素序列指标以 WERWord Error Rate词错误率作为统一评价标准数值越低代表 G2P 越准确。二、准备数据BZNSYP 数据集BZNSYP标贝女声音库是中文语音合成领域常用的开源数据集其目录中同时包含文本、拼音以及音素级时间对齐标注恰好可以作为 G2P 评测的天然语料。2.1 下载与解压从 BZNSYP 官方发布渠道下载数据集并解压假设解压后的路径为~/datasets/BZNSYPREADME 中的默认约定路径run.sh会检查该目录是否存在。2.2 目录结构说明结合 get_g2p_data.py 的源码评测只依赖 BZNSYP 的两个子目录子目录 / 文件内容用途PhoneLabeling/*.interval每个句子的音素级对齐文件TextGrid 格式由 praatio 解析生成 ground truth 音素序列ProsodyLabeling/000001-010000.txt每行的第一列为句子编号第二列为原始文本多行拼音条目提供 pinyin 信息提供评测输入文本get_baker_data通过textgrid.openTextgrid(alignment_fp, includeEmptyIntervalsTrue)读取每个.interval文件取第一个 tier 的 label 列表作为该句的phones随后逐行解析文本文件将utt_id与text、pinyin关联起来。2.3 需要排除的标注异常样本源码中通过exclude集合过滤了 4 个标注存在错误的文件000611、000662、002365、005107见 get_g2p_data.py。评测时这些句子会被跳过以保证 ground truth 的可靠性。三、环境准备安装 sclite 与配置路径3.1 安装 scliteNIST SCTKsclite是 NIST SCTK 工具包中经典的词错误率评分工具用于生成上文 README 中的详细统计报告。仓库提供了自动安装脚本 tools/extras/install_sclite.shcd ../../../tools # 从 examples/other/g2p 进入仓库根目录的 tools bash extras/install_sclite.sh cd -脚本会下载 SCTK 源码固定到 GitHub commit20159b5对应 SCTK 2.4.11解压后软链接为tools/extras/sctk并以-marchnative优化参数编译、安装。编译产物最终位于tools/extras/sctk/bin/sclite。3.2 path.sh 环境变量path.sh 负责初始化运行环境核心动作包括MAIN_ROOT指向仓库根目录realpath ${PWD}/../../../将MAIN_ROOT与MAIN_ROOT/utils加入PATH设置LC_ALLC同时用PYTHONIOENCODINGUTF-8避免 C locale 下 Python 输出的 UnicodeDecodeError将MAIN_ROOT加入PYTHONPATH保证paddlespeech.t2s等包可被直接导入。四、一键评测run.sh 的三阶段流程run.sh 是整个评测的入口依次完成以下三步# 1. 数据准备从 BZNSYP 生成评测语料 python3 get_g2p_data.py --root-dir~/datasets/BZNSYP --output-dirdata/g2p # 2. G2P 预测与 WER 计算 python3 test_g2p.py --input-dirdata/g2p --output-direxp/g2p # 3. 可选用 sclite 生成详细统计 ${MAIN_ROOT}/tools/extras/sctk/bin/sclite -i wsj -r ./exp/g2p/text.ref.clean trn -h ./exp/g2p/text.g2p trn -e utf-8 -o all其中USE_SCLITEtrue控制是否执行第三步。运行前run.sh会检查~/datasets/BZNSYP是否存在若不存在则提示先下载数据集并退出。三个步骤的输入输出关系如下get_g2p_data.pyBZNSYP→data/g2p/text原始文本与data/g2p/text.ref标注音素真值test_g2p.pydata/g2p→exp/g2p/text.g2p预测音素、exp/g2p/text.ref.clean清洗后的真值并输出 avg WERsclite对text.ref.clean与text.g2p进行逐句评分输出-o all全部统计文件含text.g2p.pra供 badcase 对比使用。五、数据预处理详解get_g2p_data.py5.1 生成文件格式处理完成后会在输出目录生成两个文件每行格式均为utt_id 空格 内容text原始中文句子例如000001 因为……作为 G2P 的输入text.ref标注音素序列含静音 token例如000001 sil j iou4 ... sp sil作为评测真值。5.2 关键实现点使用praatio库解析 TextGrid 对齐文件includeEmptyIntervalsTrue保证静音区间label 为sil/sp等也被完整读出标注文本文件中以0开头的行解析为文本其余行解析为拼音只有同时存在于data_dict即存在对齐文件的句子才会被保留全部结果写入后run.sh与test_g2p.py即可基于该目录完成评测。六、G2P 预测与 WER 计算test_g2p.py6.1 文本清洗test_g2p.py 中的text_cleaner会对输入文本做归一化使评测输入更贴近真实场景删除韵律标签#1#4以及中文引号、括号将…。归一化为。将、、——、……、、、…、—统一替换为逗号。6.2 调用中文前端预测部分直接复用生产环境的中文前端from paddlespeech.t2s.frontend.zh_frontend import Frontend as zhFrontend frontend zhFrontend() # 默认 g2p_modelg2pW g2p_phones frontend.get_phonemes(text) g2p_phones sum(g2p_phones, []) # 多句结果拼接为单个音素列表也就是说g2p 示例评测的正是 TTS 实际使用的zh_frontend.Frontend因此该 WER 可以真实反映线上合成前端对文本的发音转换质量。6.3 静音 token 剔除为公平比较评测会从两侧同时删除静音 token集合为{sp, sil, sp1, spl}见 test_g2p.py再逐句写入预测结果text.g2p与清洗真值text.ref.clean。这样 WER 只度量该读什么音而非停顿是否精确。6.4 平均 WER 的求法与常见的先算每句 WER 再求平均不同本示例采用全局累计口径edit_distance, ref_len word_errors(gt_phones, g2p_phones) avg_wer sum(edit_distances) / sum(ref_lens)即所有句子的总编辑距离 ÷ 所有句子的总参考音素数。这样做可以避免短句对指标产生不成比例的波动统计上更稳健。七、WER 的底层原理error_rate.pyWER 的计算实现在 paddlespeech/t2s/utils/error_rate.py核心为词级 Levenshtein 编辑距离_levenshtein_distance以动态规划计算两个序列间的最小编辑距离并采用滚动两行的内存优化distance np.zeros((2, n 1))空间复杂度为 O(min(m, n))word_errors将参考与预测按空格分词后调用编辑距离返回(edit_distance, len(ref_words))wer的定义为(Sub Del Ins) / N其中 Sub 为替换数、Del 为删除数、Ins 为插入数、N 为参考词数即edit_distance / ref_len。同一模块还提供char_errors/cer字符级、适用于中文说明该工具函数同时服务于 ASR 与 TTS 的各类错误率评测。八、sclite 详细报告解读执行完run.sh后可在终端看到类似如下的汇总表,--------------------------------------------------------------------. | ./exp/g2p/text.g2p | |--------------------------------------------------------------------| | SPKR | # Snt # Wrd | Corr Sub Del Ins Err S.Err | | Sum/Avg| 9996 299181 | 97.6 2.4 0.0 0.0 2.4 49.0 | --------------------------------------------------------------------各列含义如下列含义# Snt评测句子数9996与剔除 4 个异常文件后的有效句子一致# Wrd参与统计的参考音素/词总数299181Corr正确率97.6%Sub替换错误率2.4%主要来自多音字误判Del删除错误率0.0%Ins插入错误率0.0%Err总错误率 Sub Del Ins2.4%S.Err句子级错误率49.0%即约半数句子仍存在至少一处音素偏差README 中记录的avg WER为0.024075726733983775约 2.41%。请注意该数值与运行环境、zh_frontend所用 G2P 模型及 BZNSYP 数据版本相关属于仓库示例的基准结果供复现时对照不同环境下的实际值可能略有浮动。九、多音字处理与 G2P 模型选型源码纵深zh_frontend.Frontend支持三种 G2P 引擎见 zh_frontend.pyg2p_model说明pypinyin纯 pypinyin 规则转换速度最快多音字按词典默认读音g2pM基于模型的 G2P可依据上下文区分多音字g2pW默认混合方案以 g2pW ONNX 模型为主对非多音字回退到 pypinyin并叠加Polyphonic多音字校正器除 G2P 外Frontend.__init__还串联了完整的前端组件链zh_frontend.pyTextNormalizer文本正则化TN处理数字、日期、量词等ToneSandhi变调处理如三声连读、一不变调儿化处理内置must_erhua/not_erhua词表对儿的卷舌发音做显式决策可选RhyPredictoruse_rhyTrue韵律预测输出sp1sp4韵律标记——这也是为什么评测代码需要显式剔除这些韵律/静音 token 的原因。也就是说示例中的 WER 实际度量的是TN 变调 多音字 儿化 音素映射整条前端链路的综合表现任何环节的误差都会体现为 Sub/Ins/Del。十、badcase 分析定位两次实验的差异当两次实验例如更换 G2P 模型或调整前端参数的 WER 出现差异时可以使用仓库自带的 compare_badcase.py 定位具体出错句子python compare_badcase.py exp/g2p_laotouzi exp/g2p用法与输出说明传入两个保存了text.g2p.prasclite 的-o all输出之一的结果目录脚本会跳过前 10 行非数据头逐块比对Eval:行对预测不一致的句子打印其 uuid、原始中文文本来自data/g2p/text、ref 真值以及两组实验各自的预测音素P1 / P2最后汇总所有差异句的中文文本便于人工核对是数据标注问题还是 G2P 模型本身的问题。这为定位多音字错误 → 修正词典/模型 → 重新评测的迭代闭环提供了现成工具。十一、完整复现步骤速览下载并解压 BZNSYP 到~/datasets/BZNSYP安装依赖pip install praatio解析 TextGrid 所需并确保仓库已安装paddlespeech.t2s可导入安装 sclitecd ../../../tools bash extras/install_sclite.sh cd -执行./run.sh一键完成数据准备 → G2P 预测 → WER 统计全流程查看终端输出的avg WER与exp/g2p/text.g2p的 sclite 汇总表如需细粒度分析用compare_badcase.py对比不同配置下的结果差异。通过这一流程你可以快速验证zh_frontend中 pypinyin / g2pM / g2pW 三种引擎、多音字词典或文本归一化规则对中文 TTS 前端发音质量的实际影响并将其作为前端迭代的量化依据。赞分享人工智能语音音频NLP媒体生成【免费下载链接】PaddleSpeechEasy-to-use Speech Toolkit including Self-Supervised Learning model, SOTA/Streaming ASR with punctuation, Streaming TTS with text frontend, Speaker Verification System, End-to-End Speech Translation and Keyword Spotting. Won NAACL2022 Best Demo Award.项目地址https://gitcode.com/paddlepaddle/PaddleSpeech点击查看免费下载相关推荐PaddleSpeech 文本前端音素化模块phonectic深度解析英文 G2P、中文拼音与音素 ID 转换PaddleSpeech 文本前端音素化模块phonectic深度解析英文 G2P、中文拼音与音素 ID 转换 导读 本文聚焦 PaddleSpeech人工智能语音音频PaddleSpeech 中文文本前端 zh_frontend 全解析从文本到音素/声调 ID 的 G2P 流水线PaddleSpeech 中文文本前端 zh_frontend 全解析从文本到音素/声调 ID 的 G2P 流水线 导读 本文围绕 PaddleSpeech人工智能语音音频NLP媒体生成Solana 集群基准测试实战从 Multinode 测试网搭建到 TPS 压测与调试Solana 集群基准测试实战从 Multinode 测试网搭建到 TPS 压测与调试 本文围绕 Solana 仓库中的集群基准测试文档 docs/src/人工智能语音音频上一篇如何构建多平台音乐解析APIPHP实现的终极解决方案下一篇Llama-Guard-3-8B与Llama 3.1协同工作构建企业级AI安全防护体系创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考