使用 PaddleSpeech 在 CSMSC 数据集上训练 HiFiGAN 神经声码器：从数据准备到端到端合成实战指南

人工智能语音音频NLP媒体生成【免费下载链接】PaddleSpeechEasy-to-use Speech Toolkit including Self-Supervised Learning model, SOTA/Streaming ASR with punctuation, Streaming TTS with text frontend, Speaker Verification System, End-to-End Speech Translation and Keyword Spotting. Won NAACL2022 Best Demo Award.项目地址https://gitcode.com/paddlepaddle/PaddleSpeech点击查看免费下载本指南以 PaddleSpeech 仓库中的 examples/csmsc/voc5 示例为主线完整讲解如何使用中文标准普通话语音库 CSMSCBaker训练 HiFiGAN 神经声码器。你将掌握从数据集下载与静音裁剪、特征提取与归一化、生成器/判别器对抗训练到基于声学模型FastSpeech2进行端到端语音合成的完整流水线并了解该示例提供的预训练模型及其静态、PIR、ONNX、Paddle-Lite 等多种部署格式。一、HiFiGAN 与 voc5 示例在 TTS 流水线中的位置语音合成TTS通常分为两个阶段声学模型Acoustic Model将文本/音素序列转换为声学特征如梅尔谱声码器Vocoder再将声学特征还原为可听波形。HiFiGAN 即属于后者——一种基于生成对抗网络GAN的高保真神经声码器能够以比传统参数声码器更高的音质把 80 维梅尔谱重构为 24kHz 的语音波形。examples/csmsc/voc5正是 PaddleSpeech 中针对 CSMSC 数据集训练的 HiFiGAN 示例其目录结构如下examples/csmsc/voc5 ├── conf/ │ ├── default.yaml # 训练 HiFiGAN 的默认配置V1 架构 │ ├── finetune.yaml # 微调专用配置 │ └── iSTFT.yaml # iSTFTNet 变体配置 ├── local/ │ ├── preprocess.sh # 数据预处理 │ ├── train.sh # 模型训练 │ ├── synthesize.sh # 从 metadata 合成波形 │ ├── synthesize_e2e.sh # 从文本端到端合成 │ └── PTQ_static.sh # 量化与静态模型导出 ├── finetune.sh # 微调一键脚本 ├── path.sh # 环境变量与 BIN_DIR 定位 └── run.sh # 全流程一键脚本其中 path.sh 将BIN_DIR指向paddlespeech/t2s/exps/gan_vocoder/hifigan即训练入口 train.py 所在位置同时把仓库根目录与utils加入PATH供后续所有脚本调用仓库工具。二、数据集准备CSMSC 下载与目录结构CSMSCChinese Standard Mandarin Speech Corpus即 Baker 数据集可从其官方网站下载解压后建议放置于~/datasets数据集根目录为~/datasets/BZNSYP。解压后的标准目录结构如下└─ Wave └─ .wav files (audio speech) └─ PhoneLabeling └─ .interval files (alignment between phoneme and duration) └─ ProsodyLabeling └─ 000001-010000.txt (text with prosodic by pinyin)Wave语音波形文件训练/合成阶段使用的原始音频PhoneLabeling音素与时长对齐的.interval标注ProsodyLabeling带韵律标注拼音形式的文本文件。2.1 使用 MFA 对齐结果裁剪静音HiFiGAN 训练对音频边缘静音敏感示例使用蒙特利尔强制对齐工具MFA的结果来裁剪音频边缘的静音段。有两种获取方式直接下载官方提供的对齐结果压缩包baker_alignment_tone.tar.gz解压后得到baker_alignment_tone目录参考仓库中的 examples/other/mfa 示例自行训练 MFA 模型并导出对齐结果。此外工具目录还提供了 install_mfa_v1.sh 与 install_mfa_v2.sh 等安装脚本方便在本地搭建 MFA 环境。三、一键运行流水线run.sh 与阶段控制假设数据集位于~/datasets/BZNSYPMFA 对齐结果位于./baker_alignment_tone即可直接运行./run.shrun.sh 按阶段依次执行source 环境 → 预处理数据 → 训练模型 → 从 metadata.jsonl 合成波形 → 从文本文件端到端合成 → 量化导出。其默认参数如下gpus0,1 # 使用的 GPU 编号 stage0 # 起始阶段 stop_stage100 # 结束阶段默认跑完全部 conf_pathconf/default.yaml # 配置文件 train_output_pathexp/default# 实验输出目录 ckpt_namesnapshot_iter_50000.pdz # 合成时加载的 checkpoint四个主要阶段与第 4、5 阶段对应关系阶段内容调用脚本0数据预处理MFA 时长 → 特征 → 统计 → 归一化local/preprocess.sh1模型训练local/train.sh2从metadata.jsonl合成local/synthesize.sh3从文本端到端合成声学模型 HiFiGANlocal/synthesize_e2e.sh4PTQ 静态量化导出local/PTQ_static.sh你可以通过--stage与--stop-stage精确控制执行范围例如只执行数据预处理./run.sh --stage 0 --stop-stage 0该参数解析由仓库通用工具 utils/parse_options.sh 提供注意这种方式不能与位置参数$1、$2混用。四、数据预处理详解从 MFA 时长到归一化特征数据预处理由 local/preprocess.sh 完成内部包含 4 个子阶段。4.1 阶段 0从 MFA 结果生成时长文件调用 utils/gen_duration_from_textgrid.py解析baker_alignment_tone中的 TextGrid 对齐结果输出durations.txtpython3 ${MAIN_ROOT}/utils/gen_duration_from_textgrid.py \ --inputdir./baker_alignment_tone \ --outputdurations.txt \ --config${config_path}4.2 阶段 1提取特征调用声码器通用的 preprocess.pypython3 ${BIN_DIR}/../preprocess.py \ --rootdir~/datasets/BZNSYP/ \ --datasetbaker \ --dumpdirdump \ --dur-filedurations.txt \ --config${config_path} \ --cut-silTrue \ --num-cpu20关键参数说明--cut-silTrue依据 MFA 时长信息裁剪音频边缘静音保证特征与波形对齐--num-cpu20并行提取特征使用的 CPU 核数--datasetbaker指定数据集的预处理格式适配。4.3 阶段 2计算特征统计量调用 utils/compute_statistics.py基于训练集原始特征计算均值与标准差输出dump/train/feats_stats.npypython3 ${MAIN_ROOT}/utils/compute_statistics.py \ --metadatadump/train/raw/metadata.jsonl \ --field-namefeats4.4 阶段 3特征归一化调用 normalize.py对 train/dev/test 三份数据分别归一化。dev 与 test 必须使用训练集统计量dump/train/feats_stats.npy避免信息泄漏python3 ${BIN_DIR}/../normalize.py \ --metadatadump/train/raw/metadata.jsonl \ --dumpdirdump/train/norm \ --statsdump/train/feats_stats.npy \ --skip-wav-copy # dev、test 同理--stats 仍指向 dump/train/feats_stats.npy4.5 dump 目录结构与 metadata.jsonl预处理完成后当前目录下会生成dump目录dump ├── dev │ ├── norm │ └── raw ├── test │ ├── norm │ └── raw └── train ├── norm ├── raw └── feats_stats.npyraw每条语句的梅尔谱对数幅度log magnitude of mel spectrogramnorm用训练集统计量归一化后的谱特征feats_stats.npy训练集上计算得到的均值/标准差每个子目录下都有metadata.jsonl这是类表格文件记录每条语句的 id 以及谱特征文件路径训练与合成阶段均以它为索引。五、模型训练train.py 与 default.yaml 配置全解5.1 训练入口与参数训练由 local/train.sh 发起最终调用paddlespeech/t2s/exps/gan_vocoder/hifigan/train.pyCUDA_VISIBLE_DEVICES${gpus} ./local/train.sh ${conf_path} ${train_output_path}脚本内部实际执行FLAGS_cudnn_exhaustive_searchtrue \ FLAGS_conv_workspace_size_limit4000 \ python ${BIN_DIR}/train.py \ --train-metadatadump/train/norm/metadata.jsonl \ --dev-metadatadump/dev/norm/metadata.jsonl \ --config${config_path} \ --output-dir${train_output_path} \ --ngpu1train.py的完整参数如下usage: train.py [-h] [--config CONFIG] [--train-metadata TRAIN_METADATA] [--dev-metadata DEV_METADATA] [--output-dir OUTPUT_DIR] [--ngpu NGPU] Train a HiFiGAN model. optional arguments: -h, --help show this help message and exit --config CONFIG HiFiGAN config file. --train-metadata TRAIN_METADATA training data. --dev-metadata DEV_METADATA dev data. --output-dir OUTPUT_DIR output dir. --ngpu NGPU if ngpu 0, use cpu.参数使用要点--config指向 conf/default.yaml用于覆盖内置默认配置--train-metadata/--dev-metadata应指向dump中train/dev 的 norm 子目录下的metadata.jsonl--output-dir保存实验输出checkpoint 存放在其中的checkpoints/子目录--ngpu指定 GPU 数量ngpu 0时使用 CPU。从源码看train.py 通过DataTable加载wave与feats字段使用np.load转换以Clip批处理函数将音频裁剪到batch_max_steps长度并基于seed_everything(config.seed)固定随机种子以保证可复现。5.2 特征提取配置STFT 参数default.yaml开头的特征提取参数决定了梅尔谱的形态训练与合成必须保持一致参数值说明fs24000采样率Hzn_fft2048FFT 点数n_shift300帧移hop size约 12.5mswin_length1200窗长约 50mswindowhann窗函数n_mels80梅尔滤波器组数量fmin80最低频率Hzfmax7600最高频率Hz注意配置头注释中的关键说明该配置基于 HiFiGAN 官方 V1 配置但针对本实现调整了优化器设置AdamW → Adam、betas: [0.8, 0.99] → [0.5, 0.9]、ExponentialLR → MultiStepLR并将上采样倍数从原始 256 shift 设置调整为匹配n_shift300的[5, 5, 4, 3]。5.3 生成器架构generator_params生成器将 80 维梅尔谱逐步上采样还原为波形对应源码 hifigan.py 中的HiFiGANGenerator参数值说明in_channels80输入通道数梅尔谱维数out_channels1输出通道数单声道波形channels512初始卷积通道数kernel_size7首尾卷积核大小奇数upsample_scales[5, 5, 4, 3]上采样倍数序列总乘积 300对应帧移upsample_kernel_sizes[10, 10, 8, 6]上采样卷积核须为 2×scaleresblock_kernel_sizes[3, 7, 11]多感受野残差块核大小resblock_dilations[[1,3,5]×3]残差块膨胀率use_additional_convsTrue残差块是否使用附加卷积nonlinear_activationleakyrelu激活函数negative_slope0.1use_weight_normTrue是否应用权重归一化源码中HiFiGANGenerator的结构为输入卷积 → 若干「上采样层 残差块组」→ 输出卷积其中每个上采样核须满足upsample_kernel_sizes[i] 2 * upsample_scales[i]的断言生成器还支持use_istft选项对应目录中的 iSTFT.yaml 与 iSTFTNet.md即基于 iSTFT 的高效变体。5.4 判别器架构discriminator_paramsHiFiGAN 采用**多尺度判别器MSD 多周期判别器MPD**组合对应源码中的HiFiGANMultiScaleMultiPeriodDiscriminator多尺度判别器scales: 3每个尺度经 AvgPool1Dkernel4, stride2, padding2降采样后送入卷积分支kernel_sizes: [15, 41, 5, 3]downsample_scales: [4, 4, 4, 4, 1]最大通道数 1024最大分组数 16多周期判别器periods: [2, 3, 5, 7, 11]五个周期周期判别器初始通道 32downsample_scales: [3, 3, 3, 3, 1]启用use_weight_norm且关闭谱归一化。5.5 损失函数与超参配置项值说明use_stft_lossFalse是否使用多分辨率 STFT 损失本配置关闭use_mel_lossTrue使用梅尔谱损失fft 2048 / hop 300 / win 1200 / 80 维 / 0–12000Hzuse_feat_match_lossTrue使用特征匹配损失lambda_aux45.0辅助损失STFT/Mel权重lambda_adv1.0对抗损失权重lambda_feat_match2.0特征匹配损失权重5.6 优化器、调度器与训练步数生成器与判别器均使用 Adambeta10.5, beta20.9, weight_decay0.0初始学习率2.0e-4采用 MultiStepLR在[200000, 400000, 600000, 800000]步将学习率乘以gamma0.5。训练间隔设置generator_train_start_steps: 1、discriminator_train_start_steps: 0判别器从第 0 步开始训练train_max_steps: 2500000总训练步数save_interval_steps: 5000保存 checkpoint 间隔eval_interval_steps: 1000评估间隔batch_size: 16、batch_max_steps: 8400须能被 hop size 整除、num_workers: 2num_snapshots: 10最多保留快照数seed: 42随机种子。六、波形合成两种合成路径6.1 从 metadata.jsonl 合成synthesize.pylocal/synthesize.sh 调用paddlespeech/t2s/exps/gan_vocoder/synthesize.py以测试集归一化特征为输入、使用训练好的 HiFiGAN 生成器重建波形CUDA_VISIBLE_DEVICES${gpus} ./local/synthesize.sh ${conf_path} ${train_output_path} ${ckpt_name}脚本实际执行FLAGS_allocator_strategynaive_best_fit \ FLAGS_fraction_of_gpu_memory_to_use0.01 \ python3 ${BIN_DIR}/../synthesize.py \ --config${config_path} \ --checkpoint${train_output_path}/checkpoints/${ckpt_name} \ --test-metadatadump/test/norm/metadata.jsonl \ --output-dir${train_output_path}/test \ --generator-typehifigan--generator-type当前支持{pwgan, mb_melgan, style_melgan}及本示例使用的hifigan--checkpoint从训练输出目录的checkpoints/中选取快照--test-metadata使用dump/test/norm/metadata.jsonl。6.2 从文本端到端合成synthesize_e2e.pylocal/synthesize_e2e.sh 调用paddlespeech/t2s/exps/synthesize_e2e.py串起声学模型FastSpeech2 声码器HiFiGAN完成「文本 → 波形」的端到端合成CUDA_VISIBLE_DEVICES${gpus} ./local/synthesize_e2e.sh ${conf_path} ${train_output_path} ${ckpt_name}脚本实际执行python3 ${BIN_DIR}/../../synthesize_e2e.py \ --amfastspeech2_csmsc \ --am_configfastspeech2_nosil_baker_ckpt_0.4/default.yaml \ --am_ckptfastspeech2_nosil_baker_ckpt_0.4/snapshot_iter_76000.pdz \ --am_statfastspeech2_nosil_baker_ckpt_0.4/speech_stats.npy \ --vochifigan_csmsc \ --voc_config${config_path} \ --voc_ckpt${train_output_path}/checkpoints/${ckpt_name} \ --voc_statdump/train/feats_stats.npy \ --langzh \ --text${BIN_DIR}/../../assets/sentences.txt \ --output_dir${train_output_path}/test_e2e \ --phones_dictdump/phone_id_map.txt \ --inference_dir${train_output_path}/inference--am可选{speedyspeech_csmsc, speedyspeech_aishell3, fastspeech2_csmsc, fastspeech2_ljspeech, fastspeech2_aishell3, fastspeech2_vctk, tacotron2_csmsc, tacotron2_ljspeech}--voc可选{pwgan_*, mb_melgan_csmsc, style_melgan_csmsc, hifigan_csmsc, hifigan_ljspeech, hifigan_aishell3, hifigan_vctk, wavernn_csmsc}。声学模型的四个文件与声码器的三个文件分别对应预训练包中的default.yaml、checkpoint、统计量等文件--text为「utt_id sentence」逐行格式的待合成文本--lang可取zh或en--inference_dir用于保存后续部署所需的推理模型。6.3 配套声学模型FastSpeech2端到端合成需要声学模型提供梅尔谱示例选用 FastSpeech2对应 examples/csmsc/tts3其预训练包fastspeech2_nosil_baker_ckpt_0.4.zip解压后包含fastspeech2_nosil_baker_ckpt_0.4 ├── default.yaml # default config used to train fastspeech2 ├── phone_id_map.txt # phone vocabulary file when training fastspeech2 ├── snapshot_iter_76000.pdz # model parameters and optimizer states └── speech_stats.npy # statistics used to normalize spectrogram when training fastspeech2七、预训练模型、导出格式与评测指标7.1 HiFiGAN 预训练模型hifigan_csmsc_ckpt_0.1.1.zip解压后包含hifigan_csmsc_ckpt_0.1.1 ├── default.yaml # default config used to train HiFiGAN ├── feats_stats.npy # statistics used to normalize spectrogram when training HiFiGAN └── snapshot_iter_2500000.pdz # generator parameters of HiFiGAN官方还提供多种部署格式的模型包格式模型包备注动态图 checkpointhifigan_csmsc_ckpt_0.1.1.zip训练/微调用静态图hifigan_csmsc_static_0.1.1.zip推理部署PIR 静态图hifigan_csmsc_static_pir_0.1.1.zip需设置FLAGS_enable_pir_api1且仅支持 paddlepaddle ≥ 3.0.0b2ONNXhifigan_csmsc_onnx_0.2.0.zip跨框架推理Paddle-Litehifigan_csmsc_pdlite_1.3.0.zip移动端/嵌入式部署FastSpeech2 同样提供静态图fastspeech2_nosil_baker_static_0.4.zip、ONNXfastspeech2_csmsc_onnx_0.2.0.zip、Paddle-Litefastspeech2_csmsc_pdlite_1.3.0.zip等配套格式。示例中还提供 local/PTQ_static.sh通过PTQ_static.py对inference_dir中的推理模型执行后训练量化并导出 ONNX 格式--onnx_formatTrue该阶段对应run.sh的 stage 4。7.2 官方评测指标README 给出的 HiFiGAN 默认配置训练结果单卡 2500000 步如下ModelStepeval/generator_losseval/mel_losseval/feature_matching_lossdefault1(gpu) x 250000024.9270.12627.554三项指标分别对应生成器总损失、梅尔谱损失与特征匹配损失可用于对比自己训练的模型收敛情况。八、在自定义/新数据上微调 HiFiGAN目录提供了 finetune.sh 微调脚本流程如下阶段 0调用paddlespeech/t2s/exps/fastspeech2/gen_gta_mel.py用预训练 FastSpeech2 生成 GTA 梅尔谱到dump_finetune阶段 1调用 utils/link_wav.py 将原dump中的波形软链接到新目录阶段 2复用dump/train/feats_stats.npy作为新数据统计量阶段 3对 train/dev/test 归一化阶段 4以 conf/finetune.yaml 启动训练相比default.yaml其save_interval_steps调整为 10000 并增加了log_interval_steps: 100更适合较短的微调周期。九、小结与实践建议通过examples/csmsc/voc5示例你可以完整体验「数据集 → 特征 → 训练 → 合成 → 部署」的 HiFiGAN 全链路数据侧依赖 MFA 对齐结果裁剪静音训练侧基于多尺度 多周期判别器的对抗架构合成侧既可单独用 HiFiGAN 重建谱特征也可与 FastSpeech2 组合实现文本到语音的端到端生成。实践中有几点值得留意预处理与训练必须使用同一份配置尤其n_shift、n_mels等特征参数不一致会导致频谱错位dev/test 归一化一律使用训练集统计量dump/train/feats_stats.npy合成时加载的 checkpoint 应与配置匹配推荐直接使用官方预训练包snapshot_iter_2500000.pdz若需部署到推理框架可选用 static、PIR、ONNX 或 Paddle-Lite 格式其中 PIR 模型对 PaddlePaddle 版本有明确要求≥ 3.0.0b2 且需开启FLAGS_enable_pir_api1。如需深入了解实现细节可继续阅读生成器与判别器源码 paddlespeech/t2s/models/hifigan/hifigan.py、训练器 paddlespeech/t2s/models/hifigan/hifigan_updater.py 以及声学模型示例 examples/csmsc/tts3。赞分享人工智能语音音频NLP媒体生成【免费下载链接】PaddleSpeechEasy-to-use Speech Toolkit including Self-Supervised Learning model, SOTA/Streaming ASR with punctuation, Streaming TTS with text frontend, Speaker Verification System, End-to-End Speech Translation and Keyword Spotting. Won NAACL2022 Best Demo Award.项目地址https://gitcode.com/paddlepaddle/PaddleSpeech点击查看免费下载相关推荐PaddleSpeech 实战用 Parallel WaveGAN 在 CSMSC 数据集上训练与推理神经声码器PaddleSpeech 实战用 Parallel WaveGAN 在 CSMSC 数据集上训练与推理神经声码器 本篇文章围绕 PaddleSpeech 仓库人工智能语音音频NLP媒体生成PaddleSpeech iSTFTNet 神经声码器实战基于 CSMSC 数据集的训练、合成与推理全流程指南PaddleSpeech iSTFTNet 神经声码器实战基于 CSMSC 数据集的训练、合成与推理全流程指南 本指南以 PaddleSpeech 仓库中 e人工智能语音音频keep 开源 AIOps 告警平台部署教程从单机 Docker 到 K8s 生产环境keep 开源 AIOps 告警平台部署教程从单机 Docker 到 K8s 生产环境 凌晨两点手机开始震动同一次数据库主从切换Datadog 推了 5人工智能语音音频上一篇终极指南如何在技术面试中提出信息安全与漏洞处理问题下一篇终极Vulkan图形编程指南5步从零基础到渲染大师创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考