PaddleSpeech 基于 Opencpop 的 Parallel WaveGAN 歌声合成声码器训练与部署全指南

人工智能语音音频NLP媒体生成【免费下载链接】PaddleSpeechEasy-to-use Speech Toolkit including Self-Supervised Learning model, SOTA/Streaming ASR with punctuation, Streaming TTS with text frontend, Speaker Verification System, End-to-End Speech Translation and Keyword Spotting. Won NAACL2022 Best Demo Award.项目地址https://gitcode.com/paddlepaddle/PaddleSpeech点击查看免费下载导读本文以 PaddleSpeech 仓库中examples/opencpop/voc1示例为核心系统讲解如何基于 Opencpop中文普通话歌唱数据集从零训练 Parallel WaveGAN并行波形生成声码器并完成数据预处理、模型训练、波形合成、动转静推理以及 PTQ 静态量化部署的完整流程。读完本文你将掌握 Parallel WaveGAN 在歌声合成Singing Voice Synthesis, SVS场景下的全链路实操方法并能读懂其生成器/判别器网络配置、STFT 多分辨率损失与对抗损失的协同机制以及 PaddleSpeech 声码器训练框架的底层实现细节。Parallel WaveGAN 与 Opencpop 简介Parallel WaveGAN论文 Parallel WaveGAN: A fast waveform generation model based on generative adversarial networks with multi-resolution spectrogram是一种基于生成对抗网络GAN的并行波形生成模型。与传统的自回归声码器如 WaveNet逐样本生成不同Parallel WaveGAN 通过非自回归的卷积网络一次性生成整段波形配合多分辨率 STFT 损失和对抗训练在保持合成质量的同时大幅提升生成速度。在 PaddleSpeech 的歌声合成链路中examples/opencpop/voc1示例负责把谱域特征对数幅度 Mel 谱转换为最终可听波形是歌声合成流水线的声码器环节。它与上游的时长模型、声学模型如examples/opencpop/svs1中的 FastSpeech2 歌声模型配合共同完成文本/音符 → 声学特征 → 波形的端到端歌声合成。数据集准备下载与解压Opencpop 是由西北工业大学NWPU发布的公开中文普通话歌唱数据集官方介绍见 wenet.org.cn/opencpop。下载地址请访问其 官方下载页面。将压缩包解压到~/datasets目录后数据集位于~/datasets/Opencpop目录结构大致如下~/datasets/Opencpop/ ├── segments/ # 分段后的音频片段 │ └── transcriptions.txt # 时长标注文件音素/音符对齐信息 └── ...注意本示例约定数据集路径为~/datasets/Opencpop预处理脚本preprocess.sh中硬编码了--rootdir~/datasets/Opencpop/segments/与--dur-file~/datasets/Opencpop/segments/transcriptions.txt请确保下载后的目录结构与脚本预期一致。一键运行全流程进入示例目录后执行cd examples/opencpop/voc1 ./run.shrun.sh会依次完成四件事source path加载path.sh中的环境变量见下文。预处理数据集调用./local/preprocess.sh。训练模型调用./local/train.sh。合成波形调用./local/synthesize.sh从metadata.jsonl还原出 wav。此外run.sh还预留了两个进阶阶段动转静stage 3和PTQ 静态量化stage 4用于将训练好的动态图模型转换为静态图并进一步量化部署。选择运行阶段run.sh支持通过--stage与--stop-stage控制运行范围例如只做数据预处理./run.sh --stage 0 --stop-stage 0各阶段编号与run.sh源码examples/opencpop/voc1/run.sh对应如下阶段内容0数据预处理./local/preprocess.sh1模型训练./local/train.sh2波形合成./local/synthesize.sh3动态图转静态图./local/dygraph_to_static.sh4PTQ 静态量化./local/PTQ_static.sh注意--stage/--stop-stage方式不能与$1、$2等位置参数混用见 run.sh 中的注释说明。环境变量与路径约定path.shexamples/opencpop/voc1/path.sh负责初始化脚本运行环境MAIN_ROOT仓库根目录通过realpath ${PWD}/../../../计算。BIN_DIR指向paddlespeech/t2s/exps/gan_vocoder/parallelwave_gan即声码器训练/推理脚本所在目录MODELparallelwave_gan。将MAIN_ROOT及其utils子目录加入PATH并将MAIN_ROOT加入PYTHONPATH保证后续脚本能引用到仓库内的 Python 包与工具脚本。数据预处理预处理由./local/preprocess.sh驱动examples/opencpop/voc1/local/preprocess.sh内部实际分三步完成第一步特征提取python3 ${BIN_DIR}/../preprocess.py \ --rootdir~/datasets/Opencpop/segments/ \ --datasetopencpop \ --dumpdirdump \ --dur-file~/datasets/Opencpop/segments/transcriptions.txt \ --config${conf_path} \ --cut-silFalse \ --num-cpu20该脚本读取音频与时长标注按conf/default.yaml中定义的 Mel 谱参数提取特征并输出metadata.jsonl表格化索引文件记录每条 utterance 的 id 以及谱特征文件的路径。第二步计算统计量python3 ${MAIN_ROOT}/utils/compute_statistics.py \ --metadatadump/train/raw/metadata.jsonl \ --field-namefeats基于训练集计算特征的均值与标准差结果保存在dump/train/feats_stats.npy。第三步特征归一化python3 ${BIN_DIR}/../normalize.py \ --metadatadump/train/raw/metadata.jsonl --dumpdirdump/train/norm --statsdump/train/feats_stats.npy python3 ${BIN_DIR}/../normalize.py \ --metadatadump/dev/raw/metadata.jsonl --dumpdirdump/dev/norm --statsdump/train/feats_stats.npy python3 ${BIN_DIR}/../normalize.py \ --metadatadump/test/raw/metadata.jsonl --dumpdirdump/test/norm --statsdump/train/feats_stats.npy关键点dev 和 test 必须复用训练集的统计量避免数据泄漏保证评测一致性。dump 目录结构预处理完成后当前目录下会生成dump文件夹dump ├── dev │ ├── norm │ └── raw ├── test │ ├── norm │ └── raw └── train ├── norm ├── raw └── feats_stats.npy数据集被划分为train/dev/test三部分每部分含norm与raw两个子目录。raw存放每条 utterance 的对数幅度 Mel 谱log magnitude mel spectrogramnorm存放归一化后的谱。归一化所用的统计量来自训练集即dump/train/feats_stats.npy。每个子目录下都有一份metadata.jsonl以表格形式记录每条 utterance 的 id 与谱文件路径。模型训练训练入口CUDA_VISIBLE_DEVICES${gpus} ./local/train.sh ${conf_path} ${train_output_path}./local/train.shexamples/opencpop/voc1/local/train.sh最终调用${BIN_DIR}/train.py即 paddlespeech/t2s/exps/gan_vocoder/parallelwave_gan/train.py。脚本内部还设置了两个 FLAGS 以优化训练性能FLAGS_cudnn_exhaustive_searchtrue \ FLAGS_conv_workspace_size_limit4000 \ python ${BIN_DIR}/train.py \ --train-metadatadump/train/norm/metadata.jsonl \ --dev-metadatadump/dev/norm/metadata.jsonl \ --config${config_path} \ --output-dir${train_output_path} \ --ngpu1train.py 完整参数说明usage: train.py [-h] [--config CONFIG] [--train-metadata TRAIN_METADATA] [--dev-metadata DEV_METADATA] [--output-dir OUTPUT_DIR] [--ngpu NGPU] [--batch-size BATCH_SIZE] [--max-iter MAX_ITER] [--run-benchmark RUN_BENCHMARK] [--profiler_options PROFILER_OPTIONS] Train a ParallelWaveGAN model. optional arguments: -h, --help show this help message and exit --config CONFIG ParallelWaveGAN config file. --train-metadata TRAIN_METADATA training data. --dev-metadata DEV_METADATA dev data. --output-dir OUTPUT_DIR output dir. --ngpu NGPU if ngpu 0, use cpu. benchmark: arguments related to benchmark. --batch-size BATCH_SIZE batch size. --max-iter MAX_ITER train max steps. --run-benchmark RUN_BENCHMARK runing benchmark or not, if True, use the --batch-size and --max-iter. --profiler_options PROFILER_OPTIONS The option of profiler, which should be in format key1value1;key2value2;key3value3.参数使用要点--configyaml 格式的配置文件用于覆盖默认配置默认配置文件位于conf/default.yaml。--train-metadata、--dev-metadata应使用dump目录下train与dev的norm子目录中的metadata.jsonl。--output-dir实验结果的保存目录checkpoint 会保存在该目录下的checkpoints/子目录中。--ngpu使用的 GPU 数量ngpu 0时使用 CPU。训练流程的底层实现从 train.py 源码可以看到训练流程的关键环节设备与并行若paddle.is_compiled_with_cuda()为假或ngpu 0则使用 CPU否则使用 GPUworld_size 1时初始化分布式环境并调用seed_everything(config.seed)固定随机种子保证多进程训练可复现。数据加载通过DataTable以np.load方式读取wave与feats两个字段DistributedBatchSampler负责分布式采样train 用 shuffleTrue、drop_lastTruedev 用 shuffleFalse、drop_lastFalse。音频裁剪Clip批处理函数按batch_max_steps、n_shifthop size与aux_context_window对 batch 内的音频进行长度对齐裁剪保证送入网络的每个样本长度一致。模型构建分别实例化PWGGenerator生成器与PWGDiscriminator判别器即paddlespeech.t2s.models.parallel_wavegan模块中的组件。损失函数对抗损失lambda_adv加权与MultiResolutionSTFTLoss多分辨率 STFT 损失联合优化。配置文件解析conf/default.yamlexamples/opencpop/voc1/conf/default.yaml是 Parallel WaveGAN 在 Opencpop 上的超参数配置。文件头部注释提示该配置按 CSMSC 数据集调优迁移到其他数据集需谨慎调整部分参数按注释估算该配置约需 12 GB 显存在 RTX TITAN 上训练约需 3 天。各配置块说明如下特征提取设置Feature Extraction参数默认值含义fs24000采样率Hzn_fft512FFT 大小样本数n_shift128帧移样本数约 12.5mswin_length512窗长样本数约 50ms若为 null 则与 fft_size 相同windowhann窗函数类型n_mels80Mel 滤波器组数量fmin30Mel 滤波器组最低频率Hzfmax12000Mel 滤波器组最高频率Hz生成器网络结构Generator参数默认值含义in_channels/out_channels1 / 1输入/输出通道数kernel_size3膨胀卷积核大小layers30残差块层数stacks3堆叠数膨胀循环次数residual_channels64残差卷积通道数gate_channels128门控卷积通道数skip_channels64跳连卷积通道数aux_channels80辅助特征Mel 谱卷积通道数必须等于 n_melsaux_context_window2辅助特征上下文窗口为 2 时考虑前 2 帧与后 2 帧dropout0.0Dropout 比率0 表示不使用biasTrue残差块是否使用偏置use_weight_normTrue是否使用权重归一化应用到所有卷积层use_causal_convFalse残差块与上采样层是否使用因果卷积upsample_scales[8, 4, 2, 2]上采样倍数序列其乘积必须等于 hop sizen_shift128interpolate_modenearest上采样网络的插值模式freq_axis_kernel_size1上采样网络在频率轴上的卷积核大小nonlinear_activation/nonlinear_activation_paramsnull / {}非线性激活函数及其参数判别器网络结构Discriminator参数默认值含义in_channels/out_channels1 / 1输入/输出通道数kernel_size3卷积核大小layers10卷积层数conv_channels64卷积通道数biasTrue卷积是否使用偏置use_weight_normTrue是否使用权重归一化nonlinear_activationleakyrelu每层卷积后的非线性激活nonlinear_activation_params.negative_slope0.2LeakyReLU 的 alpha 值STFT 损失设置参数默认值含义stft_loss_params.fft_sizes[1024, 2048, 512]多分辨率 STFT 损失的 FFT 大小列表stft_loss_params.hop_sizes[120, 240, 50]多分辨率 STFT 损失的帧移列表stft_loss_params.win_lengths[600, 1200, 240]多分辨率 STFT 损失的窗长列表stft_loss_params.windowhann窗函数对抗损失与数据加载参数默认值含义lambda_adv4.0对抗损失平衡系数batch_size8Batch 大小batch_max_steps25500batch 内每条音频的长度须能被 n_shift 整除num_workers1DataLoader 工作进程数优化器与学习率调度参数默认值含义generator_optimizer_params.epsilon1.0e-6生成器 Adam epsilongenerator_optimizer_params.weight_decay0.0生成器权重衰减generator_scheduler_params.learning_rate0.0001生成器初始学习率generator_scheduler_params.step_size200000生成器调度步长generator_scheduler_params.gamma0.5生成器调度衰减因子每个 step_size 学习率乘以该值generator_grad_norm10生成器梯度裁剪范数discriminator_optimizer_params.epsilon1.0e-6判别器 Adam epsilondiscriminator_optimizer_params.weight_decay0.0判别器权重衰减discriminator_scheduler_params.learning_rate0.00005判别器初始学习率discriminator_scheduler_params.step_size200000判别器调度步长discriminator_scheduler_params.gamma0.5判别器调度衰减因子discriminator_grad_norm1判别器梯度裁剪范数训练间隔与其他设置参数默认值含义discriminator_train_start_steps100000开始训练判别器的步数前 10 万步只训练生成器train_max_steps400000总训练步数save_interval_steps5000保存 checkpoint 的间隔步数eval_interval_steps1000评估网络的间隔步数num_save_intermediate_results4中间结果保存数量num_snapshots10训练过程中最多保留的快照数seed42paddle/random/np.random 的随机种子值得注意的设计配置中use_causal_convFalse时网络使用非因果卷积训练阶段可以并行计算整个序列而aux_context_window2意味着辅助 Mel 特征会附带前后各 2 帧的上下文信息。discriminator_train_start_steps100000表明前 10 万步先单独训练生成器由 STFT 损失驱动之后才引入判别器的对抗训练这是 Parallel WaveGAN 稳定训练的关键策略之一。波形合成推理合成入口CUDA_VISIBLE_DEVICES${gpus} ./local/synthesize.sh ${conf_path} ${train_output_path} ${ckpt_name}./local/synthesize.shexamples/opencpop/voc1/local/synthesize.sh调用${BIN_DIR}/../synthesize.py即 paddlespeech/t2s/exps/gan_vocoder/synthesize.py用于从metadata.jsonl合成波形FLAGS_allocator_strategynaive_best_fit \ FLAGS_fraction_of_gpu_memory_to_use0.01 \ python3 ${BIN_DIR}/../synthesize.py \ --config${config_path} \ --checkpoint${train_output_path}/checkpoints/${ckpt_name} \ --test-metadatadump/test/norm/metadata.jsonl \ --output-dir${train_output_path}/test \ --generator-typepwgan || exit -1synthesize.py 完整参数说明usage: synthesize.py [-h] [--generator-type GENERATOR_TYPE] [--config CONFIG] [--checkpoint CHECKPOINT] [--test-metadata TEST_METADATA] [--output-dir OUTPUT_DIR] [--ngpu NGPU] Synthesize with GANVocoder. optional arguments: -h, --help show this help message and exit --generator-type GENERATOR_TYPE type of GANVocoder, should in {pwgan, mb_melgan, style_melgan, } now --config CONFIG GANVocoder config file. --checkpoint CHECKPOINT snapshot to load. --test-metadata TEST_METADATA dev data. --output-dir OUTPUT_DIR output dir. --ngpu NGPU if ngpu 0, use cpu.参数使用要点--configParallel WaveGAN 配置文件必须与训练时使用的配置一致。--checkpoint要加载的 checkpoint从训练输出目录的checkpoints/中挑选一个。--test-metadata测试数据集的 metadata使用处理后目录dev/norm子目录下的metadata.jsonl。--output-dir合成音频文件的保存目录。--ngpu使用的 GPU 数量ngpu 0时使用 CPU。底层实现说明从 synthesize.py 源码可见脚本通过class_map将生成器类型映射到具体的生成器类例如pwgan映射到PWGGenerator当前支持hifigan、mb_melgan、pwgan、style_melgan四种 GAN 声码器。合成时仅加载生成器判别器在推理阶段不参与对每条 Mel 谱特征进行波形重建并用soundfile写出 wav 文件。模型部署动转静与 PTQ 静态量化run.sh在训练与合成之外还集成了两条部署链路便于将模型落地到生产推理环境。动态图转静态图CUDA_VISIBLE_DEVICES${gpus} ./local/dygraph_to_static.sh ${conf_path} ${train_output_path} ${ckpt_name}该脚本examples/opencpop/voc1/local/dygraph_to_static.sh调用${BIN_DIR}/../../dygraph_to_static.py将动态图训练好的 checkpoint 转换为静态图推理模型python3 ${BIN_DIR}/../../dygraph_to_static.py \ --typevoc \ --vocpwgan_opencpop \ --voc_config${config_path} \ --voc_ckpt${train_output_path}/checkpoints/${ckpt_name} \ --voc_statdump/train/feats_stats.npy \ --inference_direxp/default/inference/其中--voc_stat指定训练时的特征统计量文件dump/train/feats_stats.npy供推理时做同样的归一化转换结果输出到exp/default/inference/目录。PTQ 静态量化CUDA_VISIBLE_DEVICES${gpus} ./local/PTQ_static.sh ${train_output_path} pwgan_opencpop该脚本examples/opencpop/voc1/local/PTQ_static.sh调用${BIN_DIR}/../../PTQ_static.py对静态图模型做训练后量化Post-Training Quantizationpython3 ${BIN_DIR}/../../PTQ_static.py \ --dev-metadatadump/dev/raw/metadata.jsonl \ --inference_dir ${train_output_path}/inference \ --model_name pwgan_opencpop \ --onnx_formatTrue量化过程使用 dev 集的metadata.jsonl作为校准数据--onnx_formatTrue表示同时导出 ONNX 格式模型便于对接不同推理框架。预训练模型PaddleSpeech 提供了基于 Opencpop 训练好的 Parallel WaveGAN 预训练权重下载链接为pwgan_opencpop_ckpt_1.4.0解压后内容如下pwgan_opencpop_ckpt_1.4.0 ├── default.yaml # 训练 parallel wavegan 使用的默认配置 ├── snapshot_iter_100000.pdz # parallel wavegan 生成器参数 └── feats_stats.npy # 训练 parallel wavegan 时用于归一化谱特征的统计量使用方式将default.yaml作为--config将snapshot_iter_100000.pdz放到训练输出目录的checkpoints/下作为--checkpoint并将feats_stats.npy放回dump/train/位置即可直接执行run.sh --stage 2 --stop-stage 2完成波形合成无需重新训练。注意预训练 checkpoint 对应默认 10 万步的快照与配置中train_max_steps: 400000的完整训练时长无关可直接用于推理。与歌声合成链路的配合在 PaddleSpeech 中voc1声码器示例与上游歌声合成模型见examples/opencpop/svs1配合使用上游模型负责从文本/音符序列预测 Mel 谱本示例的 Parallel WaveGAN 则将该谱转换为波形。也正因如此conf/default.yaml中的aux_channels辅助特征通道数必须与上游声学模型输出的n_mels一致此处均为 80fs24000也需与上游特征采样率保持一致否则会直接影响合成音质。此外PaddleSpeech 的 GAN 声码器目录paddlespeech/t2s/exps/gan_vocoder/下还提供了multi_band_melgan、style_melgan、hifigan等其他声码器实现synthesize.py通过--generator-type参数即可在多种声码器之间切换便于对比不同声码器在歌声合成任务上的表现。常见问题与调优提示显存不足conf/default.yaml注释指出该配置约需 12 GB 显存RTX TITAN 约 3 天训练时长。若显存不足可尝试减小batch_size默认 8或batch_max_steps默认 25500并同步调整学习率。上采样倍数与帧移必须匹配upsample_scales的乘积必须等于n_shift此处 8×4×2×2128否则生成器无法把谱帧还原为正确长度的波形。辅助特征通道数约束aux_channels必须等于n_mels均为 80。训练稳定性discriminator_train_start_steps控制判别器何时开始训练若出现训练不稳定可调大该值或降低lambda_adv。复现性seed42会在训练入口通过seed_everything统一设置 paddle、random 与 numpy 的随机种子。总结通过examples/opencpop/voc1示例PaddleSpeech 提供了一条完整的 Parallel WaveGAN 歌声声码器落地路径下载 Opencpop 数据集 → 预处理特征提取、统计量计算、归一化→ 模型训练生成器判别器对抗训练与多分辨率 STFT 损失联合优化→ 波形合成 → 动转静与 PTQ 量化部署。本文同时给出了配置文件全部关键参数的含义与默认值、训练与合成脚本的完整命令行用法并结合 train.py 与 synthesize.py 的源码剖析了底层实现。本示例代码参考并改编自开源项目 ParallelWaveGAN读者可在此基础上针对自有歌声数据继续调优与扩展。赞分享人工智能语音音频NLP媒体生成【免费下载链接】PaddleSpeechEasy-to-use Speech Toolkit including Self-Supervised Learning model, SOTA/Streaming ASR with punctuation, Streaming TTS with text frontend, Speaker Verification System, End-to-End Speech Translation and Keyword Spotting. Won NAACL2022 Best Demo Award.项目地址https://gitcode.com/paddlepaddle/PaddleSpeech点击查看免费下载相关推荐PaddleSpeech Parallel WaveGAN 神经声码器训练、合成与源码实现全解析PaddleSpeech Parallel WaveGAN 神经声码器训练、合成与源码实现全解析 导读 本文聚焦 PaddleSpeech 中 Paralle人工智能语音音频NLP媒体生成打破单机游戏限制Nucleus Co-Op如何将任意游戏变成本地多人体验打破单机游戏限制Nucleus Co Op如何将任意游戏变成本地多人体验 想象一下你和朋友们围坐在电脑前准备一起玩一款经典的单机游戏却发现游戏本身只支持人工智能语音音频NLP媒体生成3分钟上手即时语音克隆用OpenVoice让AI开口说你的话3分钟上手即时语音克隆用OpenVoice让AI开口说你的话 想做视频配音或有声内容却被声音不合适卡住OpenVoice 是 MIT 和 MyShel人工智能语音音频NLP媒体生成上一篇PAL MCP Server 故障排查完全指南从连接检查到源码级诊断下一篇终极指南在Windows上免费使用Switch Joy-Con控制器的完整教程创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考