PaddleSpeech 流式 TTS 在线引擎（Python 动态图后端）源码级解析与实战指南

人工智能语音音频【免费下载链接】PaddleSpeechEasy-to-use Speech Toolkit including Self-Supervised Learning model, SOTA/Streaming ASR with punctuation, Streaming TTS with text frontend, Speaker Verification System, End-to-End Speech Translation and Keyword Spotting. Won NAACL2022 Best Demo Award.项目地址https://gitcode.com/gh_mirrors/pa/PaddleSpeech点击查看免费下载PaddleSpeech 的流式语音合成Streaming TTS服务在 docs/source/api/paddlespeech.server.engine.tts.online.python.rst 中对外公开了paddlespeech.server.engine.tts.online.python包该包是服务端 TTS 引擎的Python 动态图推理后端对应引擎类型tts_online。本文以该 API 文档指向的模块为骨架结合其底层实现 tts_engine.py、服务配置 tts_online_application.yaml 与官方示例 streaming_tts_server完整讲解流式 TTS 引擎的初始化流程、分块chunk推理原理、pad/depad 机制、配置项含义以及 HTTP/WebSocket 服务接入方法。读完本文你将能够从源码层面理解流式 TTS 的端到端调用链并独立部署、配置和调用 PaddleSpeech 流式语音合成服务。1. 模块定位从 API 文档入口看在线 TTS 引擎docs/source/api/paddlespeech.server.engine.tts.online.python.rst是一份 Sphinxautomodule风格的 API 文档骨架它声明了三个关键信息模块名paddlespeech.server.engine.tts.online.python渲染方式:members:、:undoc-members:、:show-inheritance:即自动提取模块内所有公开类、方法与继承关系子模块唯一的子模块paddlespeech.server.engine.tts.online.python.tts_engine。也就是说该包的核心内容全部集中在 tts_engine.py 这一个文件中它导出了__all__ [TTSEngine, PaddleTTSConnectionHandler]两个公开符号。从 online 包索引 可以看到paddlespeech.server.engine.tts.online之下还存在一个onnx子包二者分别对应配置中的引擎类型引擎类型推理后端模型名称后缀说明tts_onlinePaddle 动态图本包fastspeech2_csmsc/fastspeech2_cnndecoder_csmscPython 动态图推理tts_online-onnxONNX Runtimefastspeech2_csmsc_onnx/fastspeech2_cnndecoder_csmsc_onnx推理速度更快本文聚焦于tts_online即 Python 动态图后端。该引擎类层次上继承自 BaseEngineBaseEngine使用Singleton元类保证全局只有一个引擎实例并定义了init()、run()、postprocess()三个生命周期方法。2. 引擎内部三大组件与整体调用链从源码结构看tts_engine.py内部由三个类协同工作TTSServerExecutor继承自paddlespeech.cli.tts.infer.TTSExecutor负责模型文件的解析、下载与加载将 AM声学模型、Vocoder声码器、前端frontend初始化为可推理状态TTSEngine继承自BaseEngine服务级引擎负责读取 yaml 配置、校验模型组合与流式参数、设置推理设备并持有唯一的TTSServerExecutorPaddleTTSConnectionHandler连接处理器负责对每条合成请求执行流式分块推理、去 paddepadding、float32 转 PCM、base64 编码并以生成器generator的方式逐块产出音频。一次流式合成的调用链可以概括为WebSocket/HTTP 请求 │ ▼ paddlespeech/server/ws/tts_api.py (按 engine_type 选择 handler) │ ▼ PaddleTTSConnectionHandler.run(sentence, spk_id) │ ▼ PaddleTTSConnectionHandler.infer(...) -- 前端文本转音素 - AM 推理 - Mel 分块 - Vocoder 推理 │ ▼ float2pcm - base64 编码逐块 yield3. 引擎初始化模型解析、下载与加载TTSServerExecutorTTSServerExecutor.__init__中创建了CommonTaskResource(tasktts, model_formatdynamic, inference_modeonline)即按动态图格式、在线推理模式来定位 TTS 模型资源。3.1_init_from_pathAM 与 Vocoder 的资源解析_init_from_path是模型初始化的核心入口签名如下def _init_from_path( self, am: str fastspeech2_csmsc, am_configNone, am_ckptNone, am_statNone, phones_dictNone, tones_dictNone, speaker_dictNone, voc: str mb_melgan_csmsc, voc_configNone, voc_ckptNone, voc_statNone, lang: str zh):其关键逻辑包括预训练模型自动下载当am_ckpt、am_config、am_stat、phones_dict任一为空时use_pretrained_am True引擎会以am - lang如fastspeech2_csmsc-zh作为model_tag调用set_task_model(model_type0)自动下载官方预训练模型并从资源目录解析出config、ckpt、speech_stats、phones_dict等文件的真实路径Vocoder 同理model_type1。如果用户显式指定了所有路径则skip_downloadTrue直接使用绝对路径加载本地模型。词汇表构建读取phones_dict音素字典得到vocab_size用于构造 AM 模型输入维度。前端选择lang zh时使用 zh_frontend.Frontend支持tone_vocab_path声调字典lang en时使用 en_frontend.English。AM 名称归一化self.am_name am[:am.rindex(_)]即fastspeech2_csmsc归一为fastspeech2、fastspeech2_cnndecoder_csmsc归一为fastspeech2_cnndecoder随后通过get_model_class动态获取模型类。3.2get_model_info加载模型与归一化统计量get_model_info(field, model_name, ckpt, stat)按field区分加载逻辑field am以idimself.vocab_size、odimself.am_config.n_mels构造声学模型加载paddle.load(ckpt)[main_params]field voc以**self.voc_config[generator_params]构造声码器加载paddle.load(ckpt)[generator_params]并调用model.remove_weight_norm()移除权重归一化推理加速二者都会读取statmean/std 统计量文件并转为paddle.Tensor。加载完成后AM 会包一层ZScore归一化器并套上am_name_inference推理封装类如fastspeech2_inferenceVocoder 同样以ZScorevoc_name_inference封装二者均置为eval()模式。3.3 采样率一致性校验TTSEngine.init()中有一个容易被忽略但重要的断言assert self.executor.am_config.fs self.executor.voc_config.fs, \ The sample rate of AM and Vocoder model are different, please check model. self.sample_rate self.executor.am_config.fs流式 TTS 要求 AM 与 Vocoder 的采样率一致默认均为 24000 Hz合成音频的采样率最终取自 AM 配置。同时在初始化完成后voc_upsample self.executor.voc_config.n_shift默认 300即声码器的 hop 长度它决定 Mel 帧数到音频采样点数的放大倍数。4. TTSEngine.init配置校验与流式分块参数TTSEngine.init(config)是服务启动时的入口除了模型初始化外还做了以下硬性校验对应 tts_online_application.yaml 中tts_online一节AM 模型只允许fastspeech2_csmsc或fastspeech2_cnndecoder_csmsc后者支持流式 AM 推理Vocoder只允许hifigan_csmsc或mb_melgan_csmsc二者均支持流式推理voc_block 0且voc_pad 0device参数配置中可写cpu或gpu:id未配置时回退到paddle.get_device()随后paddle.set_device(device)生效设备设置失败时记录 error 并返回False。初始化成功后引擎从配置中取出四个流式关键参数self.am_block self.config.am_block self.am_pad self.config.am_pad self.voc_block self.config.voc_block self.voc_pad self.config.voc_pad self.am_upsample 1 self.voc_upsample self.executor.voc_config.n_shift参数含义默认值说明am_blockAM 推理 chunk 的有效帧数72仅对fastspeech2_cnndecoder生效am_padchunk 前后各叠加的帧数用于消除流式误差12设为 12 时流式与非流式合成结果一致voc_blockVocoder 推理 chunk 的有效帧数36—voc_padchunk 前后各叠加的帧数14见下文按模型区分的最小值am_upsampleAM 帧放大倍数1—voc_upsampleMel 帧到采样点的放大倍数300取自 voc 配置n_shift5. 流式推理核心PaddleTTSConnectionHandlerPaddleTTSConnectionHandler是流式合成的心脏。它的infer()方法使用paddle.no_grad()装饰以生成器方式逐块产出sub_wavnumpy 数组。5.1 前端处理与计时对zh文本调用executor.frontend.get_input_ids(text, merge_sentencesFalse, get_tone_idsFalse)得到phone_ids音素 id 序列对en文本走English前端。随后记录frontend_time并针对每一条音素序列执行 AM Vocoder 推理。5.2 模式一fastspeech2_csmscAM 一次性 Vocoder 流式mel self.executor.am_inference(part_phone_ids) # AM 一次性产出全部 Mel mel_chunks get_chunks(mel, self.voc_block, self.voc_pad, voc) for i, mel_chunk in enumerate(mel_chunks): sub_wav self.executor.voc_inference(mel_chunk) # 声码器逐块推理 sub_wav self.depadding(sub_wav, voc_chunk_num, i, self.voc_block, self.voc_pad, self.voc_upsample) yield sub_wav这种模式下 AM 不流式只有 Vocoder 按voc_block分块实现首包低延迟的流式听感。5.3 模式二fastspeech2_cnndecoder_csmscAM Vocoder 双流式该模式真正实现了 AM 与 Vocoder 的双重流式先用am_inference.encoder_infer(part_phone_ids)一次性得到 encoder 隐层orig_hs计算 Mel 总长mel_len与 vocoder chunk 数量voc_chunk_num ceil(mel_len / voc_block)用get_chunks(orig_hs, self.am_block, self.am_pad, am)将隐层切块逐块调用decoder(hs)与postnet(...)得到归一化 Mel通过denorm(normalized_mel, am_mu, am_std)见 util.py 中的denorm(data, mean, std) data * std mean反归一化depadding去除每块的前后 pad并np.concatenate累积到mel_streaming当累积的 Mel 帧数足够mel_streaming.shape[0] end时按滑动窗口start:end交给 vocoder 推理并 yield 音频块随后更新start、end滑窗位置。这里start max(0, voc_chunk_id * voc_block - voc_pad)、end min((voc_chunk_id1) * voc_block voc_pad, mel_len)即相邻 vocoder chunk 之间有voc_pad帧的重叠重叠部分在depadding时被裁剪从而避免流式推理在块边界产生音质跳变。5.4 depadding流式去重叠原理depadding(data, chunk_num, chunk_id, block, pad, upsample)的实现按 chunk 位置分三种情况首块chunk_id 0只保留前block * upsample个采样点去掉尾部 pad末块chunk_id chunk_num - 1去掉头部front_pad * upsample个采样点中间块取[front_pad * upsample : (front_pad block) * upsample]同时去掉头、尾 pad。其中front_pad min(chunk_id * block, pad)保证首块之后的重叠量不超过pad。乘以upsample是因为 pad 的单位是 Mel 帧需要放大为采样点数vocoder 阶段upsample voc_upsampleAM 阶段am_upsample 1。与之配套的切块工具是 util.py 中的get_chunks(data, block_size, pad_size, step)它以ceil(data_len / block_size)决定 chunk 数量每块取[i*block - pad, (i1)*block pad]的闭区间含边界step参数决定按哪个维度切分am按data.shape[1]voc按data.shape[0]。5.5 时序指标与 RTFinfer()内部埋点统计了三个关键时序first_am_infer首次 AM 推理耗时从前端结束起算first_voc_infer首次 Vocoder 推理耗时从首次 AM 结束起算first_response_time首包响应时间从前端开始到首段音频产出这是流式 TTS 最核心的体验指标。run()方法完成推理后的后处理与统计wav float2pcm(wav) # float32 - int16 wav_bytes wav.tobytes() # - bytes wav_base64 base64.b64encode(wav_bytes).decode(utf8) yield wav_base64其中float2pcm实现在 audio_process.py将范围 [-1, 1] 的浮点信号缩放到 int16 整数域并裁剪。全部 chunk 产完后run()计算音频总时长duration len(wav_all) / sample_rate并输出日志sentence: ... The durations of audio is: X s first response time: X s final response time: X s RTF: final_response_time / duration Other info: front time, first am infer time, first voc infer timeRTFReal-Time Factor即合成耗时与音频时长之比是评估流式合成性能的关键指标。仓库还提供了 util.py 中的count_engine(logfile)工具可直接解析nohup.out日志批量统计平均首包响应、平均尾包响应、平均时长与整体 RTF。6. 服务配置文件详解tts_online_application.yaml流式 TTS 服务使用 paddlespeech/server/conf/tts_online_application.yaml 作为默认配置demo 目录 demos/streaming_tts_server/conf/tts_online_application.yaml 中也有同款可运行版本。配置分三大部分6.1 SERVER SETTING服务设置host: 0.0.0.0 port: 8092 protocol: http # 可选 [websocket, http] engine_list: [tts_online-onnx] # 可选 [tts_online, tts_online-onnx]protocol服务使用的网络协议目前支持http与websocketengine_list服务包含的引擎列表格式为语音任务_引擎类型流式 TTS 使用tts_onlinePython 动态图或tts_online-onnxONNX Runtime速度更快注意若在容器内可正常启动服务但客户端访问 IP 不可达可将host改为本地实际 IP。6.2 tts_online 引擎配置本包对应部分tts_online: am: fastspeech2_csmsc # 可选 fastspeech2_csmsc / fastspeech2_cnndecoder_csmsc am_config: am_ckpt: am_stat: phones_dict: tones_dict: speaker_dict: spk_id: 0 voc: mb_melgan_csmsc # 可选 mb_melgan_csmsc / hifigan_csmsc voc_config: voc_ckpt: voc_stat: lang: zh device: cpu # 可选 gpu:id 或 cpu am_block: 72 am_pad: 12 voc_block: 36 voc_pad: 14所有模型路径字段am_config、am_ckpt等留空时引擎会自动下载官方预训练模型。am_block/am_pad仅对fastspeech2_cnndecoder_csmsc生效voc_pad的推荐取值与模型相关详见下一节。6.3 pad 参数选取的工程经验根据 demo 文档 与配置文件注释pad 的取值直接影响流式合成音质am_pad 12时流式 AM 合成音频与非流式完全一致mb_melgan_csmscvoc_pad 14时流式与非流式一致最小可设为 7听感正常小于 7 听感异常hifigan_csmscvoc_pad 19时流式与非流式一致设为 14 时听感正常推理速度mb_melgan hifigan音频质量mb_melgan hifigan。仓库中 tts_online_application.yaml 的tts_online-onnx一节还展示了 ONNX 后端的扩展字段am_ckpt为模型列表cnndecoder 时按 [encoder, decoder, postnet] 顺序、am_sess_conf/voc_sess_conf含use_trt、cpu_threads以及voc_upsample须与 voc 配置的n_shift一致。7. 服务部署与客户端调用7.1 服务端启动命令行方式推荐paddlespeech_server start --config_file ./conf/tts_online_application.yamlconfig_file服务配置文件默认./conf/tts_online_application.yamllog_file日志文件默认./log/paddlespeech.log。启动成功后日志会先打印 3 次 warm up 的首包响应时间随后出现Uvicorn running on http://0.0.0.0:8092表明 HTTP 服务已在 8092 端口就绪。若将protocol改为websocket则启动同样的命令即可提供 WebSocket 流式接口。Python API 方式from paddlespeech.server.bin.paddlespeech_server import ServerExecutor server_executor ServerExecutor() server_executor( config_file./conf/tts_online_application.yaml, log_file./log/paddlespeech.log)7.2 HTTP 协议客户端命令行若127.0.0.1不可达替换为实际服务 IPpaddlespeech_client tts_online --server_ip 127.0.0.1 --port 8092 --protocol http --input 您好欢迎使用百度飞桨语音合成服务。 --output output.wav客户端参数一览参数含义默认值server_ip服务端 IP127.0.0.1port服务端口8092protocol服务协议可选 http / websockethttpinput待合成文本必填—spk_id说话人 id多说话人场景0output输出音频路径None 表示不保存Noneplay是否边合成边播放依赖 pyaudioFalsePython API 方式from paddlespeech.server.bin.paddlespeech_client import TTSOnlineClientExecutor executor TTSOnlineClientExecutor() executor( input您好欢迎使用百度飞桨语音合成服务。, server_ip127.0.0.1, port8092, protocolhttp, spk_id0, output./output.wav, playFalse)客户端成功输出示例tts http client start 句子您好欢迎使用百度飞桨语音合成服务。 首包响应0.18863153457641602 s 尾包响应3.1427218914031982 s 音频时长3.825 s RTF: 0.8216266382753459 音频保存至output.wav7.3 WebSocket 协议客户端将配置中protocol改为websocket后重启服务客户端命令只需更换协议参数paddlespeech_client tts_online --server_ip 127.0.0.1 --port 8092 --protocol websocket --input 您好欢迎使用百度飞桨语音合成服务。 --output output.wav7.4 WebSocket 服务端协议流程WebSocket 端点在 tts_api.py 的/paddlespeech/tts/streaming路由中实现协议分三类消息start 信号客户端发送{signal: start}服务端创建PaddleTTSConnectionHandler按tts_engine.engine_type动态导入 python 或 onnx 版本返回{status: 0, signal: server ready, session: uuid}合成请求客户端发送{text: ..., spk_id: 0}服务端调用connection_handler.run(...)并逐块返回{status: 1, audio: base64}合成完毕返回{status: 2, audio: }出错返回{status: -1, audio: }end 信号客户端发送{signal: end}服务端关闭连接并返回{status: 0, signal: connection will be closed}。这就是流式 TTS 能够边合成边推送的协议基础每一段音频约一个voc_block对应的时长独立编码为 base64 后通过 WebSocket 帧即时下发。8. 使用限制与注意事项说话人当前代码只支持单说话人模型spk_id的选择并不生效不支持的能力流式 TTS 不支持更换采样率、变速、变音量等功能模型组合流式引擎仅支持fastspeech2/fastspeech2_cnndecoderAM与hifigan/mb_melganVocoder的组合且 AM 与 Vocoder 采样率必须一致依赖版本官方 demo 推荐使用 paddlepaddle 2.4rc 及以上版本若使用简单模式安装需要自行参考 conf 目录 下的 yaml 文件准备配置设备占用若设置device失败请检查该设备是否已被占用以及 yaml 中device参数格式cpu或gpu:id。9. 进一步阅读流式 TTS 在线引擎实现paddlespeech/server/engine/tts/online/python/tts_engine.pyONNX 版在线引擎对比参考paddlespeech/server/engine/tts/online/onnx/tts_engine.py引擎基类paddlespeech/server/engine/base_engine.py服务配置paddlespeech/server/conf/tts_online_application.yaml分块与统计工具paddlespeech/server/utils/util.pyWebSocket 端点paddlespeech/server/ws/tts_api.py完整部署示例demos/streaming_tts_server/README_cn.md赞分享人工智能语音音频【免费下载链接】PaddleSpeechEasy-to-use Speech Toolkit including Self-Supervised Learning model, SOTA/Streaming ASR with punctuation, Streaming TTS with text frontend, Speaker Verification System, End-to-End Speech Translation and Keyword Spotting. Won NAACL2022 Best Demo Award.项目地址https://gitcode.com/gh_mirrors/pa/PaddleSpeech点击查看免费下载相关推荐PaddleSpeech 在线 ASR 引擎Python 版源码级解析从流式解码到端点检测PaddleSpeech 在线 ASR 引擎Python 版源码级解析从流式解码到端点检测 导读 本文以 paddlespeech.server.engi人工智能语音音频PaddleSpeech 在线流式 TTS 服务引擎tts_engine深度解析从 Python 动态图推理到分块流式合成PaddleSpeech 在线流式 TTS 服务引擎tts_engine深度解析从 Python 动态图推理到分块流式合成 PaddleSpeech 的流人工智能语音音频NLP媒体生成PaddleSpeech 在线 ASR 引擎 Python 实现asr_engine 模块 API 与流式解码源码解析PaddleSpeech 在线 ASR 引擎 Python 实现asr_engine 模块 API 与流式解码源码解析 导读 本文以 PaddleSpeech人工智能语音音频创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考