PaddleSpeech 声纹识别（Speaker Verification）实战：从音频中提取说话人嵌入并进行相似度打分

人工智能语音音频【免费下载链接】PaddleSpeechEasy-to-use Speech Toolkit including Self-Supervised Learning model, SOTA/Streaming ASR with punctuation, Streaming TTS with text frontend, Speaker Verification System, End-to-End Speech Translation and Keyword Spotting. Won NAACL2022 Best Demo Award.项目地址https://gitcode.com/gh_mirrors/pa/PaddleSpeech点击查看免费下载声纹识别Speaker Verification是指从一段语音中自动提取说话人特征Speaker Embedding的技术本指南基于 PaddleSpeech 提供的vector任务讲解如何用一条命令行或几行 Python 代码完成说话人嵌入提取spk与两段语音的相似度打分score。读完本文你将掌握 PaddleSpeech 声纹识别的完整使用流程、全部 CLI 参数、预训练模型体系ECAPA-TDNN以及底层源码调用链可直接用于说话人确认、声纹检索、语音日志聚类等实战场景。一、声纹识别简介与 Demo 定位说话人识别分为两类任务说话人确认Speaker Verification1:1 比对与说话人辨认Speaker Identification1:N 检索其共同基础都是把一段语音编码为一个固定维度的说话人嵌入向量Speaker Embedding。该嵌入能够刻画说话人的声纹特质同一说话人的嵌入在向量空间中彼此接近不同说话人的嵌入彼此远离。本仓库 demos/speaker_verification 中的 Demo 正是围绕这一核心思想设计给定一个 WAV 音频文件通过PaddleSpeech提取其说话人嵌入并且支持对两段音频计算相似度得分。整个流程既可以由单条命令完成也可以在 Python 中用寥寥数行代码完成。Demo 源码对应的执行器为 paddlespeech/cli/vector/infer.py 中的VectorExecutorCLI 命令注册于 paddlespeech/cli/base_commands.pyvector命令对应VectorExecutor描述为 Speech to vector embedding infer command.。二、环境准备安装与输入音频要求1. 安装 PaddleSpeech使用前需要安装 PaddleSpeech官方提供 easy / medium / hard 三种安装方式从最简单的 pip 安装到源码编译一应俱全具体请参阅仓库内的安装文档英文安装文档 与 中文安装文档。安装完成后确认paddlespeech命令行工具可用即可继续。2. 准备输入音频本 Demo 对输入有明确约束输入必须是WAV 文件.wav输入音频的采样率必须与模型采样率一致。当前预训练模型为 16k 采样率因此输入应为 16k 采样率的 WAV。Demo 提供了两个官方示例音频可直接下载用于体验# 该音频的内容是数字串 85236145389 wget -c https://paddlespeech.cdn.bcebos.com/vector/audio/85236145389.wav wget -c https://paddlespeech.cdn.bcebos.com/vector/audio/123456789.wav从源码看VectorExecutor._check()paddlespeech/cli/vector/infer.py会在推理前校验采样率仅接受 16000 与 8000 两种取值当音频实际采样率与模型不一致时程序会交互式询问是否重采样到目标采样率若不想交互可加-y参数直接确认若文件无法被soundfile读取则会提示使用sox将其转换为 16k/16bit/单声道 WAV例如# 采样率 16k 的转换示例 sox input_audio.xx --rate 16k --bits 16 --channels 1 output_audio.wav # 采样率 8k 的转换示例 sox input_audio.xx --rate 8k --bits 16 --channels 1 output_audio.wav三、命令行使用单条命令完成声纹识别1.spk任务提取说话人嵌入spkspeaker embedding 的缩写任务用于从音频中提取说话人嵌入支持三种输入方式单个音频文件、job 文件批量、标准输入管道。# 方式一直接指定单个音频文件 paddlespeech vector --task spk --input 85236145389.wav # 方式二job 文件批量处理每行格式id 音频路径 echo -e demo1 85236145389.wav vec.job paddlespeech vector --task spk --input vec.job # 方式三通过标准输入管道传入每行格式id 音频路径 echo -e demo2 85236145389.wav \n demo3 85236145389.wav | paddlespeech vector --task spk2.score任务两段语音相似度打分score任务用于计算两段语音的说话人嵌入相似度得分。命令行输入格式为“注册音频路径 测试音频路径”同样支持单条字符串、job 文件与管道三种方式# 方式一直接传入两个音频路径空格分隔 paddlespeech vector --task score --input ./85236145389.wav ./123456789.wav # 方式二job 文件每行格式id enroll_wav test_wav echo -e demo4 85236145389.wav 85236145389.wav \n demo5 85236145389.wav 123456789.wav vec.job paddlespeech vector --task score --input vec.job从 VectorExecutor.execute() 的实现可以确认score任务的内部逻辑每行输入必须恰好包含两个音频路径程序会先分别对两段音频提取嵌入self(enroll_audio, ...)与self(test_audio, ...)再调用get_embeddings_score(enroll_embedding, test_embedding)计算余弦相似度得分。如果输入行中音频数量不是两个程序会报错并退出。3. 输出说明spk任务的输出是一个固定维度的嵌入向量默认模型输出 192 维示例如下此处省略了中间部分数值[ -1.3251206 7.8606825 -4.620626 0.3000721 2.2648535 ... -4.070415 -6.831437 ]score任务则输出一个标量得分数值越接近 1 表示两段语音越可能来自同一说话人demo4 0.9999... # 同一音频自比得分接近满分 demo5 0.4533... # 不同说话人得分较低4. CLI 完整参数说明执行paddlespeech vector --help可查看全部参数。下表依据 infer.py 中的 argparse 定义整理参数是否必填默认值说明--input必填无用于识别的音频文件WAV 路径、job 文件路径或通过 stdin 传入--task必填spk指定vector处理的具体任务可选spk提取嵌入或score相似度打分--model否ecapatdnn_voxceleb12声纹任务模型类型可选项由预训练模型列表动态生成--sample_rate否16000模型采样率当前仅支持16000choices 限定为[16000]--config否None声纹任务的 YAML 配置文件为None时使用预训练模型自带配置--ckpt_path否None模型参数文件.pdparams为None时自动下载预训练模型--device否paddle.get_device()执行推理的设备如cpu、gpu:0-y/--yes否False免交互确认设置后默认接受程序请求包括自动重采样-d/--job_dump_result否Falsejob 输入时把结果落盘为*.job.done文件-v/--verbose否False提高当前任务的日志详细程度补充说明--model的可选项并非硬编码而是由self.task_resource.pretrained_models.keys()动态生成infer.py L42-L50。也可以通过通用统计命令查看全部声纹预训练模型paddlespeech stats --task vector该命令由 paddlespeech/cli/base_commands.py 中的StatsCommand实现vector任务的模型命名格式为“Model-Sample Rate”。5. 命令行执行流水线源码级VectorExecutor.execute()的完整流程分为五个阶段infer.py L103-L200解析参数解析命令行参数读取model、sample_rate、config、ckpt_path、device、yes等配置日志未指定-v时关闭任务内部 logger 的详细输出读取输入源调用基类BaseExecutor.get_input_source()paddlespeech/cli/executor.py——若--input是.job/.txt/.scp文件则按 job 文件解析每行第一列为 id其余为内容若为None则从 stdin 读取否则视为单个音频文件逐条处理遍历输入字典spk任务直接提取嵌入score任务先分别提取两段嵌入再计算得分单条失败不影响其他条目最终返回是否有异常的标志输出结果调用process_task_results()打印结果若指定-d且为 job 输入则同时将结果写入输入文件.done。四、Python API几行代码集成声纹能力除了命令行PaddleSpeech 还提供了面向 Python 的VectorExecutorAPI便于嵌入到自己的应用流程中。以下代码完整继承了 Demo 文档中的用法demos/speaker_verification/README.mdimport paddle from paddlespeech.cli.vector import VectorExecutor vector_executor VectorExecutor() # 提取“注册音频”的说话人嵌入 audio_emb vector_executor( modelecapatdnn_voxceleb12, sample_rate16000, configNone, # 将 config 与 ckpt_path 设为 None 以使用预训练模型 ckpt_pathNone, audio_file./85236145389.wav, devicepaddle.get_device()) print(Audio embedding Result: \n{}.format(audio_emb)) # 提取“测试音频”的说话人嵌入 test_emb vector_executor( modelecapatdnn_voxceleb12, sample_rate16000, configNone, # 将 config 与 ckpt_path 设为 None 以使用预训练模型 ckpt_pathNone, audio_file./123456789.wav, devicepaddle.get_device()) print(Test embedding Result: \n{}.format(test_emb)) # 计算两段嵌入的相似度得分 score vector_executor.get_embeddings_score(audio_emb, test_emb) print(fEmbeddings Score: {score})Python API 的调用链与命令行完全一致。VectorExecutor.__call__()infer.py L245-L290内部依次执行格式检查_check校验音频文件存在性与采样率匹配详见上文设备设置paddle.device.set_device(device)模型初始化_init_from_path若config/ckpt_path为None则从预训练模型列表下载对应模型tag 形如ecapatdnn_voxceleb12-16k自动拼接cfg_path与ckpt_path .pdparams否则从本地磁盘加载用户自备的配置与参数。随后通过动态导入机制实例化骨干网络model_name model_type[:model_type.rindex(_)]得到ecapatdnn经 paddlespeech/resource/model_alias.py 映射到paddlespeech.vector.models.ecapa_tdnn:EcapaTdnn再用 SpeakerIdetification 包装最后paddle.load载入参数并eval()预处理preprocesssoundfile加载波形 →melspectrogram提取 FBank 特征n_mels、window_size、hop_size等参数来自配置文件→ 转为 Tensor 并unsqueeze(0)增加 batch 维 → 调用 feature_normalize 做均值归一化mean_normTrue, std_normFalse推理infer在paddle.no_grad()下执行self.model.backbone(feats, lengths).squeeze().numpy()得到形状为(emb_size,)的 numpy 嵌入向量infer.py L370-L391后处理postprocess直接返回嵌入向量。相似度打分get_embeddings_score()infer.py L225-L243底层使用paddle.nn.CosineSimilarity(axis0)计算两个嵌入向量间的余弦相似度得分越高表示两段语音越可能出自同一说话人可直接用于声纹确认或阈值判定。五、预训练模型与 ECAPA-TDNN 原理1. 预训练模型PaddleSpeech 官方发布了一个可直接被命令行与 Python API 使用的声纹预训练模型模型采样率ecapatdnn_voxceleb1216k其注册信息位于 paddlespeech/resource/pretrained_models.pytag 为ecapatdnn_voxceleb12-16k包含下载 URL模型包为sv0_ecapa_tdnn_voxceleb12_ckpt_0_2_0.tar.gz、MD5 校验值、cfg_pathconf/model.yaml与ckpt_pathmodel/model.pdparams。模型命名遵循 “Model-Sample Rate” 格式见 base_commands.py 中 model_name_format。2. ECAPA-TDNN 骨干网络默认模型ecapatdnn_voxceleb12的骨干网络是 ECAPA-TDNNEmphasized Channel Attention, Propagation and Aggregation in TDNN Based Speaker Verification其 Paddle 实现位于 paddlespeech/vector/models/ecapa_tdnn.py。从源码结构看EcapaTdnn网络由以下模块构成初始 TDNN 层TDNNBlock一维卷积 ReLU BatchNormkernel_size5三个 SE-Res2Net 块SERes2NetBlockRes2Net 多尺度卷积 Squeeze-and-Excitation 通道注意力通道数均为 512膨胀系数分别为 2、3、4res2net_scale8多层特征聚合MFATDNNBlock将各层特征拼接后聚合注意力统计池化ASPAttentiveStatisticsPooling输出均值与标准差拼接后的统计量含全局上下文最终线性变换Conv1d映射到说话人嵌入维度lin_neurons192。默认超参数中嵌入维度lin_neurons192这正是上文输出向量长度为 192 的原因。整体推理流程为FBank 特征 → ECAPA-TDNN 骨干 → 192 维说话人嵌入 → 余弦相似度打分。六、进阶使用与扩展1. 批量处理与结果落盘job 文件每行格式为id 内容spk任务内容为单个音频路径score任务内容为两个空格分隔的音频路径支持.job、.txt、.scp后缀判定逻辑见 executor.py L163-L175。批量场景下建议配合-d参数将每个 id 的结果写入*.job.done文件方便后续程序读取。2. 服务化部署声纹能力同样可以通过 PaddleSpeech 的服务端框架暴露为 RESTful/WebSocket 服务服务端声纹应用配置示例见 paddlespeech/server/conf/vector_application.yaml默认model_type: ecapatdnn_voxceleb12完整服务端说明可参考 paddlespeech/server 目录。3. 训练与更多资源如果你希望在自己的数据集上重新训练声纹模型仓库提供了 ECAPA-TDNN 的完整训练/测试/嵌入提取脚本paddlespeech/vector/exps/ecapa_tdnn以及基于 VoxCeleb 数据集的完整训练示例examples/voxceleb/sv0。此外paddlespeech/vector子包中还包含声纹聚类paddlespeech/vector/cluster如 PLDA、说话人分离 diarization与声纹检索等扩展模块可作为深入研究的起点。总结本文以 demos/speaker_verification 为纲完整讲解了 PaddleSpeech 声纹识别的安装准备、命令行与 Python API 两种使用方式、全部参数含义、ECAPA-TDNN 模型原理及底层调用链。掌握这些内容后你即可快速为自己的应用接入“说话人嵌入提取”与“声纹相似度比对”能力进一步可结合声纹聚类、服务化部署等手段构建完整的声纹应用系统。赞分享人工智能语音音频【免费下载链接】PaddleSpeechEasy-to-use Speech Toolkit including Self-Supervised Learning model, SOTA/Streaming ASR with punctuation, Streaming TTS with text frontend, Speaker Verification System, End-to-End Speech Translation and Keyword Spotting. Won NAACL2022 Best Demo Award.项目地址https://gitcode.com/gh_mirrors/pa/PaddleSpeech点击查看免费下载相关推荐DeepSeek-Reasonix 评测实战读懂 eventlog 追加式事件日志包从 README 到验证闭环DeepSeek Reasonix 评测实战读懂 eventlog 追加式事件日志包从 README 到验证闭环 本指南围绕 DeepSeek Reason人工智能语音音频NLP媒体生成Buzz 三条发布通道实战指南桌面端、Relay 与移动端的不可变发布流水线Buzz 三条发布通道实战指南桌面端、Relay 与移动端的不可变发布流水线 本篇指南以 RELEASING.md https://link.gitcode.人工智能语音音频NLP媒体生成C3P0源码解析从BasicResourcePool看连接池的实现原理C3P0源码解析从BasicResourcePool看连接池的实现原理 C3P0是一个成熟的高并发JDBC连接池库支持PreparedStatements的创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考