PaddleSpeech 语音段抽象 SpeechSegment 详解：音频与转写文本的联合数据载体

PaddleSpeech 语音段抽象 SpeechSegment 详解音频与转写文本的联合数据载体【免费下载链接】PaddleSpeechEasy-to-use Speech Toolkit including Self-Supervised Learning model, SOTA/Streaming ASR with punctuation, Streaming TTS with text frontend, Speaker Verification System, End-to-End Speech Translation and Keyword Spotting. Won NAACL2022 Best Demo Award.项目地址: https://gitcode.com/gh_mirrors/pa/PaddleSpeech导读SpeechSegment是 PaddleSpeech 中paddlespeech.s2t.frontend.speech模块的核心类它在音频数据段AudioSegment之上附加了转写文本transcript及对应的 token / token id从而让一段音频 其标注文本作为一个整体在 ASR 数据管线中流转。本文以 docs/source/api/paddlespeech.s2t.frontend.speech.rst 对应的 API 文档为纲结合 speech.py 源码及前端特征提取、数据增强、批量组织等模块完整讲解SpeechSegment的构造方式、属性、运算能力及其在训练/推理管线中的实际用法。一、SpeechSegment 是什么音频数据段的文本扩展在语音识别ASR任务中一条训练样本天然由两部分组成一段波形音频和一句标注文本。PaddleSpeech 的前端frontend模块通过两个层次来建模这种数据AudioSegment定义在 audio.py仅承载单声道音频采样点与采样率负责音频的加载、切片、重采样、增益、加噪等底层运算SpeechSegment定义在 speech.py继承自AudioSegment在音频之上叠加转写文本transcript、token 列表和 token id 列表是语音 文本的联合数据段抽象。从源码看SpeechSegment的类注释明确写着Speech segment abstraction, a subclass of AudioSegment, with an additional transcript即它唯一的增量就是转录信息。构造时通过调用父类AudioSegment.__init__(self, samples, sample_rate)完成音频部分初始化同时保存_transcript、_tokens、_token_ids三个私有字段。这意味着所有AudioSegment的能力时长、RMS、重采样、切片、拼接等在SpeechSegment上全部可用额外再获得文本维度。二、构造参数与三个核心属性SpeechSegment的构造函数签名如下对应 speech.pySpeechSegment(samples, sample_rate, transcript, tokensNone, token_idsNone)各参数含义参数类型说明samplesndarray.float32音频采样点形状为[num_samples x num_channels]构造时内部统一转换为 float32sample_rateint音频采样率Hztranscriptstr该段语音对应的转写文本tokensList[str]可选文本的 token 序列默认Nonetoken_idsList[int]可选文本的 token id 序列默认None源码中特别注释must inittokenswithtoken_idsat the same time即tokens与token_ids必须成对提供否则has_token属性会返回False。三个只读属性transcript返回原始转写文本字符串tokens返回文本 token 列表List[str]token_ids返回文本 token id 列表List[int]has_token仅当_tokens与_token_ids同时非空时才返回True是判断该段是否已预分词的重要开关。三、六种构造方式从文件、字节流、PCM 到静音段SpeechSegment提供了丰富的类方法classmethod用于从不同数据源构建实例每种都对应一种实际应用场景。1.from_file(filepath, transcript, tokensNone, token_idsNone, infosNone)从音频文件加载并绑定转写文本是训练数据管线中最常用的入口。内部调用AudioSegment.from_file完成音频解码再组装为SpeechSegment。infos参数支持传入TarLocalDatatar2obj与tar2infos用于直接读取 tar 包内的音频这在超大规模数据集如 WenetSpeech打包场景中可避免逐个解包文件。2.from_bytes(bytes, transcript, tokensNone, token_idsNone)从内存中的字节串创建语音段内部通过AudioSegment.from_bytes用soundfile解码io.BytesIO包装的数据。适用于网络下载、数据库读出的原始音频字节。3.from_pcm(samples, sample_rate, transcript, tokensNone, token_idsNone)直接以 PCM 采样点数组构造源码注释明确其用于online 模式——在流式/在线识别中音频以帧为单位持续到达此时不适合走文件 IO而是直接传入 numpy 数组。4.slice_from_file(filepath, transcript, tokensNone, token_idsNone, startNone, endNone)按时间段切片加载不必把整个音频读入内存源码注释without having to load the entire file into the memory which can be incredibly wasteful。start/end的单位是秒缺省时分别表示从开头读和读到文件末尾负值表示从文件尾部回绕如start-5表示最后 5 秒start end、越界等情况会抛出ValueError。该接口在长音频按句切分训练样本、或按 VAD 结果抽取片段时非常实用。5.concatenate(*segments)将任意多个SpeechSegment首尾拼接音频采样点与文本同时拼接采样点通过np.concatenate合并transcript以字符串追加方式合并token 与 token id 以列表追加方式合并。拼接时有严格的约束不允许拼接空列表抛ValueError所有段的采样率必须一致否则抛ValueError只允许拼接同类型实例否则抛TypeError。6.make_silence(duration, sample_rate)生成指定时长、采样率的静音语音段文本自动为空字符串。常用于数据增强中的静音填充或对齐工具。四、相等性比较音频与文本的双重判定SpeechSegment重写了__eq__/__ne__其相等判定比AudioSegment更严格判定顺序为speech.py先调用父类AudioSegment.__eq__要求采样率、采样点形状与采样点数值完全一致再比较transcript字符串是否相等若双方has_token都为真则进一步比较tokens与token_ids是否逐一相等。注意第 3 步只在两侧都携带 token 时才比较若一侧有 token 另一侧没有则忽略 token 差异——这是与AudioSegment判等的关键行为差异在编写数据去重、缓存命中判断时需格外留意。五、在特征提取管线中的角色SpeechFeaturizer 的输入SpeechSegment是整个语音前端特征提取的输入标准。SpeechFeaturizer见 speech_featurizer.py同时持有AudioFeaturizer与TextFeaturizer两个子提取器其featurize(speech_segment, keep_transcription_text)方法就是围绕SpeechSegment设计的spec_feature self.audio_feature.featurize(speech_segment) if keep_transcription_text: return spec_feature, speech_segment.transcript if speech_segment.has_token: text_ids speech_segment.token_ids # 直接复用预计算的 token ids else: text_ids self.text_feature.featurize(speech_segment.transcript) # 现场分词 return spec_feature, text_ids从这段源码可以清晰看到has_token/token_ids的实战价值当SpeechSegment已携带 token ids 时特征提取会直接复用跳过重复分词避免同一文本在每次 epoch 被反复 tokenize。音频侧AudioFeaturizer.featurizeaudio_featurizer.py的处理流水线同样作用于AudioSegment | SpeechSegment若段采样率与target_sample_rate默认 16000不一致先做重采样allow_downsampling/allow_upsampling控制是否允许若use_dB_normalizationTrue按target_dB默认 -20 dB做 RMS 归一化按spectrum_type提取特征支持线性谱linear、MFCC、FBankfbank可选 delta / delta-delta 拼接。六、在数据加载与批量组织中的调用链在 collator.py 中SpeechSegment.from_file是音频文件 转写文本 → 训练样本的关键桥梁对应process_utterance方法见该文件第 158-165 行附近speech_segment SpeechSegment.from_file(audio_file, transcript, infosself._local_data) spectrum, transcript_part self._speech_featurizer.featurize( speech_segment, self.keep_transcription_text)其中infosself._local_data即前面提到的 tar 数据读取支持keep_transcription_textTrue时推理/评测模式直接输出原始文本False时训练模式输出 token id 序列。翻译任务ST的 collator 还通过text_featurize(text, keep_transcription_text)对翻译文本单独做特征化文本侧逻辑与SpeechSegment的属性设计保持一致的语义。七、在数据增强中的使用面向语音段的扰动算子paddlespeech/s2t/frontend/augmentor目录下的一系列增强算子都以SpeechSegment为处理对象进一步印证了该类在前端管线中的基础地位。例如speed_perturb.py变速扰动直接调用AudioSegment继承来的change_speedshift_perturb.py时间平移调用shiftvolume_perturb.py音量扰动调用gain_dbnoise_perturb.py 与 impulse_response.py加噪与冲激响应卷积。这些算子几乎不关心文本内容但因为SpeechSegment是AudioSegment的子类它们可以对携带标注的语音段就地做音频变换而不丢失文本信息——这正是继承设计带来的管线收益。由源码结构可以推断把增强设计为直接操作AudioSegment兼容的类型使得同一套增强逻辑既能处理纯音频也能处理带文本的语音段。八、一个完整的端到端使用示例综合以上 API一个典型的加载音频 → 构造语音段 → 提取特征流程如下import numpy as np from paddlespeech.s2t.frontend.speech import SpeechSegment from paddlespeech.s2t.frontend.featurizer.speech_featurizer import SpeechFeaturizer # 1. 从文件构造语音段训练样本音频 转写文本 seg SpeechSegment.from_file( data/aishell/wav/train/xxx.wav, transcript今天天气怎么样, tokens[今, 天, 天, 气, 怎, 么, 样], token_ids[10, 20, 20, 30, 40, 50, 60], ) print(seg.transcript) # 今天天气怎么样 print(seg.tokens) # [今, 天, 天, 气, 怎, 么, 样] print(seg.token_ids) # [10, 20, 20, 30, 40, 50, 60] print(seg.has_token) # True print(seg.duration) # 从 AudioSegment 继承的时长秒 print(seg.sample_rate) # 从 AudioSegment 继承的采样率 # 2. 构造语音特征提取器16k、20ms 窗、10ms 帧移的线性谱 featurizer SpeechFeaturizer( unit_typechar, vocab_filepathdata/vocab.txt, spectrum_typelinear, feat_dimNone, window_ms20.0, stride_ms10.0, target_sample_rate16000, use_dB_normalizationTrue, target_dB-20, ) # 3. 训练模式输出 (声学特征, token ids)推理模式keep_transcription_textTrue 输出原始文本 spec, text_ids featurizer.featurize(seg, keep_transcription_textFalse) print(spec.shape) # (时间帧数, 161)161 20ms*16k/2 1 print(text_ids) # [10, 20, 20, 30, 40, 50, 60] # 4. 在线模式直接用 PCM 采样点构造 pcm np.random.randn(16000).astype(float32) # 1 秒 16k 采样 online_seg SpeechSegment.from_pcm(pcm, 16000, transcript) # 5. 拼接两个语音段音频与文本同时拼接 seg2 SpeechSegment.make_silence(duration0.5, sample_rate16000) merged SpeechSegment.concatenate(seg, seg2) print(merged.transcript) # 今天天气怎么样静音段文本为空字符串九、API 文档定位与阅读指引SpeechSegment的正式 API 文档入口即关联文档 docs/source/api/paddlespeech.s2t.frontend.speech.rst该文件通过 Sphinx 的automodule指令自动生成paddlespeech.s2t.frontend.speech模块的成员文档:members:展开全部类与属性、:show-inheritance:显示继承关系最终呈现的内容即本文所述的SpeechSegment类。如需继续深入建议按以下路径阅读源码父类能力paddlespeech/s2t/frontend/audio.py ——AudioSegment的完整音频运算集特征提取消费方paddlespeech/s2t/frontend/featurizer/speech_featurizer.py、paddlespeech/s2t/frontend/featurizer/audio_featurizer.py、paddlespeech/s2t/frontend/featurizer/text_featurizer.py数据加载消费方paddlespeech/s2t/io/collator.py ——process_utterance中SpeechSegment.from_file的实际调用数据增强操作方paddlespeech/s2t/frontend/augmentor/ 目录下的各扰动算子。小结SpeechSegment虽然只是frontend.speech模块中的一个类却是 PaddleSpeech ASR 前端数据模型的基石它把波形 文本 预分词结果封装为单一对象向上支撑SpeechFeaturizer的声学/文本特征联合提取向下复用AudioSegment的全部音频运算能力同时兼容在线 PCM 输入与 tar 打包数据读取。理解它的构造方式、判等规则与has_token语义是掌握 PaddleSpeech 数据管线、自行编写数据加载器或定制增强算子的第一步。【免费下载链接】PaddleSpeechEasy-to-use Speech Toolkit including Self-Supervised Learning model, SOTA/Streaming ASR with punctuation, Streaming TTS with text frontend, Speaker Verification System, End-to-End Speech Translation and Keyword Spotting. Won NAACL2022 Best Demo Award.项目地址: https://gitcode.com/gh_mirrors/pa/PaddleSpeech创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考