PaddleSpeech PositionwiseFeedForward 逐位置前馈网络解析：Transformer/Conformer 前馈子层的实现与配置实践

人工智能语音音频【免费下载链接】PaddleSpeechEasy-to-use Speech Toolkit including Self-Supervised Learning model, SOTA/Streaming ASR with punctuation, Streaming TTS with text frontend, Speaker Verification System, End-to-End Speech Translation and Keyword Spotting. Won NAACL2022 Best Demo Award.项目地址https://gitcode.com/gh_mirrors/pa/PaddleSpeech点击查看免费下载本篇文章围绕 PaddleSpeech 中 Transformer 系列模型的核心前馈子层PositionwiseFeedForward逐位置前馈网络展开以 API 文档 paddlespeech.t2s.modules.transformer.positionwise_feed_forward 为纲结合其源码实现、编码器/解码器装配方式与真实配置文件讲清它的数学结构、Paddle 实现细节、在 Transformer/Conformer 中的调用位置以及linear_units、dropout_rate等超参数在实际训练配置中的用法。读完本文你将能准确理解该模块每个参数的作用并能独立在 PaddleSpeech 的 Transformer/Conformer 类模型中定位、解读与调优这一子层。一、模块定位这份 API 文档对应哪个源码文件docs/source/api/paddlespeech.t2s.modules.transformer.positionwise_feed_forward.rst是 Sphinx 的 automodule 引用指令其全部内容由目标模块自动生成paddlespeech.t2s.modules.transformer.positionwise_feed_forward module .. automodule:: paddlespeech.t2s.modules.transformer.positionwise_feed_forward :members: :undoc-members: :show-inheritance:其中:members:表示列出模块全部公开成员:undoc-members:表示无 docstring 的成员也会被列出:show-inheritance:表示展示类的继承关系。因此这份文档实质上是模块 paddlespeech/t2s/modules/transformer/positionwise_feed_forward.py 的 API 索引核心内容是该模块导出的PositionwiseFeedForward类。在 PaddleSpeech 的整体架构中该模块属于paddlespeech/t2sText-to-Speech语音合成子系统的 transformer 模块族。与之并列的还有 attention.py、encoder.py、decoder.py、encoder_layer.py 等共同构成 FastSpeech2、ERNIE-SAT 等 TTS 模型所用的 Transformer 骨干。此外ASR语音识别子系统paddlespeech/s2t/modules/positionwise_feed_forward.py中还有一份源自 Wenet 的扩展版本本文第五节会对比说明。二、类定义与参数说明PositionwiseFeedForward继承自paddle.nn.Layer实现的是 Transformer 论文中标准的位置级position-wise两层全连接网络。与作用于整个序列的注意力不同FFN 对序列中每一个时间步独立施加相同的非线性变换因此被称为逐位置前馈。模块 docstring 给出的完整签名如下class PositionwiseFeedForward(nn.Layer): Positionwise feed forward layer. Args: idim (int): Input dimenstion. hidden_units (int): The number of hidden units. dropout_rate (float): Dropout rate. def __init__(self, idim, hidden_units, dropout_rate, activationpaddle.nn.ReLU()): super().__init__() self.w_1 paddle.nn.Linear(idim, hidden_units, bias_attrTrue) self.w_2 paddle.nn.Linear(hidden_units, idim, bias_attrTrue) self.dropout paddle.nn.Dropout(dropout_rate) self.activation activation各参数含义与默认值如下表参数类型含义典型取值idimint输入维度即注意力维度attention_dim也是最终输出维度256 / 512hidden_unitsint中间隐藏层单元数即配置中的linear_units2048dropout_ratefloat隐藏层激活后的 Dropout 概率0.1activationpaddle.nn.Layer激活函数实例默认paddle.nn.ReLU()ReLU / Swish 等注意三个实现细节两个线性层均显式开启偏置bias_attrTrue与某些实现默认不加偏置的做法不同输出维度强制等于输入维度idim——这是 FFN 能够嵌入残差连接residual connection的前提因为残差要求x FFN(x)形状一致激活函数以实例而非字符串传入允许调用方传入任意paddle.nn.Layer子类如 Swishforward中直接以可调用对象使用。三、forward 数据流解析forward的实现只有一行但完整描述了 FFN 的计算链路def forward(self, x): Forward funciton. return self.w_2(self.dropout(self.activation(self.w_1(x))))展开即为FFN(x) W_2 · Dropout(Activation(W_1 · x b_1)) b_2其中输入x形状为(batch, time, idim)w_1Linear(idim, hidden_units)将每个位置的特征从idim维升维到hidden_units维activation逐元素非线性默认 ReLUdropout对激活后向量施加概率为dropout_rate的随机置零用于缓解过拟合w_2Linear(hidden_units, idim)将特征降维回idim保证输出与输入形状一致。由于两条线性层对时间轴上的每个位置共享同一组参数该子层的参数量为idim * hidden_units hidden_units hidden_units * idim idim即约2 × idim × hidden_units是 Transformer 中参数占比最大的子层之一这也是linear_units被单独暴露为训练超参数的原因。四、在 Transformer 编码器/解码器中的装配位置4.1 编码器侧BaseEncoder.get_positionwise_layer在 paddlespeech/t2s/modules/transformer/encoder.py 中前馈子层由get_positionwise_layer统一工厂方法创建并根据positionwise_layer_type在三种实现间切换def get_positionwise_layer(self, positionwise_layer_type: strlinear, attention_dim: int256, linear_units: int2048, dropout_rate: float0.1, positionwise_conv_kernel_size: int1, activation: nn.Layernn.ReLU()): Define positionwise layer. if positionwise_layer_type linear: positionwise_layer PositionwiseFeedForward positionwise_layer_args (attention_dim, linear_units, dropout_rate, activation) elif positionwise_layer_type conv1d: positionwise_layer MultiLayeredConv1d positionwise_layer_args (attention_dim, linear_units, positionwise_conv_kernel_size, dropout_rate, ) elif positionwise_layer_type conv1d-linear: positionwise_layer Conv1dLinear positionwise_layer_args (attention_dim, linear_units, positionwise_conv_kernel_size, dropout_rate, ) else: raise NotImplementedError(Support only linear or conv1d.) return positionwise_layer, positionwise_layer_args可见positionwise_layer_typelinear时选用的正是本文主角PositionwiseFeedForward实参依次为(attention_dim, linear_units, dropout_rate, activation)与类的(idim, hidden_units, dropout_rate, activation)一一对应另两种可选类型conv1dMultiLayeredConv1d与conv1d-linearConv1dLinear位于 multi_layer_conv.py用 1D 卷积替代全连接positionwise_conv_kernel_size控制卷积核宽度构建出的 layer 与参数随后在BaseEncoder.__init__中通过repeat堆叠成num_blocks个 EncoderLayer每个块内部的结构为LayerNorm → 自注意力 → 残差 → LayerNorm → FFN → 残差。4.2 FFN 在 EncoderLayer 中的残差调用从 encoder_layer.py 可以看到 FFN 与残差、LayerNorm 的组合方式residual x if self.normalize_before: x self.norm2(x) x residual self.dropout(self.feed_forward(x)) if not self.normalize_before: x self.norm2(x)normalize_beforeTrue默认即 Pre-Norm 结构先对输入做norm2归一化再送入feed_forward最后与残差相加normalize_beforeFalsePost-Norm 结构先计算feed_forward(x)并与残差相加再统一归一化无论哪种结构FFN 的输出都以残差形式叠加这也是其输出维度必须等于idim的设计原因。4.3 解码器侧Decoder中的直接实例化在 paddlespeech/t2s/modules/transformer/decoder.py 中DecoderLayer通过repeat构建前馈子层直接实例化num_blocks, lambda lnum: DecoderLayer( attention_dim, decoder_selfattn_layer(*decoder_selfattn_layer_args[lnum]), MultiHeadedAttention(attention_heads, attention_dim, src_attention_dropout_rate), PositionwiseFeedForward(attention_dim, linear_units, dropout_rate), dropout_rate, normalize_before, concat_after, ),解码器的 FFN 与编码器共享同一个类idim同样取attention_dim中间维度取linear_units。在 decoder_layer.py 的 docstring 中feed_forward参数同样标注为可使用PositionwiseFeedForward、MultiLayeredConv1d或Conv1dLinear实例与编码器保持一致。4.4 Conformer 与 ERNIE-SAT 中的复用在 paddlespeech/t2s/modules/transformer/encoder.py 中当encoder_typeconformer时PositionwiseFeedForward的实例会被同时用作 Conformer 的常规前馈与 macaron 前馈macaron_styleTrue时主干两侧各挂一个 FFN即马卡龙结构在 paddlespeech/t2s/models/ernie_sat/ernie_sat.py 中ERNIE-SAT 也通过positionwise_layer_type linear分支复用PositionwiseFeedForward其配置里同时出现了enc_positionwise_layer_type: conv1d与dec_linear_units: 1536等选项见 examples/aishell3/ernie_sat/conf/default.yaml说明同一份 FFN 抽象在不同模型间被广泛复用。五、ASR 侧s2t的扩展版本adaptive_scale 与 init_weights除 TTS 模块外语音识别子系统还维护了一份源自 Wenet 的扩展版PositionwiseFeedForward位于 paddlespeech/s2t/modules/positionwise_feed_forward.py签名如下class PositionwiseFeedForward(nn.Layer): def __init__(self, idim: int, hidden_units: int, dropout_rate: float, activation: nn.Layernn.ReLU(), adaptive_scale: boolFalse, init_weights: boolFalse): ... self.w_1 Linear(idim, hidden_units) self.activation activation self.dropout nn.Dropout(dropout_rate) self.w_2 Linear(hidden_units, idim) self.adaptive_scale adaptive_scale if self.adaptive_scale: ada_scale self.create_parameter([1, 1, idim], ...) self.add_parameter(ada_scale, ada_scale) ada_bias self.create_parameter([1, 1, idim], ...) self.add_parameter(ada_bias, ada_bias) if init_weights: self.init_weights()与 TTS 版本相比新增了两个开关adaptive_scaleTrue在forward入口执行xs ada_scale * xs ada_bias逐位置仿射缩放为 FFN 引入可学习的尺度与偏置Squeezeformer 类模型会用到这一特性init_weightsTrue用Uniform(-idim**-0.5, idim**-0.5)与Uniform(-hidden_units**-0.5, hidden_units**-0.5)分别初始化两个全连接层的参数与偏置提供更可控的初始化分布。在 paddlespeech/s2t/modules/encoder.py 中Squeezeformer 编码器构建 FFN 时传入的就是带扩展参数的元组(encoder_dim, encoder_dim * feed_forward_expansion_factor, feed_forward_dropout_rate, activation, adaptive_scale, init_weights)其中hidden_units由feed_forward_expansion_factor推算。六、配置文件中的对应参数从linear_units到dropout_rate在实际训练/推理中FFN 子层的两个关键超参数都通过配置文件yaml的encoder_conf/decoder_conf暴露。以 examples/aishell/asr1/conf/transformer.yaml 为例encoder_conf: attention_heads: 4 linear_units: 2048 # the number of units of position-wise feed forward num_blocks: 6 dropout_rate: 0.1 positional_dropout_rate: 0.1 attention_dropout_rate: 0.0 input_layer: conv2d normalize_before: true positionwise_layer_type: linear ... decoder_conf: attention_heads: 4 linear_units: 2048 num_blocks: 6 dropout_rate: 0.1 ...对应关系为配置文件键默认值流向 FFN 的形参说明linear_units2048hidden_unitsFFN 中间层维度越大模型容量越大、参数量越高dropout_rate0.1dropout_rateFFN 隐藏层激活后的随机失活概率attention_dim由模型推导256idim输入输出维度通常不在配置中单列positionwise_layer_typelinear工厂分支linear/conv1d/conv1d-linearnormalize_beforetrue残差结构Pre-Norm 或 Post-Normactivation如activation_type: swishreluactivation经get_activation解析为激活层实例在 paddlespeech/t2s/modules/transformer/encoder.py 的BaseEncoder.__init__中这些参数有完整默认值attention_dim256, attention_heads4, linear_units2048, num_blocks6, dropout_rate0.1实际配置值会覆盖默认值并最终流入get_positionwise_layer。调优 FFN 时最直接的杠杆就是增大/减小linear_units容量与dropout_rate正则强度。七、小结PositionwiseFeedForward是 PaddleSpeech 中 Transformer/Conformer 类模型的标准前馈子层以两个带偏置的paddle.nn.Linear为核心配合可配置的激活函数与 Dropout在保持输入输出维度一致的前提下完成逐位置非线性变换并通过残差连接嵌入编码器/解码器块。从源码结构可以推断TTS 侧paddlespeech/t2s与 ASR 侧paddlespeech/s2t各自维护了一份实现前者简洁、面向 FastSpeech2/ERNIE-SAT 等 TTS 骨干后者在 Wenet 基础上扩展了adaptive_scale与init_weights服务于 Conformer/Squeezeformer 等 ASR 编码器。无论哪一侧linear_units与dropout_rate都是配置层面最值得关注的两个超参数。如需继续深入可依次阅读positionwise_feed_forward.pyTTS 侧实现encoder.py 的 get_positionwise_layer 工厂方法encoder_layer.py 中 FFN 的残差调用decoder.py 中解码器 FFN 的实例化positionwise_feed_forward.pyASR 侧扩展实现transformer.yaml 配置文件示例赞分享人工智能语音音频【免费下载链接】PaddleSpeechEasy-to-use Speech Toolkit including Self-Supervised Learning model, SOTA/Streaming ASR with punctuation, Streaming TTS with text frontend, Speaker Verification System, End-to-End Speech Translation and Keyword Spotting. Won NAACL2022 Best Demo Award.项目地址https://gitcode.com/gh_mirrors/pa/PaddleSpeech点击查看免费下载相关推荐前馈网络设计nn-zero-to-heroTransformer中的FFN层实现前馈网络设计nn zero to heroTransformer中的FFN层实现 引言从多层感知机到Transformer的FFN演进 在深度学习的发展历程示例工程深度学习人工智能基于 PyPTO 实现 Transformer 前馈网络FFN模块静态形状与动态 Batch 的完整实践基于 PyPTO 实现 Transformer 前馈网络FFN模块静态形状与动态 Batch 的完整实践 导读 本文以仓库中的 FFN 模块样例 http人工智能编译器模型编译深度学习高性能计算CANNAscendSwiGLU前馈网络与层归一化SwiGLU前馈网络与层归一化 SwiGLUSwish Gated Linear Unit是LLaMA 3中采用的一种先进的前馈网络激活函数它结合了Swi示例工程大模型人工智能上一篇CANN opbase 算子属性校验日志接口 OP_LOGE_WITH_INVALID_ATTR用法、错误码上报与废弃替代方案下一篇NVIDIA Profile Inspector完整教程5个简单步骤解锁显卡隐藏性能创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考