Transformer的⼯作流程-云帆数科

一、Transformer 核心组件1、Input Embedding（输入嵌入）Input Embedding（输入嵌入）：是整个模型的第一道工序。它的核心作用是将人类可读的、离散的文本符号（Token），转换为机器可计算的、连续的稠密向量表示。你可以把它理解为“翻译官”，把“文字语言”翻译成“数学语言”，让后续的注意力机制和前馈网络能够处理2、Output Embedding（输出嵌入）Output Embedding（输出嵌入）指的是解码器输入端的词嵌入层。简单来说，它是将“已经生成的历史 token”转换为模型可理解的向量表示的模块。尽管名字里带有 "Output"，但它实际上是解码器下一时刻预测的输入。3、Positional Encoding（位置编码）Positional Encoding（位置编码）是 Transformer 架构中至关重要的一个组件。简单来说，它是为了给模型注入“顺序”或“位置”信息而人为添加的一个向量。（Attention：注意力）为什么需要Positional Encoding要理解它的作用，首先要理解Transformer的核心缺陷：Transformer的Self-Attention的核心是“排列不变”的。这意味着，Self-Attention在计算时将输入序列视为一个集合（Set），而不是一个序列（Sequence）。如果如果打乱了句子的词序（例如把"I Love You" 变成"You Love I"），Self-Attention输出的特征表示在数学上是完全一样的（只是顺序变了）。然而自然语言是高度依赖语序的（“狗咬人”和“人咬狗”意思完全不同），RNN/LSTM天生通过时间步传递信息，CNN通过卷积核的相对位置感知局部顺序，但Tansformer没有这种归纳配置，因此必须显示的告诉模型每个Token处于什么位置它具体有什么作用提供绝对位置信息：让模型知道当前token是句子中的第几个词提供相对位置关系：好的位置编码设计能让模型通过运算（如点积）推导出两个Token之间的距离（相对位置），这对这对理解语法结构和语义依赖至关重要保持注意力机制的有效性：将位置信息和词嵌入相加后，相同词在不同位置的Attention Score就会不同，从而使模型能够区分上下文4、Multi-Head Attention（多头注意力机制）Multi-Head Attention（多头注意力机制）是 Transformer 架构的核心创新之一。简单来说，它是将标准的 Self-Attention并行执行多次，每个“头”独立地学习不同的关注模式，最后将所有头的结果拼接融合。在 Transformer 架构中，Attention（注意力机制）的核心工作是动态聚焦并整合序列中最相关的信息。它打破了传统模型逐字阅读的限制，允许模型在处理序列数据时，直接计算任意位置之间的关联，从而实现对信息的有效筛选和整合。具体来说，Attention 的工作机制可以拆解为以下几个核心步骤：1. 角色分工（生成 Q、K、V 向量）对于输入序列中的每个词元，模型会将其转化为三个不同的向量：Query（查询）：代表当前词元的“问题”或“诉求”，即它想在上下文中寻找什么信息。Key（键）：代表序列中所有词元的“身份标签”或特征索引。Value（值）：代表序列中所有词元实际包含的具体语义信息。2. 计算关联度（相似度打分）模型会计算当前词元的 Query 与序列中所有词元的 Key 之间的点积相似度。这个分数反映了它们之间的语义关联程度。例如，在处理代词“它”时，其 Query 会与上下文中所有名词的 Key 进行匹配，发现与“狗”的匹配度最高。3. 分配关注度（权重归一化）计算出的相似度分数会经过 Softmax 函数进行归一化处理，转化为 0 到 1 之间的注意力权重。这些权重代表了在理解当前词元时，应该给予序列中其他词元多大的关注。分数越高的词元，获得的权重越大；无关的词元权重会趋近于 0。4. 提取并融合信息（加权求和）最后，模型使用这些注意力权重对所有词元的 Value 进行加权求和。这一步相当于把高相关词元的信息“吸收”过来，生成一个包含了丰富上下文信息的新特征表示。通过这种“检索-匹配-聚合”的逻辑，Attention 让模型能够像人类一样，忽略无关内容，自动聚焦关键信息，并精准捕捉长距离的上下文依赖。1、为什么需要Multi-Head？单头不行吗？理论上，单个足够大的 Attention 层也能拟合复杂函数。但在实践中，单头Attention 存在严重问题：单头 Attention 倾向于“平均化”多种不同的关注模式。

企业数字化 ERP 产品动态

相关推荐

Excel 之 VBA 宏编辑

VBA 宏编辑目录一、VBA 宏编辑1. 一键转换净值与清除#N/A格式2. 一键表格为三线表(带内部虚线版)2.1. VB宏编辑器2.2. WPS宏编辑器一、VBA 宏编辑 1. 一键转换净值与清除#N/A格式下面集合了通过对B,C,D,E四列的格式转换，如把格式为空及公式匹配为#N/A的转换为空&a… · 2026/11/3 16:35:20

平台介绍-json解析组件

/* MD / 富文本中的 .toc（含博客园搬家等嵌套结构）；.toc-box 在侧栏，不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p（:empty 仍占 20px），一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/2 4:33:34

AI 编程 5000 条对话后的复盘与反思

Swisslog百年转型：从电气小厂到物流自动化巨头的历程

1. Swisslog百年转型史：从配电小厂到物流自动化巨头的蜕变1900年，瑞士阿尔劳小镇上，两位电气工程师创立了一家名为SprecherSchuh的小型配电设备厂。谁曾想到，这家最初生产电气控制柜的小作坊，会在125年后发展成为全球物… · 2026/11/3 16:35:57

VMware搭建Linux环境全攻略与性能优化

1. 为什么选择VMware搭建Linux环境在本地计算机上运行Linux系统，虚拟机方案始终是开发者和运维人员的首选。相比双系统安装，VMware Workstation这类虚拟化软件提供了更灵活的解决方案——既能保留原有操作系统，又能获得完整的Linux体验。我… · 2026/11/3 16:35:57