Transformer与自注意力机制：原理、复杂度与工程实践边界

简介这份文档是 NIPS 2017 论文《Attention Is All You Need》的中文翻译版本面向自然语言处理、机器翻译与自注意力机制的学习者和研究者可用于理解 Transformer 的提出背景、核心结构与实验结论。压缩包共 1 个 docx 文件约 856KB内容以论文正文翻译为主便于对照原文梳理编码器—解码器堆栈、缩放点积注意力、多头注意力、位置编码及训练配置等关键概念。资源已有 1194 人学习适合作为入门 Transformer 的精读材料读者可借此把握完全基于注意力、摒弃循环与卷积的序列转导思路理解 WMT 2014 英德与英法翻译任务中 28.4 与 41.0 BLEU 的实验结果并据此建立后续阅读源码和论文的术语基础。1. 圆桌会议式的翻译机Transformer 到底是个什么概念想象一间会议室里坐着十几个译员要把一句德语翻成英语。老办法是排成一队第一个人看完把纸条往后传第二个人看完再传给第三个谁都不能插队队伍越长越慢。2017 年的一篇会议论文换了个思路——把所有人请到圆桌前让每个人在同一秒把整句话扫一遍并且自己决定该重点看哪几个词。这个“自己决定看哪儿”的动作就叫注意力attention。论文最大胆的一句结论是别的结构都可以不要只要注意力就够了于是有了 Transformer 这个纯靠自注意力self-attention撑起来的架构。它在 NLP 领域掀起的动静到今天还没停。2. 老办法卡在哪循环与卷积绕不过的三笔账要理解为什么有人敢把递归整个删掉得先知道它到底碍了什么事。翻译这类任务输入是一串词输出也是一串词模型要在两串之间建立对应关系。此前的标准做法是编码器-解码器结构先用一个网络把源句压成一串连续表示再用另一个网络把它摊成目标句。麻烦就出在“压”和“摊”的过程里。2.1 循环网络第 100 个词得等第 99 个词算完循环网络的算法写起来很朴素读第一个词得到状态 h1把 h1 和第二个词一起喂进去得到 h2再把 h2 和第三个词喂进去得到 h3依此类推。第 t 个位置的状态依赖第 t-1 个位置这种顺序性写在定义里绕不过去。后果有三层。第一层训练时一条句子内部无法并行n 个词就要 n 次串行前向计算图形处理器的大半算力在干等。第二层能并行的只有“不同句子之间”可一批能塞多少句受显存限制句子一长批就变小效率继续往下掉。第三层更隐蔽位置 1 的信息要经过 n 次传递才能抵达位置 n路径长度是 O(n)链条一长信号就衰减早年研究梯度流的论文专门讨论过这个困难——模型天生不擅长学“隔了三十个词的两个词其实是一回事”。后来有人用因子分解、条件计算之类的技巧把效率往上抬了一截可“必须顺序计算”这条底线始终没被碰过。打个比方这像流水线上只站着一名工人每件产品都必须从他手里过一遍想加人也没地方站。2.2 卷积能同时开工但两个隔得远的词要“传很多手”另一条路是用卷积替换循环那几年有几个模型就是这么干的。卷积的好处是每个位置可以同时算天然并行。坏处是卷积核只看得到邻域一个核宽度为 k 的卷积层连接不到所有输入输出对要让位置 1 和位置 n 产生关联得堆 O(n/k) 层普通卷积或者用膨胀卷积堆到 O(log n) 层。层数一多两头之间的路径又变长远距离依赖照样难学而且卷积层本身通常比循环层更贵。自注意力把这件事压成了常数任意两个位置之间只隔一次加权路径长度 O(1)不管隔多远都是同一步。代价是每一层要算 n² 个两两相似度这笔账后面单独算。2.3 注意力早就有了只是从来没当过主角注意力机制不是这篇论文发明的。在它之前编码器-解码器做机器翻译时解码器每一步会“回头看一眼”源句的各个位置按相关度加权取信息这就是最经典的注意力。自注意力——同一个序列内部自己看自己——也早就在阅读理解、抽取式摘要、文本蕴含、句向量学习里出现过端到端记忆网络甚至用循环的注意力替代了有序的循环。可在几乎所有这些工作里注意力都是一个挂在循环网络上的配件主机还是循环。这篇论文干的事很干脆把主机拆了只留配件然后证明配件自己就能跑而且跑得更快。层类型每层计算复杂度最少串行操作数任意两位置最大路径长度自注意力O(n²·d)O(1)O(1)循环层O(n·d²)O(n)O(n)卷积层O(k·n·d²)O(1)O(log n)受限自注意力只看邻域 rO(r·n·d)O(1)O(n/r)参数说明n 是序列长度d 是表示维度k 是卷积核宽度r 是限定邻域的大小。这张表是整篇论文最该记住的一页它把“快不快”拆成了三个可比较的量每层要算多少次乘加、有多少步骤必须排队、信号从一头到另一头要走多远。算一下就知道取舍在哪。机器翻译里句子通常几十到几百个词表示维度 d 是 512此时 n 小于 d自注意力的 n²·d 反而比循环的 n·d² 更小——不仅并行度高单层算力也更省。但 n 一旦涨上去n² 就翻脸这是它唯一的结构性软肋原文把“受限自注意力”只看邻域明确列为后续工作。效果也是靠这几个数字站住的两个公开翻译评测任务上大模型在英德方向拿到 28.4 的 BLEU比当时最好结果含多个模型集成高 2 分以上英法方向 41.0训练成本不到此前最优模型的四分之一。大模型在八块图形处理器上训练 3.5 天基础模型只要 12 小时。质量更高、成本更低同时成立这才是它当年炸场的原因——过去遇到这种取舍通常只能二选一。3. 自注意力怎么算查询、键、值的一次加权投票名字听着有点玄学机制其实只有三步给每个词配三个向量、两两算相似度、按相似度把信息混起来。后面所有的花样都是在这三步上做工程。3.1 查询、键、值一场图书馆里的检索你带着一个模糊的需求走进图书馆这就是查询query。每本书的书脊上贴着标签这是键key。书里的内容是值value。你把需求和每个标签比一遍越像的书你从它那儿取的内容越多最后把取来的内容按比例混成一份答案。整个过程没有“先翻第一本再翻第二本”的顺序所有书是同时被比较的。公式只有一行Attention(Q, K, V) softmax(QKᵀ/√dk)·V。Q 是 n 行 dk 列的矩阵每个词一行K 同理。两者相乘得到一个 n×n 的相似度矩阵第 i 行第 j 列就是“第 i 个词向第 j 个词问了多少分”。softmax 按行归一化把这行分数变成一组和为 1 的权重再乘 V得到每个词的新表示——它已经混入了全句的信息。import numpy as np def softmax(x, axis-1): x x - x.max(axisaxis, keepdimsTrue) # 减去最大值防止 exp 溢出 e np.exp(x) return e / e.sum(axisaxis, keepdimsTrue) def attention(Q, K, V, maskNone): dk Q.shape[-1] # 键向量维度原文每个头是 64 scores Q np.swapaxes(K, -1, -2) / np.sqrt(dk) # 相似度矩阵形状 (n, n) if mask is not None: scores scores mask # 遮罩处填一个极大的负数 w softmax(scores) # 每行归一化这一行该看谁多一点 return w V, w # 加权求和顺带把权重返回便于观察这段代码和原文第 3.2.1 节一一对应。dk 取键向量的维度除以它的平方根是缩放mask 用加法而不是乘法是因为后面要过 softmax加一个负无穷等价于把权重压成 0返回权重 w 只是为了可视化训练时用不到。需要注意的是实际实现里 Q、K、V 都不是手工构造的而是同一个词向量乘三个不同的参数矩阵 W_Q、W_K、W_V 得到的——这三个矩阵才是模型要学的东西。3.2 为什么除以根号 dk先把音量压到同一档假设查询和键的每一维都是独立的、均值 0 方差 1 的数那么它们的点积方差就是 dk。dk 等于 64 时点积的量级能到几十softmax 会把最大的那个推到接近 1其余压到接近 0。这时候梯度几乎为零参数推不动训练就卡死了。除以 √dk 相当于把方差拉回 1让 softmax 工作在梯度还活着的区间。这也解释了点积注意力和加性注意力的分水岭。加性注意力用一个带单隐层的前馈网络算相关性理论上两者复杂度相近但点积能吃满高度优化的矩阵乘法实际快得多也省内存。dk 小的时候两者表现差不多dk 一大点积因为数值太大会吃亏所以必须缩放。原文还留了个反证把 dk 调小反而掉点变体实验里那一行说明“判断两个词有多相关”这件事本身没那么容易比点积更复杂的打分函数可能有价值。3.3 多头注意力八个人同时看各看各的重点做法很直接把 512 维的 Q、K、V 分别用 8 组不同的线性投影压到 64 维每组各算一次注意力得到 8 个 64 维输出拼接回 512 维再做一次投影。因为每个头的维度降到八分之一总的计算量和“一个 512 维的大头”差不多并不是把成本翻了八倍。为什么要这样单个头做 softmax 时是在所有位置上做加权平均不同性质的信息容易被糊成一团。多个头相当于给模型几套不同的关注角度有的头盯着相邻词有的头盯着主语和动词的呼应有的头专门看标点。原文检查过注意力分布发现不少头确实表现出与句法、语义结构相关的行为。这里埋着一个后面要拆的误区它不是训练 8 个模型再投票8 个头在同一层里一起端到端学出来输出直接拼接谁也不独立。3.4 位置编码模型没有顺序感就发号码牌删掉循环和卷积之后模型对“谁在前谁在后”是一无所知的把句子打乱自注意力的输出只是行序变了内容完全一样术语叫置换等变。必须额外注入位置信息否则它看到的只是一袋词。办法是给每个位置算一个 512 维的向量直接加到词向量上。偶数维用 sin奇数维用 cos频率按几何级数从 2π 排到 10000·2π。import numpy as np def positional_encoding(max_len, d_model): pos np.arange(max_len)[:, None] # 位置 0..max_len-1 i np.arange(0, d_model, 2)[None, :] # 偶数维下标 2i angle pos / np.power(10000, i / d_model) # 波长从 2π 到 10000·2π pe np.zeros((max_len, d_model)) pe[:, 0::2] np.sin(angle) # 偶数维用 sin pe[:, 1::2] np.cos(angle) # 奇数维用 cos return pe # 形状 (max_len, d_model)直接加到词向量上关键参数是 10000 这个底数它决定波长的下限改小会让高频变化更快、更偏向区分相邻位置。为什么要用正弦而不是学一张位置表对任意固定偏移 kPE(posk) 都能写成 PE(pos) 的线性函数模型因此容易学到“相对位置”这个概念另外正弦版本理论上可以外推到训练时没见过的更长句子。原文也试了可学习的位置嵌入结果几乎一样变体实验的 E 行最后选正弦看重的就是外推这个可能性。4. 从零件到整机编码器、解码器与几个保命细节4.1 六层堆叠编码器负责读解码器负责写编码器由 6 个完全相同的层组成每层两个子层多头自注意力和逐位置的全连接前馈网络。每个子层外面套一个残差连接再做层归一化也就是输出等于 LayerNorm(x Sublayer(x))。为了让残差能直接相加所有子层和嵌入层的输出维度统一成 d_model512。解码器也是 6 层但每层三个子层掩码多头自注意力、对编码器输出做的多头注意力、前馈网络。中间那个子层是跨序列的——查询来自解码器上一层键和值来自编码器输出所以解码器每个位置都能看全整句源文。走一遍信息流就清楚了源句进编码器六层之后变成一串表示解码器一边看自己已经生成的词一边回头查编码器那串表示一个词一个词往外吐。原文的口径是“自回归”指的是生成下一个词时先前生成的词会被当作额外输入吃进去。4.2 残差连接与层归一化让信息有一条直通车道残差连接的写法是子层的输出加上它的输入。类比传话游戏每个人都把自己听到的原话和新的复述一起往下传原始信息不会在几层之后被磨没反向传播时梯度也多了一条短路径不用穿过整个子层。层归一化是对每个词自己的 512 维向量做标准化减均值除标准差再学一组缩放和偏移。它和批归一化的区别在于统计范围只在单个样本内部不受批大小和句子长短影响——序列任务里每条样本长度都不一样这点很关键。这两样东西单拎出来都不新鲜但六层网络加上多头注意力之后没有它们训练很容易跑偏。4.3 掩码解码的时候不许翻后面的答案解码器是自回归的生成第 i 个词时只能看到前 i-1 个词。可自注意力天生让每个位置都能看到所有位置这就等于考试时把答案摊在桌上。做法是在 softmax 之前把“未来”的位置打掉——给那些位置的分数加一个很大的负数softmax 之后权重约等于 0。配合“输出嵌入右移一位”把目标句整体往右挪一格第一位放起始符位置 i 的预测就只能依赖小于 i 的已知输出。这两件事必须一起做只做掩码或者只做右移都会漏。注意掩码只加在解码器的自注意力子层上编码器和那个跨序列子层都不加否则源句的信息也被挡掉了。4.4 训练细节不起眼但决定成败的那几行原文的配置摊开来看最有信息量的是这几项项目设置为什么这么定学习率调度先线性升温 4000 步之后按步数平方根倒数衰减前期大步子快速下降后期小步子收敛批大小约 25000 源词 25000 目标词按长度分桶减少补齐浪费Dropout基础模型 0.1大模型英德 0.3、英法 0.1防过拟合模型越大越需要标签平滑训练时使用困惑度变差但准确率和 BLEU 变好推理集束搜索宽度 4长度惩罚 0.6比贪心解码稳定长度不失控权重平均基础模型平均最后 5 个检查点大模型 20 个相当于免费的小幅提升学习率那条有具体公式lrate d_model^(-0.5) · min(step^(-0.5), step · warmup^(-1.5))。前半段学习率随步数线性上升后半段按步数平方根倒数下降4000 步是拐点。这段设计后来被无数模型照抄属于那种看起来不起眼、去掉就掉点的东西。标签平滑值得多说一句把硬标签的 1 和 0 换成 0.9 和 0.1 之类的软值模型学会“别太自信”。原文明确说这会让困惑度变差——因为它不再把概率全押在正确答案上——但准确率和 BLEU 反而更好。这也是个提醒指标之间会打架盯着一个数字调参很容易翻车。5. 五个易混点名字很像机制完全不是一回事5.1 易混一注意力机制不等于自注意力很多人把这两个词当同义词用。易混点在于两边的名字里都有“注意”中文翻译也都叫注意力。混淆的原因很实在最早的注意力是跨序列的——查询来自解码器键和值来自编码器两边是不同的句子而自注意力的查询、键、值全部来自同一个序列是自己看自己。怎么区分问一句“Q 和 K、V 是不是同一个来源”。原文其实用了三种形态摆在一起差别一目了然用法查询来自键和值来自作用编码器-解码器注意力解码器上一层编码器输出让每个输出位置看全整句输入编码器自注意力编码器上一层编码器上一层输入句内部互相理解解码器掩码自注意力解码器上一层解码器上一层只看当前位置及之前保持自回归不偷看未来三种都是多头注意力但只有后两种叫自注意力。5.2 易混二多头注意力不等于多个模型集成“八个头”这个说法听起来像是训了八个模型然后投票。易混点在于集成确实是多份模型出结果再合并形式上很像。混淆的原因是名字里的“多”字暗示了独立。真实情况是八个头在同一层里共享同一份输入各自用不同的投影矩阵压到 64 维算完之后拼接再投影一次整个过程端到端一起训练梯度一起回传。没有谁独立也没有投票。怎么区分看有没有独立的输出和独立的训练过程——集成里每份模型都能单独跑多头里拆掉一个头模型就废了。5.3 易混三注意力权重高不等于模型在“解释”自己注意力权重画成热力图很好看很多人拿它当“模型决策依据”。易混点在于权重确实反映了“取信息时按什么比例混合”。混淆的原因是这张图太直观直观到让人以为看见的就是原因。但权重只说明这一层这一步的混合比例后面还有 6 层、8 个头、残差连接和前馈网络信息被反复重组。某个词权重高不等于删掉它输出就变。原文的措辞很克制它只说某些头表现出与句法和语义结构相关的行为从没说权重就是解释。怎么区分看有没有做干预——把那个位置真的遮掉看输出变不变。只看图得到的多半是故事。5.4 易混四不用循环不等于不需要顺序信息“完全基于注意力”很容易被读成“它不在乎词序”。易混点在于自注意力本身确实是置换等变的打乱顺序输出只是跟着换行。混淆的原因是把“结构上没有循环”和“信息上没有顺序”画了等号。顺序信息是靠位置编码硬加进去的加在编码器和解码器堆栈底部的词嵌入上和词向量直接相加。没有这一层整个模型就退化成一个复杂的词袋。怎么区分看模型有没有位置编码这一环以及是正弦固定还是可学习。原文两种都试了效果几乎一样说明关键在“有没有”而不是“用哪种”。5.5 易混五BLEU 高不等于全面更好也不等于只能做翻译28.4 和 41.0 这两个数字流传太广容易被当成“全面领先”的证据。易混点在于BLEU 衡量的是 n-gram 重合度是句子级指标的语料级平均。混淆的原因是单一数字最好记也最好引用。它测不出什么测不出单句是不是翻得离谱——平均值好看个别句子照样可能翻车也测不出语义是否忠实同义改写反而会被扣分。原文自己也承认标签平滑会拉低困惑度却提升 BLEU说明指标之间的偏好并不一致。另一头别把架构看窄了它的输入输出是通用的序列到序列作者明确计划推广到文本之外的模态也提到想研究受限注意力来处理图像、音频、视频这类长输入。怎么区分看指标定义也看任务边界——它是个通用骨架不是翻译专用插件。6. 什么时候请它上场一份边界判断清单判断标准其实只有两条句子有多长以及你有没有足够的并行算力去喂它。这两条一交叉答案基本就出来了。举个具体场景。某团队要做“把会议录音转成带标点的纪要”中间那一步的输入是几千个词的转写文本。按 n² 的账算序列翻十倍注意力矩阵涨一百倍显存直接吃满这时候硬上就是给自己找麻烦得先分块、滑窗或者等受限注意力这类方案成熟。反过来做“商品标题的多语言互译”一条二三十个词维度 512n 远小于 d自注意力每层比循环还便宜还能把显卡并行吃满这时候它就是首选没有第二个答案。场景建议理由中等长度序列的翻译、摘要、改写适合n 小于 d单层成本低于循环并行度高训练资源紧、数据量大适合并行度高同样效果下训练时间短一个量级需要捕捉长距离依赖适合任意两位置路径长度为常数不用层层传话单条序列上千词的长文档谨慎n² 复杂度爆炸需分块或受限注意力逐词流式输出、延迟敏感谨慎解码是自回归的一次一个词且要维护缓存数据量很小、只想快速出个基线谨慎参数量不小小数据上未必跑得过简单模型需要向人解释“模型为什么这么判”别指望注意力权重是混合比例不是因果解释最后说个自己的习惯。早些年我看到“某个架构刷新了纪录”就急着换结果在一个几千词的长文本任务上照着论文抄了一遍训练到一半显存爆了排查半天才发现问题不在代码在我压根没算过那张复杂度表。从那以后我每次要上手一个新架构都先把它那张“复杂度 / 串行步数 / 路径长度”的表抄在纸上对着自己的序列长度和显存算一遍算完再决定要不要动键盘。这份中文译稿把公式、三张实验表和附录都保留了下来遇到拿不准的段落翻到对应小节逐句对一遍比看十篇二手解读都靠谱。想逐段啃原文又怕英文磕绊的话直接取用就行。希望帮到你。本文还有配套的精品资源点击获取