Attention Is All You Need中文翻译：超参核对与复现指南

简介NIPS 2017 论文《Attention Is All You Need》的中文翻译文档面向自然语言处理初学者、Transformer 入门者以及需要精读原始论文的研究人员用于降低英文阅读门槛系统理解完全基于自注意力机制的序列转导架构。压缩包内仅含 1 个 docx 文件大小约 856KB单文件结构轻便正文以论文中文译文为主体便于检索、批注和整理学习笔记并具备较强的可读性。文档覆盖摘要、引言、背景、模型架构、编码器与解码器堆栈、缩放点积注意力、多头注意力及机器翻译实验结果等核心章节并保留 WMT 2014 英德、英法翻译任务的 BLEU 数据与训练成本说明可对照英文原文梳理 self-attention 的设计动机、并行化优势与长距离依赖建模思路。已有 1194 人学习适合课程研讨、组会分享或论文复现前的概念预习也能作为面试复习 Transformer 基础知识的参考材料。1. 一份中文翻译的 Transformer 原始论文先把手边的参照物固定下来A 同学在群里贴了一段自己实现的注意力层问要不要在 softmax 前除根号。让 A 同学去翻 Attention Is All You Need 原文第 3.2.1 节来回读了三遍还是绕回同一个问题——英文那段把点积变大和softmax 落进梯度极小区域压在一句话里读快了就滑过去了。这份 Attention Is All You Need 中文翻译版 docx 的作用就在这把 Transformer 全文按原章节顺序落成中文编码器解码器堆栈、self-attention 的三种用法、缩放点积注意力、位置编码公式、训练配方以及四张表格的说明文字都保留下来公式和图注做了迁移。它不负责替你训模型但查参数时不用来回切窗口也很适合当内部分享的讲稿骨架。适合两类人刚接触序列转导、准备把 Transformer 落到代码上的以及读过英文版但记不清 d_model、h、d_ff 这几个数怎么互相咬合的。2. 拆开这份文档章节骨架、术语译法与你该采用的三步读法拿到一份论文译文最容易犯的错是从第一页顺读到最后。Transformer 这篇的结构不是线性的第 1、2 章是动机铺陈真正决定你后面所有实现细节的是 3.1 到 3.5而 4、5、6 章分别回答为什么敢不用循环、怎么把它训起来、这么训到底换来多少 BLEU。整份 docx 的结构跟原论文一致正文七章加 31 条引用表格四张表 1 是层类型对比表 2 是翻译结果与训练成本表 3 是架构消融外加一张训练超参在正文里散着。把这些位置先记熟后面查一个数字才不用翻整本。2.1 章节骨架与阅读顺序先读 3.2 再回头读 4这份译文的价值分布很不均匀。第 3 章占了全文一半以上的技术密度每小节对应一个能直接写成代码的模块3.1 讲堆栈和残差3.2 讲注意力3.2.1 缩放点积、3.2.2 多头、3.2.3 三种用法3.3 讲逐位置前馈3.4 讲嵌入与权重共享3.5 讲位置编码。第 4 章那张表 1 是选型依据用复杂度、顺序操作数、最大路径长度三个指标把自注意力、循环层、卷积层摆在一起比你以后跟人争论为什么要放弃 RNN答案就在这张表里。第 6.2 节的表 3 是调参依据每一行改动对应一个结论。我一般会按这个顺序读而不是从头到尾顺序读哪节读的时候手里拿什么读完要能回答13.1纸笔画一个编码器层残差加在哪、归一化在残差前还是后23.2.1计算器为什么要除根号 dkdk 变大时会发生什么33.2.2纸笔算参数量8 个头是切片还是各自独立投影43.3 与 3.5无d_ff 为什么是 d_model 的 4 倍位置编码怎么加进去54 与表 1无长序列下自注意力比循环层慢在哪65.1 到 5.4记事本抄超参词表多大、batch 多大、warmup 多少步76.1 与 6.2 与表 3表格哪个组件改动最伤 BLEU按这个顺序走一遍大概两小时比顺读三遍有用。表 1 那三个指标最好自己动手抄一遍抄的过程会发现一个反直觉的结论自注意力的每层复杂度是 O(n²·d)序列长 n 超过表示维度 d 时它反而比循环层的 O(n·d²) 更贵。论文自己承认了这一点并给了限制邻域大小的补救方向。这一条在第 4 章末尾读快了很容易漏漏了就会在长文本任务上盲目套 Transformer。2.2 术语对照这几个词不换回英文你搜不到任何资料这份译文主体读起来是通的但术语层面有明显的直译痕迹最典型的是把 Transformer 译成变压器把 Tensor2Tensor 译成张量 2 传感器把 attention 译成关注度或关注。这些词在中文技术社区里几乎没人用你拿它们去搜结果要么是电力设备要么是传感器硬件。做一张映射表贴在文档开头比每次读的时候在脑子里翻译一遍省事得多。译文里的写法原文现在该用的说法备注变压器TransformerTransformer出现频率最高必须全局替换自我关注 / 关注度self-attention / attention自注意力 / 注意力中文社区通用译法点积比例关注、点产品关注度scaled dot-product attention缩放点积注意力3.2.1 节的核心多余注意力multi-head attention多头注意力多余是 multi 的误译位置前馈网络position-wise feed-forward network逐位置前馈网络3.3 节剩余连接residual connection残差连接3.1 节图层归一化layer normalization层归一化注意不是图层辍学 / 压差dropoutDropout5.4 节的两种写法混用标签平滑label smoothing标签平滑5.4 节波束搜索beam search束搜索6.1 节困惑perplexity困惑度表 3 表头张量 2 传感器Tensor2TensorTensor2Tensor结论里提到的代码库这张表还有第二个用途写代码时的变量命名。如果你一边读译文一边敲代码很容易把变量写成self_attention_out、layer_orm这种半中半英的东西回头自己都看不懂。统一按右列的英文命名注释里再写中文是血泪经验。2.3 三步把 docx 变成可检索的底稿docx 有个天然缺陷不能全局搜索公式表格复制出来会散架翻页找数字靠肉眼。花十分钟把它处理成纯文本后面所有查参数的效率都会翻倍。三步第一步另存为纯文本。Word 或 WPS 里直接另存为格式选 txt 或 markdown公式会退化成线性文本或者图片占位符图片占位符正好提醒你这里需要回原文档看。第二步跑一遍术语替换。把上表左列换成右列顺便把明显断开的句子标记出来。脚本很短import pathlib # 按长度倒序避免关注度先被替换掉导致点积比例关注度残缺 TERMS { 点积比例关注度: scaled dot-product attention, 点产品关注度: scaled dot-product attention, 多余注意力: multi-head attention, 位置前馈网络: position-wise feed-forward network, 剩余连接: residual connection, 图层归一化: layer normalization, 自我关注: self-attention, 关注度: attention, 变压器: Transformer, 辍学: dropout, 压差: dropout, 波束搜索: beam search, 困惑: perplexity, } src pathlib.Path(attention_draft.txt).read_text(encodingutf-8) for zh in sorted(TERMS, keylen, reverseTrue): src src.replace(zh, TERMS[zh]) pathlib.Path(attention_draft.en.txt).write_text(src, encodingutf-8)替换顺序必须按字符长度倒序否则点积比例关注度会先被关注度啃掉一半变成点积比例attention后面再想统一就麻烦了。这个坑我在处理其他译文时踩过不止一次。第三步建一张数字表。把全文出现的所有超参和结果数字拎出来单列包括 N6、d_model512、d_ff2048、h8、dkdv64、Pdrop0.1、warmup4000、beam4、长度惩罚 0.6、100K 步、300K 步、28.4 BLEU、41.0 BLEU。译文里有几处数字和单位被长句裹住了比如在八个图形处理器上训练 3.5 天后建立了新的单一模型最先进的 BLEU 评分41.041.0 前面缺空格肉眼看很容易当成 141.0 或者漏掉。单独列出来之后你写配置文件直接抄这张表不抄句子。提示第三步那张数字表建议直接做成 YAML 放在项目里跟训练脚本放在一起改超参时只改一处。3. 把论文参数抄进代码前d_model512 是怎么把其他数字钉死的这一章解决的是知道有这些数但不知道它们为什么必须这么配的问题。Transformer 的超参不是随手挑的它们之间有硬约束残差要求每个子层输出维度必须等于 d_model多头要求 h 乘以 dk 等于 d_model嵌入权重共享要求词表维度对齐。你把其中任何一个改掉其余几个得跟着动否则代码在第一次前向传播就会报维度不匹配——而且报错位置往往离你改的地方很远。3.1 六层堆栈与三条维度约束编码器和解码器各堆 6 层这个 6 不是玄学是当年在算力和效果之间取的折中表 3 的行C和行D显示层数、d_model、d_ff 一起放大后 dev BLEU 从 25.8 涨到 26.4但参数量从 65M 涨到 213M。也就是说加深度是有收益的只是边际递减。基础版和大模型版的完整配置如下这张表建议直接抄进你的 config配置项basebig约束来源编码器/解码器层数 N66独立选取与维度无关d_model5121024所有子层输出维度必须等于它d_ff20484096惯例取 4 倍 d_model注意力头数 h816h × dk 必须等于 d_model每个头的 dkdv6464由上行推出不是自由参数Pdrop0.10.3大模型更容易过拟合需要更强正则label smoothing0.10.1两者相同warmup 步数40004000两者相同训练步数100K300K大模型训得更久参数量约 65M约 213M由上述维度算出第一条约束是残差。3.1 节写得很清楚每个子层的输出是 LayerNorm(x Sublayer(x))x 和 Sublayer(x) 要相加维度必须一致所以论文特意强调模型中的所有子层以及嵌入层产生维度 d_model512 的输出。你如果想让前馈网络的中间层宽一点只能改 d_ff不能改它的输出维度。第二条约束是多头。3.2.2 节给的 h8、dkdvd_model/h64注意 dk 是由 d_model 和 h 推出来的不是独立超参。有人把 dk 单独设成 128 又保留 8 个头结果投影矩阵是 512×128拼起来 1024 维最后那个输出投影 W_O 的输入维度对不上报错信息指向 W_O实际错在 dk。第三条约束是嵌入。3.4 节说两个嵌入层和 softmax 前的线性变换共享同一个权重矩阵嵌入层还要乘根号 d_model。共享意味着词表大小 V 和 d_model 定下来这三处的参数量就定了。乘根号 d_model 的原因是把嵌入向量的尺度拉到和位置编码一个量级否则加的时候位置信息会被淹没。顺手把参数量核一遍能帮你确认有没有哪一项抄错。单层自注意力有四个 d_model×d_model 矩阵Q、K、V、输出投影512×512×4 约 1.05M前馈是两个 512×2048 加偏置约 2.1M合计每层约 3.15M。编码器 6 层约 18.9M解码器每层多一个交叉注意力再多约 1.05M6 层约 25.2M加上共享的词表嵌入按 37K 词表算约 19M总量落在 63M 附近与论文报的 65M 对得上量级。如果你算出来是 130M多半是把嵌入算了两遍算出来是 40M多半是漏了交叉注意力。3.2 缩放点积注意力除以根号 dk 到底在防什么3.2.1 节那段译文读起来最费劲但它是整篇论文最该吃透的一处。注意力做的事可以概括成一句话拿查询去和所有键做点积得到一组分数softmax 归一化后当作权重对值做加权求和。问题出在点积的尺度上——假设 q 和 k 的各维独立、均值 0、方差 1那么它们的点积有 dk 项方差就是 dk。dk64 时标准差是 8也就是分数天然散布在正负二十几的范围里。这个尺度送进 softmax 会怎样softmax 对输入的绝对尺度敏感输入越大输出越接近 one-hot梯度越接近 0。论文原话是将 softmax 函数推入梯度极小的区域翻译成实操语言就是不缩放的话训练初期注意力权重几乎全押在一个位置上反向传播回来的梯度小到学不动。除以根号 dk 等于把方差拉回 1softmax 停在梯度健康的区间。这也解释了为什么 dk 小的时候加性注意力和点积注意力表现差不多dk 大了才拉开差距。下面这段实现可以直接跑顺便把 mask 的用法一起验证了import numpy as np def scaled_dot_product_attention(Q, K, V, maskNone): Q: (..., n_q, dk) K: (..., n_k, dk) V: (..., n_k, dv) dk Q.shape[-1] scores Q K.swapaxes(-1, -2) / np.sqrt(dk) # (..., n_q, n_k) if mask is not None: # mask 为布尔矩阵True 表示该位置可见不可见位置给一个足够小的有限值 scores np.where(mask, scores, -1e9) scores scores - scores.max(axis-1, keepdimsTrue) # 数值稳定防 exp 溢出 w np.exp(scores) w w / w.sum(axis-1, keepdimsTrue) return w V, w rng np.random.default_rng(0) Q rng.normal(size(2, 5, 64)) K rng.normal(size(2, 7, 64)) V rng.normal(size(2, 7, 64)) out, w scaled_dot_product_attention(Q, K, V) print(out.shape, w.shape) # (2, 5, 64) (2, 5, 7)几个参数值得单独说。np.sqrt(dk)里的 dk 取 Q 的最后一维别写死 64因为解码器交叉注意力里 Q 来自解码器、K 来自编码器dk 是投影后的头维度仍然是 64但换配置就会变写死迟早翻车。mask 用-1e9而不是-np.inf是因为某些实现里如果某一整行全被 mask理论上不该发生但边界样本会-inf参与 softmax 会得到nan一个 nan 就能污染整个 batch 的梯度而-1e9在 exp 之后是 0最多让这一行权重全零不会炸。减最大值那一步是纯数值技巧不影响数学结果但少了它在 fp16 下溢出是常态。拿这个函数和第 3.2.1 节的公式对照你会发现论文写的 softmax(QKᵀ/√dk)V 里V 的维度 dv 和 dk 是分开的。小规模实验里两者经常取一样但严格说输出维度由 dv 决定不要混。3.3 多头拆分8 个头不是把 512 切成 8 段这是读译文最容易误解的一处。3.2.2 节说用不同的、学习过的线性投影分别对 dk、dk 和 dv 维度进行 h 次线性投影关键词是学习过的线性投影。也就是说每个头有自己的 W_Q、W_K、W_V形状都是 d_model×dk8 个头就是 8 组独立的投影矩阵不是把 512 维向量平均切 8 份各 64 维。切片的说法在工程实现里成立因为可以合并成一个大矩阵再 reshape但语义上是错的切片意味着 8 个头看到的输入子空间是固定的、互不重叠的而独立投影意味着每个头都能看到全部 512 维输入只是投影到各自的 64 维子空间。工程上怎么做把 8 个 512×64 的 W_Q 拼成一个 512×512 的大矩阵一次矩阵乘法得到 512 维再 reshape 成 8×64。这也是论文说由于每个头部的维数降低总的计算成本与全维数的单头注意力相似的原因——参数量和 FLOPs 基本没变变的是表达方式。多头到底买到了什么论文的说法是允许模型共同关注来自不同位置的不同表征子空间的信息而单个注意力头做平均会抑制这种多样性。表 3 的行A给了实证单头比 8 头差 0.9 BLEU。但头也不是越多越好同一行下面还有一句过多的头也会导致质量下降——头数加到 16 而 dk 掉到 32 时dev BLEU 从 25.8 掉到 25.4。原因是每个头的维度太小点积能承载的信息量不够。这条结论对实践的直接指导是h 和 dk 要一起看d_model 固定时,把 h 翻倍等于把 dk 减半通常不划算。3.4 位置编码正弦版本和可学习版本差多少因为整个架构里没有循环也没有卷积模型本身对顺序一无所知位置信息必须显式注入。3.5 节给的方案是在嵌入上直接加上位置编码两者维度都是 d_model可以直接相加。公式是 PE(pos, 2i) sin(pos / 10000^(2i/d_model))PE(pos, 2i1) cos(pos / 10000^(2i/d_model))偶数维用 sin奇数维用 cos不同维度对应不同波长波长从 2π 到 10000·2π 构成等比数列。论文给的理由是对于任何固定的偏移量 kPE(posk) 可以表示为 PE(pos) 的线性函数模型因此容易学到相对位置。这个性质在数学上成立但表 3 的行E做了个更诚实的对比把正弦编码换成可学习的位置嵌入dev BLEU 是 25.7 对 25.8几乎没差别。论文自己也承认两个版本产生了几乎相同的结果。那为什么还选正弦原文补了一句可能允许模型外推比训练时更长的序列。这句话的实际含义是可学习嵌入在遇到训练时没见过的位置索引时会没有对应的向量只能截断或者填零而正弦编码对任意 pos 都能算出值。如果你的推理序列长度和训练长度差不多这个优势用不上选哪个都行可学习版本还少写一段代码如果你的场景是训练时 512、推理时要处理 2048正弦版本更稳。位置编码有一个实现细节译文里没强调嵌入要乘根号 d_model 再和位置编码相加。不乘的话嵌入的数值尺度通常在 1 附近和位置编码sin/cos 在 -1 到 1 之间虽然量级接近但嵌入是学习出来的训练中尺度会漂早期很容易被位置编码压过去。乘上根号 512 之后两者在一个量级上这一步在 3.4 节末尾那句在嵌入层中我们将这些权重乘以根号 d_model里很容易读漏。4. 训练配方复现warmup 4000、标签平滑与检查点平均模型结构搭对了只是能跑通能不能收敛到论文报的 BLEU八成取决于第 5 章那几段训练配方。这一章的内容在译文里被压缩得比较厉害5.3 节讲到优化器时句子断在半截我们将亚当优化器与。后面就没了5.4 节的三种正则化也是三言两语带过。这恰恰是需要你自己补全的部分也是抄作业最容易抄错的地方。4.1 学习率调度warmup 4000 步不是拍脑袋公式 (3) 是全文唯一一个与训练动态相关的公式lrate d_model^(-0.5) · min(step^(-0.5), step · warmup_steps^(-1.5))它的形状是先线性上升、再按步数平方根倒数衰减。前 warmup_steps 步走 min 的右半边学习率随 step 线性增长之后走左半边学习率按 1/√step 下降。这个设计的动机是 Adam 在训练初期二阶矩估计还不准更新步长会异常大先压小学习率让统计量稳定下来。def lr_schedule(step, d_model512, warmup4000): 论文公式 (3)线性预热 平方根倒数衰减 step max(step, 1) # 防 step0 除零 scale d_model ** -0.5 # base: 1/sqrt(512) ≈ 0.0442 return scale * min(step ** -0.5, step * warmup ** -1.5) for s in (1, 1000, 4000, 10000, 100000): print(s, round(lr_schedule(s), 6))跑一遍会看到第 1 步约 2.2e-7第 4000 步达到峰值约 7.0e-4第 100000 步掉到约 1.4e-4。峰值出现在 warmup 结束那一步这是这个公式的必然结果可以用来反推如果你的峰值学习率明显偏离 5e-4 到 1e-3 这个区间说明 d_model 或 warmup 抄错了。大模型 d_model1024 时峰值约 4.9e-4比基础版低因为前面的 d_model^(-0.5) 变小了——这一点常被误认为大模型要用更小的学习率其实是公式自动带出来的。还有三个参数在这次译文里缺失但训练跑不起来就没法谈复现Adam 的 β10.9、β20.98、ε1e-9。β2 取 0.98 而不是默认的 0.999是为了让二阶矩对近期梯度更敏感配合 warmup 一起稳住初期训练。这两个数如果不改用默认值也能跑但收敛曲线会明显更抖。4.2 正则化三件套dropout 的两种取值和标签平滑5.4 节列了三种正则化作用位置各不相同抄的时候别混正则化作用位置base 取值big 取值效果残差 dropout每个子层输出加回残差之前0.10.3防过拟合表 3 行D显示去掉后 dev BLEU 掉到 25.5嵌入位置编码 dropout两者相加之后0.10.1同上属于同一个 Pdrop标签平滑训练时对目标分布做平滑0.10.1困惑度变差但准确率和 BLEU 变好dropout 这一项有个容易抄错的细节论文原文是我们对编码器和解码器堆栈中的嵌入和位置编码的总和应用了丢弃同时将 dropout 应用于每个子层的输出然后将其添加到子层输入并进行归一化。这是两个不同的 dropout 位置但共用一个 Pdrop 值。实现的时候如果只加了一处模型在小数据集上会过拟合得很快。标签平滑的取值 0.1 在译文里那个句子被翻得有点绕——我们使用了值的标签平滑中间的数丢了。这个 0.1 是平滑系数 ε做法是把正确类别的目标概率从 1 降到 1-ε把 ε 平均分给其余类别。论文对它的评价很直白伤害困惑度因为模型学会了更不确定但提高了准确性和 BLEU。这个取舍在表 3 行D有数据支撑把 ε 设成 0 时 dev BLEU 是 25.5设 0.1 是 25.8设 0.2 又掉回 25.5。0.1 是那个甜点。还有一处值得单独提醒大模型用的 dropout 是 0.3 而不是 0.1。6.1 节末尾那句为英语到法语培训的变压器(大)模型使用的辍学率 Pdrop 0.1而不是 0.3是特例说明——大模型默认 0.3只有英法这个任务上调回了 0.1。这类例外在译文里被长句裹着不逐字核对很容易当成通用规则抄走。4.3 推理侧束搜索、长度惩罚与检查点平均训练完不等于能拿到论文那个数。6.1 节给了推理配置束搜索宽度 4长度惩罚 α0.6最大输出长度设为输入长度加 50允许提前终止。束宽 4 在今天看来很小这也是论文强调训练成本只有文献中最佳模型的一小部分的一部分原因——推理成本也压得低。检查点平均是另一处容易忽略的技巧。基础版平均最后 5 个检查点大模型平均最后 20 个检查点每 10 分钟存一次。这个做法几乎零成本通常能换来零点几个 BLEU而且不需要重新训练。如果你只保存了最后一个检查点这个收益就白白丢了。推理超参取值说明束宽4越大越慢收益递减明显长度惩罚 α0.6小于 1鼓励稍短的输出最大输出长度输入长度 50防止解码器不收敛提前终止允许所有束都遇到结束符就停检查点平均base 5 个 / big 20 个间隔 10 分钟保存一次这些超参论文自己说是在对开发集进行实验后选择的不是理论推导出来的。这句话的实操含义是如果你的任务领域和新闻翻译差得远α0.6 未必合适得自己在 dev 上扫一遍。束宽倒是有个通用经验4 到 8 之间收益最明显再往上加BLEU 涨得还没推理时间快。5. 避坑清单五个让这份译文白读的翻车现场译文本身不是问题问题在于文档格式和机器翻译会给一些看起来对但用起来错的东西。下面五条都是我在拿类似译文当底稿时真栽过的按现象、原因、解决三步写你可以对着自查。5.1 文档层的三个坑术语、公式、表格坑一拿变压器去搜资料一条有用的都搜不到。现象读完 3.1 节想找别人对编码器堆栈的实现讲解搜变压器 编码器返回的全是电力设备参数。原因Transformer 在译文里被直译成变压器而中文技术社区只用英文原名。同一段里关注度多余注意力图层归一化都是直译搜索命中率接近零。解决动手读之前先按第 2.2 节那张表做一遍全局替换把译文另存成一份术语统一过的版本。这一步花五分钟省下的是后面十几次无效搜索。坑二公式 (1)(2)(3) 在 docx 里不全根号覆盖范围看不出来。现象3.2.1 节的注意力公式在文档里只剩下一半根号只盖住了 dk 的一部分还是盖住整个点积看不清楚。5.3 节的优化器那句断在半截公式编号后面直接跟下一段。原因docx 的公式对象在转换和复制过程中会退化尤其是带根号、上下标和矩阵的公式转成纯文本时丢失最严重。解决不依赖文档里的公式排版按语义重建。缩放点积注意力的语义是点积除以根号 dk根号只管 dk不管点积整体学习率调度的语义是两个表达式取小。重建完用自己的代码跑一遍量级对得上就说明重建对了。坑三表 2 和表 3 复制到 Excel 里整个错位。现象表 3 有十几列粘到表格软件里之后 BLEU 跑到参数量那一列下面行标签base、big、各行编号跟数据对不上。原因原表是紧凑排版很多单元格是空的表示与基础模型相同复制时空白单元格被合并或丢弃列就偏了。解决按行标签重建不要直接粘。表 3 的行标签是A到E加 base 和 big每行只改了一到两个参数其余继承基础模型——先写一行完整的基础配置再逐行只覆写变化项这样即使错位也能一眼看出来。5.2 内容层的两个坑结论被断句带偏坑四把8 个 GPU 训 3.5 天当成今天还能复现的基线。现象照着 5.2 节的配置搭环境发现单机 8 卡跑 300K 步要的时间远超预期或者在小数据集上根本训不到 28.4 BLEU。原因28.4 是在特定数据规模约 450 万句对、特定词表共享 BPE约 37000 词、特定 batch每批约 25000 源 token 加 25000 目标 token下得到的。译文里这几个数字分散在 5.1 和 6.1 两节读的时候容易只记住 BLEU 不记住前提。8 张卡 3.5 天是当年的硬件条件下的数字换硬件后时间会变但总计算量不变。解决把数据规模、词表大小、batch 组成、总步数四项写在一起看任何一项不同28.4 这个数就不该拿来当目标。做小规模验证时dev BLEU 到 25 左右就说明结构对了剩下的差距是数据和算力。坑五把译文里层归一化在残差之后理解成 Pre-LN。现象照着译文实现每个子层写成 x x LayerNorm(Sublayer(x))训起来 loss 抖动深层堆到 6 层以上开始不收敛。原因论文原文是 LayerNorm(x Sublayer(x))归一化在残差相加之后也就是 Post-LN。中文语序我们在两个子层的每一个周围使用剩余连接接着是层归一化如果快读很容易理解成先残差、再加、再归一化或者反过来。解决只看公式不看中文语序。x Sublayer(x) 整体作为 LayerNorm 的输入这是 Post-LN。补一句实践背景Post-LN 需要 warmup 才能稳住后来社区里流行的 Pre-LN 结构是为省掉 warmup两者不是一回事别混着实现。注意这五条里前三条属于文档处理问题后两条属于理解问题。文档问题十分钟能修完理解问题得靠动手算一遍参数量和量级才能确认。6. 拿它做二次验证把论文的维度账用二十行代码算一遍读完一份译文怎么判断自己真读懂了我的标准很土能不能把论文里的关键数字重新算出来。算得出来说明约束关系在脑子里算不出来说明只是记住了结论。下面这段代码不训练任何东西只做三件事——核对单层参数量、核对总参数量、核对缩放前后 softmax 的分布差异。import numpy as np d_model, d_ff, h, N 512, 2048, 8, 6 dk d_model // h # 64由约束推出而非自由设定 # 单层自注意力Q K V 输出投影四个 d_model x d_model attn 4 * d_model * d_model # 单层前馈两个线性层加偏置 ffn d_model * d_ff d_ff d_ff * d_model d_model per_layer attn ffn print(f单层约 {per_layer/1e6:.2f}M6 层编码器约 {N*per_layer/1e6:.1f}M) # 用同一个随机点积比较缩放前后的 softmax 熵 rng np.random.default_rng(1) q, k rng.normal(sizedk), rng.normal(sizedk) for scale in (1.0, np.sqrt(dk)): s np.array([q rng.normal(sizedk) / scale for _ in range(8)]) s s - s.max() w np.exp(s) / np.exp(s).sum() print(f除以 {scale:5.2f} 时权重最大值 {w.max():.3f}熵 {-np.sum(w*np.log(w1e-12)):.3f})跑完会看到两个结果。参数量上单层约 3.15M、六层编码器约 18.9M加上解码器的交叉注意力和共享嵌入总量落在 63M 到 65M 之间跟论文报的 65M 对得上——对不上就说明哪一项漏了或者重复算了。第二个结果更直观不缩放时权重最大值接近 1熵很小等价于注意力几乎全押在一个位置上梯度自然传不回来除以根号 64 之后权重分布明显摊开熵上升。这就是 3.2.1 节那句推入梯度极小的区域的数值版本比读十遍文字管用。这套验证可以固化成一张清单每读一篇架构类论文就走一遍验证项怎么验通过标准维度约束是否闭合手算 h×dk 是否等于 d_model完全相等参数量是否对得上按层拆开算乘以层数与论文报的数量级一致关键公式的数值影响构造随机输入跑一遍能复现论文描述的现象消融结论是否可解释改动一个组件看指标方向方向与论文表 3 一致最后一栏最容易被跳过。表 3 里单头比 8 头差 0.9 BLEU头太多反而掉点去掉 dropout 掉 0.3这几条如果你只是记住数字遇到自己的任务时不知道该信哪条如果你能说出每条背后的机制单头抑制了子空间多样性、头多则 dk 太小、dropout 缺失导致过拟合换任务时才有判断力。说个教训。有次图省事直接把译文里的dff 2048抄进配置结果 2048 前面少了个空格解析成了dff2048倒没错但旁边一行dk dv DM model/h 64里的DM model被我一起抄进去配置文件里多出一个没人认识的环境变量训练启动时报了一堆看不懂的错排查了四十分钟才定位到是译文里的空格和大小写混杂。从那以后我每次拿译文当底稿都强制把文档里所有数字单独抽成一张表人工过一遍确认没有粘连、没有单位缺失、没有半角全角混用才允许进配置文件。读论文图快落地图稳这两件事最好分开做。希望帮到你。本文还有配套的精品资源点击获取