LLM底层技术入门：从MLP到Transformer与自监督学习

简介这是一份面向零基础与非科班读者的LLM底层技术原理入门PDF指南尤其适合希望理解ChatGPT等大模型技术脉络的投资人、创业者与商科研究者。内容从多层感知器、CNN、RNN及LSTM/GRU、强化学习、seq2seq与自监督学习讲起逐步过渡到Transformer、GPT、BERT并覆盖Prompting、InstructGPT、SFT/RLHF与思维链等议题。资源包仅含1个PDF文件约15.1MB轻量便于跨设备阅读文档以颜色标注重点定义、常识与案例并给出从第六章切入的速学路径第十五章还用可跳转索引的大表格归纳技术发展路径。已有542人学习适合拿来建立概念框架、撰写研报时注明出处的参考资料也可按章节反复查阅以补足数学与模型细节。1. 一份文档最反直觉的地方是先劝你“别从头读”绝大多数技术资料的默认约定是线性的第一章讲基础最后一章讲应用顺着读就行。这份《一站式 LLM 底层技术原理入门指南》把这套约定打破了——它把前五章折叠起来明确建议从第六章的 Transformer 切入读完再回头补第二章的多层感知器和第四章的循环网络。表面看这是照顾耐心实际藏着一个判断LLM 入门的真正门槛不是数学前置而是你不知道那些数学最后要拼成什么形状。先看到成品再拆零件零件才有位置反过来做你会在特征工程和概率论之间迷路还没摸到正题就把好奇心耗完。搞懂这套路径为什么成立比背下任何一个公式都值钱。2. 多层感知器神经网络的神秘面纱是怎么被揭开的2.1 语义鸿沟与784维向量一张图是怎么变成输入的人眼看到一个手写的“3”能自动区分笔画粗细、倾斜角度、连笔与否机器拿到的只是像素灰度矩阵没有任何“这是数字”的先验。这个落差就是语义鸿沟。计算机擅长处理低级视觉特征——像素值、色彩直方图、边缘梯度而人类理解的是高级语义——形状、纹理、空间关系。中间这段无人区正是深度学习要吃掉的。填这道沟的第一步不是造模型而是决定“喂什么”。一张 28×28 的灰度手写图最朴素的做法是把每个像素的灰度归一化到 0 到 1 之间越黑越接近 0越白越接近 1然后按行展开成一个 784 维的向量。这一步看起来平淡无奇但它完成了两件关键的事把二维图像结构转成一维定长输入同时让“整张图”成为网络第一层的 784 个神经元各自的一个输入。这就是最原始的特征Feature——不靠人工设计语义只做张量形状的统一。提示这类“展开成向量”的做法丢掉了像素的空间邻接关系图像里上下相邻的两个像素被拆到了向量里隔得很远的位置。卷积网络后来正是为了把这层结构找回来而 Transformer 是用位置编码另起一套办法来解决。真正麻烦的从来不是怎么展开而是展开之后怎么办。给你 784 个数字你怎么判断它是 3 还是 7早期做法是人工设计特征数笔画端点、算水平投影、找闭合环。这条路能走通一部分但遇到潦草字迹就崩因为人设计特征时依赖的是自己的视觉直觉而直觉覆盖不了所有书写变体。神经网络换了个思路特征不设计让模型自己学。这句话听着像口号落到实现上就是一堆矩阵乘法和一个非线性函数。2.2 局部表示到分布式表示为什么 one-hot 一定会撞墙在把特征交给网络之前有个更底层的问题容易被跳过数据到底用什么形式表示。用颜色举例如果给每种颜色起一个名字——“中国红”“天蓝”“琥珀色”“咖啡色”——然后建一个词表每个颜色用与词表等长的 one-hot 向量表示第 i 个颜色在第 i 维置 1、其余置 0。这种做法叫局部表示或离散表示。它的优点很实在可解释性强方便人工归纳做特征组合时计算也快稀疏二值向量的线性运算成本极低。早期语言模型确实用 one-hot 表示词。但两个致命缺陷躲不掉。第一是维度爆炸词表里加一个新颜色就得多加一维词表规模直接等于向量维度几万个词就是几万维的稀疏向量。第二更隐蔽——任意两个 one-hot 向量的内积都是 0也就是所有颜色彼此完全正交“红色”和“中国红”的相似度与“红色”和“黑色”的相似度一模一样。模型没法从表示本身学到任何语义邻近关系。分布式表示换了个编码思路不用“是哪个词”而用“在哪些维度上取什么值”。RGB 用三个维度表示所有颜色每个维度承载一部分信息具体某个颜色是三维空间里的一个点。向量从几万维的稀疏 0/1 变成三维的稠密实数而且相似度可以直接算余弦距离或欧氏距离“红色”和“中国红”在空间里天然靠得近。这套思路迁移到自然语言就是词向量每个词被映射成一个几十到几千维的稠密向量每一维都编码了它在不同语义、语法属性上的倾向。这套“用低维稠密向量承载语义”的做法是后面所有内容的地基。Transformer 里的词嵌入层、位置编码、注意力输出全是分布式表示GPT 之所以能把“国王 - 男人 女人 ≈ 女王”这类关系算出来根源就在这儿——语义被编码成了可以被加减的向量。2.3 权重、激活与链式法则MLP 凭什么“什么都能拟合”一个神经元做的事极其简单接收若干输入各自乘一个权重求和加上偏置再过一次非线性函数。数学上是 $y f(\sum_i w_i x_i b)$。把它排成层前一层所有神经元的输出连到后一层每个神经元就是全连接。两层之间不过是一次矩阵乘法形状 (128, 784) 的权重矩阵乘上 (784, 1) 的输入向量得到 (128, 1) 的中间结果。import numpy as np # 输入一张 28x28 手写数字图展平成 784 维像素值归一化到 [0,1] x np.random.rand(784, 1) # 第一层 784 - 128W1 形状 (128, 784)b1 形状 (128, 1) W1 np.random.randn(128, 784) * 0.01 b1 np.zeros((128, 1)) # 第二层 128 - 10输出 0~9 十个类别的原始得分logits W2 np.random.randn(10, 128) * 0.01 b2 np.zeros((10, 1)) def relu(z): return np.maximum(0, z) # 逐元素 max(0, z)注入非线性 def forward(x): z1 W1 x b1 # (128,784) (784,1) - (128,1) a1 relu(z1) # 负数被压成 0正数原样通过 z2 W2 a1 b2 # (10,128) (128,1) - (10,1) return z1, a1, z2 z1, a1, z2 forward(x) probs np.exp(z2) / np.exp(z2).sum() # softmax得分转概率10 个值加起来为 1这段代码里权重矩阵的行数决定这一层有多少个神经元列数必须等于上一层输出的维度。relu那一步是整个结构里最不能省的地方如果把两层线性变换直接串起来$W_2(W_1x) (W_2W_1)x$等价于一次线性变换堆一百层和堆一层没有区别。非线性函数把线性组合的封闭性打破网络才有可能逼近任意连续函数。那么权重怎么定随机初始化显然不行得靠损失函数给方向。预测概率和真实标签之间的差距用交叉熵衡量然后对每个权重求偏导看“这个权重往哪边动一点损失会降多少”。求导靠链式法则从输出层逐层往回传这就是反向传播。以一个两层网络为例梯度计算大致是# 假设已经拿到 softmax 输出 probs 和真实标签的 one-hot 向量 y dz2 probs - y # (10,1)softmax 交叉熵的梯度形式异常简洁 dW2 dz2 a1.T # (10,128) db2 dz2 da1 W2.T dz2 # (128,1)误差回传到隐藏层 dz1 da1 * (z1 0) # ReLU 的导数正区间为 1负区间为 0 dW1 dz1 x.T # (128,784) db1 dz1dz2 probs - y这个结果值得多看一眼它意味着梯度的大小直接由“预测偏离真值多少”决定预测得越离谱修正幅度越大预测接近正确时梯度自动趋近于零。这套机制让训练不需要任何人工干预网络自己知道该往哪改。(z1 0)那一步就是 ReLU 的导数也是“死亡神经元”问题的来源——某个神经元的加权和长期为负梯度恒为 0它就再也不更新了。理解了前向的矩阵乘法和反向的链式法则神经网络的“神秘感”基本就消散了。它没有魔法只是把“调整参数让预测更准”这件事翻译成了可微的优化问题。后面所有模型——循环网络、注意力、GPT——都是在这个骨架上换零件骨架本身从没变过。这也是为什么跳过这一章直接看 Transformer 会飘你能背出注意力公式却说不清为什么需要非线性、为什么残差能救深层网络。3. 自监督学习没有人工标注梯度究竟从哪里来3.1 完形填空的巧劲标签为什么能从数据自身长出来有监督学习的成本瓶颈从来不在模型而在标注。要判断一句话是否违规得有人一句一句读、一句一句打标签几百万条数据就是几百万次人工判断扩不动。自监督学习绕开了这个瓶颈不打标签从原始数据里自己造监督信号。这件事第一次听会觉得像取巧但它是整个大模型时代的成本前提。具体做法是掩码。拿一段文本随机遮住其中一部分词把遮过的句子喂给模型让它预测被遮住的位置原本是什么。关键在于标准答案不需要任何人提供它就在原始文本里。模型遮掉的那个位置原文是什么它自己就知道可以直接拿来和预测结果比对、算损失、反向传播。整个过程自动完成数据越多造出来的训练样本越多边际成本接近零。掩码比例的设计比想象中讲究。以 15% 的掩码率为例这 15% 的位置里并不是全部替换成特殊占位符而是分成三份处理import random def build_masked_sample(tokens, vocab_size, mask_prob0.15, mask_id103): tokens: 已切好的词 id 列表 返回 (喂给模型的输入, 用作标签的原词, 参与 loss 的位置掩码) inputs list(tokens) labels list(tokens) active [False] * len(tokens) # 只在这些位置计算损失 for i, tok in enumerate(tokens): if random.random() mask_prob: continue # 85% 的位置不动也不计损失 active[i] True r random.random() if r 0.8: inputs[i] mask_id # 80%替换成特殊占位符 elif r 0.9: inputs[i] random.randrange(vocab_size) # 10%换成随机词 # 剩余 10%保持原词不变但标签仍是它本身 return inputs, labels, active这套 80/10/10 的分配背后有两个动机。如果 100% 都换成占位符模型会学到一条捷径“只有看到占位符的位置才需要预测”而下游微调时输入里根本没有占位符预训练和微调的数据分布就对不上。掺入 10% 的随机词是逼模型对每个位置都保持判别能力不能无条件相信输入是对的剩下的 10% 保持原样则让模型学会把表示和具体词绑定而不是“见到占位符才开始工作”。这三份处理合起来才让预训练学到的表示能迁移到下游任务。这里还有一层更深的价值自监督构造出的监督信号是“上下文一致性”而非某个具体任务的答案。模型要学会填对空就必须掌握词与词之间的搭配、句法结构、甚至常识关联。这种能力是通用的可以迁移到分类、问答、翻译上。相比之下有监督训练出来的模型往往只在标注的那一个任务上表现好。3.2 掩码比例与方向分岔BERT 和 GPT 为什么走向两条路同样是自监督方向选不同模型性格就完全不同。双向掩码看到左右两边再猜中间擅长理解判断情感、抽取实体、做句子匹配这类任务天然需要完整上下文。单向预测只根据左边已出现的内容预测下一个词擅长生成写文章、续代码、对话这类任务在推理时本来就只有左边可用。这不是风格差异而是训练目标和推理方式必须对齐的硬约束。如果一个模型训练时能看到右边推理时却只能看左边那训练和使用的条件就错位了生成质量会崩。所以生成式路线只能走单向理解式路线才可以走双向。这条分岔决定了后面 GPT 系列和 BERT 系列各自的能力边界也解释了为什么早期做生成任务时双向模型怎么调都不如单向模型顺手。还有一点容易被忽略掩码预训练的计算效率低于单向预测。双向要一次性处理整个序列每个位置都可能参与损失单向则是每个位置都产生一个预测任务一个长度为 L 的序列能提供 L 个训练信号数据利用率更高。当模型参数量涨到千亿级这点效率差异会被放大成巨大的成本差这是生成式路线能在 scale 上跑通的原因之一。4. Transformer为什么“注意力”能取代循环结构4.1 RNN 的串行瓶颈长距离依赖为什么会衰减在注意力出现之前处理序列的主流是循环网络。它的工作方式是把句子一个词一个词喂进去每读一个词就更新一次隐藏状态这个状态承载了“到目前为止读到的所有信息”再传给下一步。结构上很优雅符合人对“顺序阅读”的直觉但它有三个绕不过去的麻烦。第一是串行必须等第 t-1 步算完才能算第 t 步无法并行。序列长度是 1000就得串 1000 次GPU 上万个核心大部分时间在空转。这在数据量小的时候还能忍到了大模型预训练阶段训练时间直接以周为单位往上翻。第二是长距离信息衰减。隐藏状态是个定长向量每步都要把新信息和旧信息压缩进去句子一长早期词的信号被反复覆盖传到几十步之后基本模糊了。虽然 LSTM 和 GRU 用门控机制输入门、遗忘门、输出门缓解了这个问题让网络自己学“该记什么、该忘什么”但缓解不是根治——信息仍然必须通过一条串行的链传递。第三是梯度沿时间反向传播时的连乘效应。链式法则一路乘下去乘数小于 1 就梯度消失大于 1 就梯度爆炸。门控机制是在这条链上开了几条捷径让梯度有路可走可链还在。这三个问题指向同一个根源信息传递的路径太长。注意力的思路是干脆不传了让任意两个位置直接建立连接。4.2 QKV 自注意力一句话里的每个词怎么“看见”彼此自注意力的做法可以类比成一次带权重的信息检索。每个词生成三个向量Query我在找什么、Key我能提供什么、Value我实际携带的信息。拿当前词的 Query 去和句子里所有词的 Key 做点积得到一个相关性得分得分越高说明那个词对当前词越重要。把得分过 softmax 归一化成权重再用这些权重对所有 Value 加权求和就得到当前词的新表示。import numpy as np def softmax(x, axis-1): x x - x.max(axisaxis, keepdimsTrue) # 减最大值防止 exp 上溢 e np.exp(x) return e / e.sum(axisaxis, keepdimsTrue) def scaled_dot_product_attention(Q, K, V, causal_maskNone): Q/K/V 形状均为 (batch, heads, seq_len, d_k) d_k Q.shape[-1] # (b,h,L,d_k) (b,h,d_k,L) - (b,h,L,L)每个位置两两之间的相关性 scores Q K.transpose(0, 1, 3, 2) / np.sqrt(d_k) if causal_mask is not None: scores scores causal_mask # 上三角填 -1e9softmax 后权重趋近 0 weights softmax(scores, axis-1) # 每行加起来为 1 return weights V # (b,h,L,d_k)按权重汇总信息/ np.sqrt(d_k)这个缩放因子不是装饰。点积的结果方差随维度 d_k 线性增长维度一大得分之间的差距被拉得很开softmax 会饱和成接近 one-hot 的分布——绝大部分权重集中在一个位置上其余全是 0。softmax 一旦饱和梯度就接近消失训练推不动。除以 $\sqrt{d_k}$ 把方差拉回 1 附近让分布保持“软”梯度才能持续流动。多头机制是把这套计算并行做 h 次每个头用独立的投影矩阵把输入映射到不同的子空间。以常见的配置为例模型维度 512、8 个头、每头 64 维8 个头各自关注不同的关系模式有的捕捉指代有的捕捉句法搭配有的捕捉语义角色最后把 8 个 64 维输出拼回 512 维再过一次线性变换融合。这相当于让模型在多个表示子空间里同时做检索比单一头只能学一种关系强得多。回头看这套设计一次性解决了循环网络的三个问题所有位置的计算互不依赖可以整个序列一次性矩阵乘完GPU 被打满任意两个位置之间只隔一次点积路径长度恒为 1再远也不衰减梯度沿这条短路径回传不需要穿越几十步的连乘。4.3 位置编码、残差与层归一化并行化省下的时间用什么补回来注意力有个副作用它对输入顺序完全不敏感。把句子里的词打乱每个词算出来的注意力权重只是跟着换了位置模型看到的“关系图”一模一样。可语言的含义高度依赖顺序“狗咬人”和“人咬狗”完全是两回事。所以必须额外把位置信息注入进去。主流做法是位置编码。原始方案用不同频率的正弦和余弦函数生成每个位置的向量直接加到词嵌入上。选三角函数而不是学一个位置查找表理由是它能表达相对位置位置 pk 的编码可以表示成位置 p 编码的线性变换模型因此能泛化到训练时没见过的长度。后来的方案改成可学习的位置嵌入或者用旋转位置编码把位置信息直接作用在 Query 和 Key 上动机都是让长序列外推更稳。第二个补丁是残差连接。Transformer 的每个子层都写成LayerNorm(x Sublayer(x))输入 x 绕过子层直接加到输出上。这一条是深层网络能训起来的关键反向传播时梯度可以沿这条加法通路无损流回底层不用穿过层层矩阵乘法和激活函数。没有残差堆到十几层梯度就衰减得差不多了有了残差堆到几十上百层仍然能收敛。第三个补丁是层归一化。它对每个样本在特征维度上做标准化把激活值拉回均值 0、方差 1 的分布。作用是让各层输入分布保持稳定避免深层网络中激活值尺度逐层漂移导致训练不稳。位置也有讲究原始 Transformer 把归一化放在残差相加之后Post-LN后来发现 Pre-LN先归一化再进子层在深层模型上梯度更稳、对学习率更不敏感现在的主流实现基本都用 Pre-LN。这三个补丁合起来是一个清晰的取舍注意力用“全连接”换来了并行和短路径代价是丢掉了顺序先验于是用位置编码补回顺序、用残差补回深层可训练性、用归一化补回数值稳定。整套结构的每一处都能在“我失去了什么、我用什么补”这个框架里找到解释。理解了这个框架再看 GPT 这类堆叠几十层解码器的模型就不只是“很大”这一个印象了。5. 避坑读这类“零门槛”文档时最容易翻车的五个地方5.1 认知层面的三个坑把“零门槛”理解成“零前置”。现象是读到链式法则、条件概率展开、矩阵转置时直接卡死怀疑自己不适合。原因在于这类文档说的“零门槛”指的是不需要科班背景不是不需要数学工具——它自己在开篇就写明绕不开微积分、概率论和线性代数。解决办法很具体只补四个点就够跑通全文——导数与极小值、多元函数的链式法则、条件概率及其链式展开、向量与矩阵乘法及形状规则。每个点花两三个小时比补完一本高数教材效率高得多。从头读到尾。现象是前五章读完耐心耗尽正题一个字没碰。原因是前五章是背景铺垫与主线耦合很弱人工智能学派分类、有监督与无监督的定义、浅层学习与深度学习的区别这些内容在读到 Transformer 之前用不上。正确做法是接受那份学习路径——先第六章看 Transformer再回第二、四章看 MLP 和 RNN然后第七、十章再回第八章理解预训练最后第十二、十三章看 GPT。路径不是偷懒是把动机放在工具之前。把颜色标注当装饰。这份材料用不同底色区分了“要重点包括什么”“重要常识”“重要定义”“辅助理解的例子”“无关紧要的闲话”。现象是读的时候跳过这些标记读到后面发现前面某个结论“凭空出现”越读越虚。原因是黄色标注的那些内容比如“神经网络可以拟合各种概率函数”是直接给结论、不展开论证的公理必须当成已知条件接受蓝色标注是定义需要单独记下来。解决办法是把黄色标注抄成一页“公理清单”蓝色定义另起一页读后面章节时随时对照。5.2 实现层面的两个坑跳过 MLP 直接啃注意力公式。现象是能一字不差背出 softmax(QKᵀ/√d_k)V但被问“为什么要除以 √d_k”“为什么需要残差”就答不上来。根源在于注意力的每个部件都能在更基础的模型里找到动机缩放因子来自点积方差随维度的增长残差的必要性来自深层网络的梯度衰减非线性的必要性来自线性变换的封闭性。这些动机在 MLP 和 RNN 那两章讲得最透。规避办法是至少手推一遍两层网络的梯度把dz2 probs - y这类简洁结果亲手算出来一次。把 GPT 简单理解成“很多层解码器堆起来的大号 Transformer”。现象是能用架构图解释前向过程却解释不了为什么同一个基座模型经过不同后训练能表现出完全不同的行为——有的会拒绝、有的会胡编、有的会一步步推理。原因是架构只决定能力上限不决定能力怎么被调用。预训练给的是“下一个词预测”这一个目标指令微调改变的是“什么输入该对应什么输出格式”基于人类偏好的强化学习改变的是“哪些输出更被接受”。这三层要分开记架构层、目标层、对齐层。混在一起看就会觉得模型行为是玄学。注意这些坑的共同点是“跳过了动机直接记结论”。技术文档里最贵的从来不是结论而是结论成立的条件。6. 从预训练到对齐这条路线做了哪些设计取舍把整条链路拉直看GPT 这条路线其实只做了一个核心选择把一个极简目标——根据前文预测下一个词——放到极大的数据和参数规模上然后靠后训练把通用能力掰到具体用途上。这个选择的代价和收益都很明确。环节目标换来的能力付出的代价预训练下一个词预测通用语言表示、世界知识压缩算力成本极高输出不可控指令微调输入输出格式对齐听得懂任务描述需要高质量人工构造的指令数据偏好对齐输出符合人类偏好更有用、更少有害输出训练流程复杂存在过度对齐风险思维链提示显式展开推理步骤多步推理准确率提升推理成本增加步骤可能出错这张表真正想说的是架构决定了“能学什么”目标决定了“学到什么”对齐决定了“怎么用出来”。把三层混成一件事就会误以为模型能力是凭空涌现的拆开看每一层都在解决一个具体的工程问题每一步都有明确的失败模式。反过来看那份文档的组织方式它其实也在做同样的取舍。颜色标注承担的是元信息——告诉你这段该信几分、要不要深究折叠前五章承担的是动机排序——把“为什么需要”放在“具体怎么做”之前第十五章那张带索引、可跳转的发展路径总表承担的是全局定位——让你在看到某个模型时知道它站在技术演进线的哪个位置前面解决了什么、后面又被什么替代。三个设计指向同一件事降低读者在错误方向上浪费的时间。我自己的教训来自一次读论文的经历。当时跳过了所有前置推导直接看结论自以为懂了直到要改一处损失函数才发现我根本不知道那个结论依赖哪个假设成立改动一落地就崩。从那以后我读任何材料都强制走一遍“先定位、再补前置、最后看结论”的流程哪怕多花半天。这份材料把这条路径直接写在了开头省掉的正是那半天。希望帮到你。本文还有配套的精品资源点击获取