从N-gram到Transformer：语言模型概率本质与工程演进

简介《大语言模型入门的基础知识》是一份面向初学者与转型开发者的PDF学习材料聚焦大语言模型的概念框架与语言模型基础帮助读者建立从背景认知到方法演进的系统理解。压缩包内仅含1个PDF文件大小约3.24MB轻量便于通读与检索适合作为课程预习、技术分享或入门自学的提纲式读物。内容围绕LLM背景、语言模型定义与评估指标展开并梳理基于规则和统计、神经语言模型、预训练语言模型到大语言模型的发展脉络其中对N-gram、条件概率、数据稀疏、马尔科夫假设及神经网络语言模型的结构与优缺点有较具体的讲解可帮助读者理解生成概率、序列建模和模型评估等核心问题。已有129人学习适合希望用较短时间搭建LLM知识骨架、补齐术语与历史脉络的读者。1. 语言模型它其实只在算一个概率不在“理解”语言“语言模型”这四个字很容易让人以为它在做语义理解。实际上它从一开始只做一件事给一个词序列打分。给定词典 V 和句子 S{W1,W2,…,Wn}它要算出 P(S)即这串词连起来像不像人话。大语言模型也没有脱离这个定义千亿参数、上万亿 token 训练完模型最后输出的仍是一个分布——下一个词是它的概率有多大。搞懂这一点后面所有演进就能串成一条线N-gram 用马尔科夫假设强行缩减条件概率的上下文神经网络语言模型把离散计数换成连续向量Transformer 再用自注意力把“前 n-1 个词”换成整句话的加权。它们其实都是同一个 P(Wn|W1…Wn-1) 在“算得准”和“算得起”之间的不同妥协。这份入门资料的价值就在于把这条妥协链摆出来而不是只罗列名词。2. N-gram马尔科夫假设怎么把指数级参数压成一张计数表2.1 链式法则在工程上为什么直接崩掉按概率论的链式法则一个句子的概率可以精确拆开P(W1,W2,…,Wn) P(W1) · P(W2|W1) · P(W3|W1,W2) · … · P(Wn|W1,…,Wn-1)数学上毫无瑕疵工程上却有两个无法回避的问题。第一个是参数空间。假设词典 V 里有 5 万个词理论上“长度为 n 的上下文”有 V^n 种组合。n3 就是 1.25×10¹⁴ 量级n4 直接到 6×10¹⁸。你不可能为每种组合存一个参数更别说估准。第二个是数据稀疏。哪怕语料有几十亿词绝大多数词组合也从没出现过。按最大似然估计没出现过的组合概率就是 0而链式法则是连乘——只要中间有一项是 0整句概率归零。一句完全正常的话因为某个三词组合没在训练集里出现就被判成“不是人话”这就是那个经典例子里“预测能力几乎为 0”的来源。2.2 bigram 的计数实现C(Wi-1,Wi) 除以 C(Wi-1)马尔科夫假设是这两条缺陷的折中一个词出现的概率只与它前面有限的 N-1 个词有关。N2 就是 bigramN3 就是 trigram。这样条件概率从 P(Wn|W1…Wn-1) 缩成 P(Wi|Wi-1)参数从 V^n 掉到 V²可以靠数数估出来。实现上只有两个计数器分子数“前一个词是 A、当前词是 B”出现了多少次分母数“前一个词是 A”出现了多少次相除即得。下面这段代码把整个过程写全了from collections import Counter import math corpus [ [我, 想, 去, 打, 篮球], [我, 想, 去, 吃, 晚饭], [他, 想, 去, 打, 篮球], [我, 不, 想, 去], ] bigram Counter() # 分子C(Wi-1, Wi) prefix Counter() # 分母C(Wi-1) for sent in corpus: # 句首句尾补标记让 P(第一个词|句子开始) 也可计算 tokens [s] sent [/s] for i in range(1, len(tokens)): bigram[(tokens[i - 1], tokens[i])] 1 prefix[tokens[i - 1]] 1 def p(word, prev): 返回 P(word | prev)未登录组合按加一平滑处理 return (bigram[(prev, word)] 1) / (prefix[prev] len(bigram))几个细节值得单独说。句首句尾补s和/s是为了让“句子第一个词”和“句子结束”也变成可统计的事件否则 P(我|·) 和 P( |·) 无从算起。分母用的是prefix[prev]也就是“前一个词出现次数”不是语料总词数这一点搞混了概率会整体偏小。加一是最朴素的平滑给每个没出现过的组合记一次虚拟计数代价是所有概率被轻微稀释但至少不会出现 0。有了单步概率句子概率就是连乘。但工程上没人真去连乘——几十个 0.0x 乘下来很快就浮点下溢成 0。标准做法是取对数再求和def sent_logprob(sent): tokens [s] sent [/s] return sum(math.log(p(tokens[i], tokens[i - 1])) for i in range(1, len(tokens))) print(sent_logprob([我, 想, 去, 打, 篮球])) # 约 -9.2 print(sent_logprob([篮球, 我, 打, 去, 想])) # 明显更低预测下一个词更简单固定上文遍历词表取p(w, prev)最大的那个 w。语料里“我想去打”后面跟过“篮球”也跟过“晚饭”谁的条件概率高就选谁——这正好对应资料里那个例子P(我想去打篮球) P(我想去打晚饭)所以 mask 填“篮球”跟人类语感一致。2.3 n 的选择视野、参数空间与稀疏性的三方拉扯n 的取值不是越大越好它同时被三股力量拉扯n参数量级上下文视野稀疏程度实践地位unigramV0 个词极低只做基线bigramV²1 个词低常用trigramV³2 个词中常用4-gram 以上V⁴ 起3 个词以上高大量组合为 0需强平滑才可用视野变大模型能捕捉的搭配更细但参数量指数增长、未登录组合暴涨平滑的负担也随之加重。实践里真正扛住线上流量的是 bigram 和 trigram4-gram 往上基本要靠回退backoff或插值interpolation才能用。这套方法的优缺点都很清晰。优点是极大似然估计训练极其简单就是数数加除法它完整包含了前 n-1 个词的信息没有信息损失可解释性强到能直接把计数表打出来看。缺点同样致命只能建模到前 n-1 个词窗口外的历史全部丢弃n 增大后参数空间指数爆炸数据稀疏必然带来 OOV词典外的词直接算不出概率泛化能力差——我打篮球和他打篮球在 bigram 里是两个独立事件模型不知道我和他可以互换。最后这一点正是下一章要解决的问题能不能让模型知道“我”和“他”在这个语境下是相近的3. 神经网络语言模型词向量只是附带产物泛化才是目的3.1 三层前馈结构拼接、tanh、softmax神经网络语言模型的输入不再是词本身而是词的稠密向量。整个网络只有三层但每一层都解决 N-gram 的一个具体缺陷。第一层做查表和拼接把前 n-1 个词的词向量从矩阵 C 里取出来首尾拼成一个 (n-1)×m 的长向量 x。第二层是全连接加 tanh 激活把拼接向量压进一个隐层表示。第三层再映射回词表大小 V得到每个词作为“下一个词”的未归一化分数最后 softmax 归一化成概率分布取最大者即为预测结果。import numpy as np V, m, h, n 50000, 128, 256, 3 C np.random.randn(V, m) * 0.01 # 词向量表同样是可训练参数 W1 np.random.randn(h, (n - 1) * m) * 0.01 # 拼接层 - 隐层 b1 np.zeros(h) W2 np.random.randn(V, h) * 0.01 # 隐层 - 词表 b2 np.zeros(V) def forward(ctx_ids): x np.concatenate([C[i] for i in ctx_ids]) # 1. 查表并首尾拼接(n-1)*m a np.tanh(W1 x b1) # 2. 隐层非线性 y W2 a b2 # 3. logits长度 V y y - y.max() # 4. 数值稳定减去最大值 e np.exp(y) return e / e.sum() # 5. softmax 归一化形状变化是理解这段代码的关键输入是两个 int 下标查表后变成 2×128 的矩阵拼接后是 256 维向量隐层输出 256 维输出层回到 50000 维。第 4 步的减最大值是 log-sum-exp 的标准技巧防止 exp 溢出数学上与不减完全等价。tanh 而不是 sigmoid是因为当年 sigmoid 在深一点的网络里梯度消失更严重。3.2 参数规模从 V^n 掉到 V·m 的那一步这是整章最值得记住的一笔账。N-gram 的 trigram 需要覆盖 V³ 种组合而神经网络语言模型的参数总量是V·m词向量表 (n-1)·m·h拼接层权重 h·V输出层权重代入 V5 万、m128、h256、n3大约是 640 万 655 万 1280 万合计两千多万而且这个数字随窗口长度 n 只是线性增长不随 n 指数增长。在 trigram 上两者的差距是十几个数量级。更关键的是参数变少换来的不是能力变弱而是泛化变强。因为词被映射到连续空间后语义相近的词向量距离接近一个从没在训练集里出现过的组合只要它的词向量落在已知组合附近网络照样能给出一个非零且合理的概率。N-gram 遇到没见过的组合只能靠平滑硬凑神经网络则是从向量几何里“推”出来的。这条思路后来被推到极致——词向量本身甚至能作为独立产物拿去做别的事但在这个结构里它只是让泛化成立的必要条件不是目的。3.3 为什么它没能解决长依赖理论上网络可以建模任意长的上文工程上不行卡在三个地方。第一是窗口仍然是固定的。输入就是前 n-1 个词第 n 个词之前的信息一律看不到。想扩大窗口就得加大 n拼接层权重随之线性膨胀训练成本跟着涨而这个窗口是硬边界不存在“重要就多看一眼”的机制。第二是梯度问题。序列一长反向传播的路径就长梯度在连乘中指数衰减或爆炸靠 tanh 这种饱和激活更难传递。用循环神经网络RNN把窗口放开能缓解一部分但时间步之间必须串行计算训练时没法并行长句一多就慢得没法迭代。第三是训练目标本身的局限。每个位置只看前 n-1 个词模型学到的都是局部搭配句法层面的依赖比如主语和谓语隔了十几个词根本没有信号去约束。这三点合起来直接指向了下一个阶段的答案能不能让每个位置一次看到整句话并且还能量化“该看谁”4. 预训练到大语言模型参数量跨过一条线之后用法整个变了4.1 预训练 微调两阶段的成本为什么要分摊预训练语言模型的思路是先在超大规模无标注文本上用自监督目标训练一个通用模型让它学到通用的语言表示再在具体下游任务上用少量标注数据微调把这份表示迁移过去。典型目标有两类完形填空式的掩码语言建模遮住一部分词让模型猜和下一句预测另一类是纯粹的自回归下一词预测。这个两阶段设计的经济账很直白。无标注文本几乎免费标注数据又贵又慢而且每个任务都要单独标一遍。把最贵的那部分成本从零学语言只付一次摊到后续 N 个任务上单任务成本立刻降下来。资料里把这一步概括为“预训练学通用表示、微调做任务迁移”机制上它确实成立底层学到的句法、搭配、语义关系是跨任务共享的任务头只需要学最后一层映射。微调阶段有几个工程惯例背后都有原因# 微调底层冻结或极小学率任务头正常训练 for p in model.encoder.parameters(): p.requires_grad False # 可选冻结底层防止小数据集把通用表示带偏 head nn.Linear(hidden_size, num_labels) opt torch.optim.AdamW(head.parameters(), lr2e-5) # 比预训练小一到两个量级学习率取 2e-5 这个量级而不是 1e-4是因为预训练权重已经在一个很好的局部区域步子太大会把它踩坏也就是常说的灾难性遗忘。冻结底层则是在下游数据量很小时更保守的选择干脆别动通用表示只学任务头。4.2 自注意力把“前 n-1 个词”换成整句加权代价是 O(L²)Transformer 的核心是自注意力。每个位置的词生成三个向量查询 Q、键 K、值 V然后用 Q 和所有位置的 K 做点积算相关性softmax 归一化成权重再对 V 加权求和。一个位置的输出是整句话里所有位置的加权组合——窗口这个概念被彻底取消了。有两个细节必须解释否则容易用错。一是为什么要除以 √d_k。点积的方差随维度 d_k 线性增长维度一大点积结果就会落到 softmax 的饱和区梯度趋近于零。除以 √d_k 把方差拉回 1 附近这是让训练稳定的必要条件不是可选项。二是为什么必须要位置编码。注意力本身对输入顺序是置换不变的——把词序打乱算出来的加权结果只是跟着换位置模型根本不知道谁在前谁在后。位置编码就是把这个信息额外注入进去的补丁。代价在复杂度上。序列长度 L 时注意力矩阵是 L×L计算和显存都是平方级。这直接决定了后来所有长文本方案的动机不是模型不想看长是平方项撑不住。相比之下 RNN 是 O(L·d²) 但无法并行CNN 需要堆叠很多层才能让远距离位置建立联系。三者的取舍可以摆成一张表结构任意两位置的最短路径并行性单层复杂度RNNO(L)时间步串行O(L·d²)CNNO(log L)需堆叠可并行O(k·L·d²)自注意力O(1)可并行O(L²·d)路径长度决定了长依赖好不好学并行性决定了能不能把大语料吃下去平方项决定了上下文长度上限。大模型能成立靠的正是前两项被卡住的正是第三项。4.3 规模定律与上下文学习10B 之后为什么不用改权重了预训练模型按结构大致分三支双向编码器用掩码完形填空训练擅长理解类任务分类、抽取、检索自回归解码器用下一词预测训练擅长生成编码器-解码器用片段去噪训练擅长转换类任务如翻译、摘要。选型的关键不是哪个更强而是任务形态匹配哪种训练目标。真正的转折发生在参数规模上。随着参数从亿级爬到千亿级模型性能大致随参数量的对数线性上升这条经验规律支撑了“把模型做大”的路线。资料里提到某 1750 亿参数的自回归模型首次展示了大语言模型的性能也提到有开源系列推出 130 亿参数版本、有团队做到 5400 亿参数——这些数字的意义不在于刷新纪录而在于跨过某条线之后模型的用法变了。变化的核心是上下文学习不用调整任何权重只在输入里给几个任务示例模型就能照着格式完成新任务。这跟微调是两种完全不同的交付方式。微调要标数据、要训练、要维护每个任务一个权重副本上下文学习只改 prompt一次前向就完事。前面几章铺垫的所有机制在这里汇合自注意力让模型能在上下文里灵活建立示例与问题的对应关系规模让这种对应关系足够可靠于是“不改权重”从不可能变成了默认做法。代价也跟着来了。参数量大意味着算力要求高、训练周期长而且模型会生成有害或有偏见的内容——因为它是从海量文本里学分布文本里有什么它就可能复现什么。这就引出了对齐这一步在预训练之后用人类偏好数据继续训练把“会说话”调成“说得可靠、安全”。对齐不是给模型加知识是给它加约束让它在本该给高概率的地方给高概率在本该沉默的地方不开口。5. 常见问题与排查这几个翻车现场入门阶段几乎人人撞一遍5.1 数据与概率计算阶段现象一训练集里明明有的句子算出来概率是 0 或者 log 值是 -inf。原因几乎总是数据稀疏某个 bigram 在语料里从没出现过计数为 0连乘把整句概率归零。这不是模型坏了是极大似然估计的固有行为。解决分两层短期在 log 前加一个极小值防崩但这只是让程序不报错概率仍然是错的正确做法是上平滑加一平滑最简单回退或插值效果更好——前者在低频组合上退到低阶模型后者把不同阶的估计加权平均。判断标准是看未登录组合在测试集上的占比占比超过几个百分点平滑方式就必须换。现象二batch 训练时 loss 看着在降但推理时概率分布明显不对。八成是 padding 没做 mask。一个 batch 里句子长度不齐短句要补到统一长度如果注意力或 softmax 把这些填充位也当正常 token 算进去归一化的分母就被污染了。现象很隐蔽训练集上指标还行换成长度分布不同的验证集立刻掉。排查方法是构造一个 batch 里只有一条句子的场景和单条推理的结果对比两者不一致就基本能定位到 mask。解决就是 attention mask 和 loss 的 ignore_index 都要设对别只设一个。现象三换了一份语料重新训OOV 比例飙升。原因是词典是上一份语料建的新语料里出现大量未登录词按定义它们的概率是 0 或统一映射到UNK信息全丢。解决不是简单加大词典而是先看 OOV 是分词粒度问题还是领域漂移问题前者调整分词器并固定版本后者需要重新统计词频、按覆盖率截断词表。要注意词表一旦换了之前所有的概率数值都不可比了这个坑会在下一章细说。5.2 训练与推理阶段现象四模型生成的内容是复读机同一句反复循环。这是暴露偏差exposure bias的典型表现。训练时用的是 teacher forcing每个位置喂的都是真实的上一个词推理时喂的是模型自己上一步的输出。一旦某一步生成偏了错误会顺着自回归链条累积模型越走越偏离训练分布最后退化成高频片段循环。缓解手段有几种训练时按一定概率混入模型自己的预测scheduled sampling、解码时用 beam search 保留多条候选、或者调低温度减少随机性。但根因是训练与推理的目标不一致这些只是缓解。现象五微调完模型在通用能力上明显退化只有任务指标变好。学习率给大了或者训练轮数太多。预训练权重已经处在一个很好的解附近用预训练级别的学习率去微调等于把通用表示整个推平。血泪经验是先冻结底层只训任务头跑通流程确认数据管道没错再解冻顶层用小学习率试2e-5 起步观察通用验证集上的指标有没有掉。掉了就降学习率或减少轮数别硬扛。现象六上下文窗口塞得越满模型对中间内容的召回越差。不是玄学是位置偏置注意力对序列首尾的利用通常好于中段塞满窗口反而稀释了关键信息。解决方式是把最关键的材料放在开头或结尾中间放次要内容或者先做一轮检索压缩别把原始长文直接灌进去。判断有没有踩这个坑做个对照实验就够把同一份关键信息分别放在开头、中间、结尾看回答准确率差距明显就说明位置在起作用。6. 评估指标与设计取舍困惑度低为什么不代表模型好用语言模型的评估分内在和外在两条路。内在指标是困惑度perplexity定义是平均负对数似然取指数import math def perplexity(logprobs): # logprobs: 测试集每个位置的真实词对数概率列表 avg_nll -sum(logprobs) / len(logprobs) return math.exp(avg_nll) # 等效于“模型平均在多少个词里犹豫”取指数的意义是把它换算回“候选词数量”这个直觉量纲困惑度 30大致相当于模型每一步都在 30 个词里犹豫。这个指标计算便宜、定义干净但有三个硬伤它强依赖词表大小和分词粒度两个模型词表不同就没有可比性它衡量的是对真实文本的拟合不衡量生成质量它和下游任务表现并不总是一致困惑度降了但回答变差的情况很常见。外在指标按任务形态走。分类类任务用准确率、精确率、召回率、F1生成类任务长期用 n-gram 重叠度指标比如比较生成文本和参考文本的 1-4 元组重叠比例。这类指标的局限很明确语义正确但换了说法的生成会被判低分而它跟人类判断的相关性一直不高。所以现在更常见的做法是三层组合——自动指标做快速回归用一个能力更强的模型做打分或成对比较关键场景再上人工评估。指标类型代表衡量什么主要局限内在困惑度对真实文本的拟合程度跨词表不可比不反映生成质量重叠度n-gram 重叠类与参考文本的表面相似度惩罚合理改写与人类判断相关性弱任务准确率 / F1具体任务上的正确性需要标注任务间不可迁移偏好成对比较 / 人工人类更接受哪个输出成本高标注者间一致性难保证真正的设计取舍在这里参数、数据、算力三者不是同比例堆就能等比例涨规模带来的是能力上限的抬升但评估方式必须同步升级否则你会拿一个只测表面重叠的尺子去量一个已经会改写、会推理的模型量出来的全是噪声。我自己的习惯是任何一个新模型或新配置上线前必须先在固定词表、固定测试集上跑一遍困惑度做基线对照再跑一遍任务指标最后抽 20 条人工看生成——三层里任何一层对不上就先别信另外两层。这个流程看起来笨但它拦下过的“指标涨了效果却变差”的情况比任何单点优化都多。希望帮到你。本文还有配套的精品资源点击获取