N-gram模型从原理到工程实践：NLP文本处理的核心技术解析

先说句实在话做 NLP 这几年“ngram”这个词几乎每天都在打交道从输入法联想、搜索引擎纠错到文本去重、舆情分析背后都有它的影子。但我发现不少刚入门的朋友对它要么停留在“听说过”的阶段要么只知道个“N 元语法”的翻译真要让他讲清楚原理、写个实现、说说什么时候用它而不是用神经网络就说不利索了。这篇就把 ngram 从原理到工程实现、再到常见坑位一次性讲透。这篇适合两类人看一类是刚接触 NLP 的学生或转行开发者帮你把基础概念打牢另一类是已经在做文本相关业务、想快速选型的工程师可以直接跳到第 3、4、5 节看工程实操和避坑经验。我尽量少用公式吓唬人多用例子和类比把逻辑串起来。1. ngram 到底是个啥从一句话里的相邻关系说起1.1 生活化理解就是把文字切成一个个“滑动窗口”n-gram 的字面意思是“n 个连续的 gram”。gram 在语言学里可以理解成一个最小的语言单位在中文场景下它可以是一个字、一个词甚至是一个拼音、一个笔画。ngram 做的事情非常简单给定一段文本从头到尾按顺序切出“长度为 n 的连续片段”每个片段就是一个 n-gram。拿“我喜欢吃苹果”这句话举例如果按字切unigram1-gram我、喜、欢、吃、苹、果bigram2-gram我喜、喜欢、欢吃、吃苹、苹果trigram3-gram我喜欢、喜欢欢这里就有问题了、喜欢… 不对我重新切。按“我 喜 欢 吃 苹 果”六个字来切 trigram 的话应该是我喜吃也不对是“我喜欢”、“喜欢吃”、“欢吃苹”、“吃苹果”。说实话中文按字切 trigram 会出现大量无意义的组合所以中文里更多是先分词再对词序列做 ngram这个细节后面会专门说。简单说ngram 就是用一个固定大小的窗口在文本上滑动每滑一格就产生一个片段。窗口里的内容互相之间是有连续关系的这种“相邻共现”关系就是 ngram 能发挥作用的核心资产。1.2 三个关键参数n 取几、以什么为单位、窗口怎么滑实操中要敲定三件事第一是 n 的取值。n1 叫 unigram只统计单个字或词出现的频率完全忽略上下文。n2 叫 bigram能捕捉“上一个词是谁”对当前词的影响。n3 叫 trigram能捕捉更长的上下文。n 超过 5 的情况在实际统计语言模型里很少见因为数据稀疏问题会急剧恶化这个在第 5 节细讲。第二是切分单位。英文天然按空格分词所以 ngram 一般以词为单位比如“I love apple”的 bigram 是“I love”和“love apple”。中文没有天然空格所以通常会先做分词再对词序列做 ngram如果不分词直接按字做 ngram也完全可行尤其在搜狗输入法的拼音串处理、以及敏感词匹配这类不需要语义理解的场景按字符切反而更稳。第三是窗口滑动的方式。标准做法是连续滑动、步长为 1这意味着片段之间有重叠。重叠的作用是让每个相邻位置的关系都被捕捉到。这跟卷积神经网络里滑窗提取特征的思想其实异曲同工只不过 ngram 是完全离散的、可解释的。1.3 为什么 ngram 能起作用马尔可夫假设在背后撑腰真正让 ngram 有理论根基的是马尔可夫假设一个词出现的概率只依赖于它前面的有限个词而不是依赖整句话的历史。这句话看起来像句废话但它是把“计算整句话概率”这个复杂问题转化成“计算一堆局部条件概率”的关键。如果没有这个假设我们要估 P(我喜欢吃苹果) 就得统计“我喜欢吃苹果”这个完整句子在语料里出现多少次这几乎是不可能的真实语料里绝大多数长句只会出现一次。但有了马尔可夫假设我们可以把这个概率拆成P(我) × P(喜欢|我) × P(吃|喜欢) × P(苹果|吃)每个局部条件概率都可以从语料里统计出来。bigram 就是只考虑前 1 个词对应一阶马尔可夫假设trigram 对应二阶。n 越大假设越弱、模型越强但需要的数据量也越大。理解了这个权衡你就理解了整个 ngram 模型的精髓。2. ngram 的核心原理与概率计算别被公式吓住2.1 从频率估计概率统计是大模型的底层逻辑ngram 模型本质上是一个概率分布表每一项都来自语料里的频次统计。以 bigram 为例我们要估计 P(吃|喜欢)意思是“看到‘喜欢’这个词之后下一个词是‘吃’的概率有多大”。做法特别朴素P(吃|喜欢) C(喜欢, 吃) / C(喜欢)C(喜欢, 吃) 表示“喜欢 吃”这个二元组在语料里共现的次数C(喜欢) 表示“喜欢”单独出现的总次数。换句话说就是在所有“喜欢”后面看“吃”占了多大比例。我用个类比你有一个装了各种颜色球的箱子摸了 100 次其中红色出现 30 次那你说“摸到红球的概率是 30%”——ngram 用的就是这个朴素的大数定律思想语料足够大的时候频率会趋近真实概率。但有一个前提容易被忽略C(喜欢) 不能为 0。如果某个词在训练语料里压根没出现过那分母为零整个计算就崩了。即使分母不为零分子也有可能是零——也就是“喜欢”出现过但后面从来没跟过“吃”这时候概率就是 0。一个 0 概率意味着整个句子的概率变成 0这在真实系统里是不可接受的所以必须引入平滑后面专门讲。2.2 链式法则与条件概率拆解算出整句话的概率有了 bigram 的局部概率怎么算整句话的概率这就用到了概率论的链式法则。对任意一个词序列 w1, w2, ..., wm它的联合概率可以写成P(w1, w2, ..., wm) P(w1) × P(w2|w1) × P(w3|w1,w2) × ... × P(wm|w1,...,wm-1)这个公式一点没错但问题是 P(w3|w1,w2) 需要统计三元组P(w4|w1,w2,w3) 需要统计四元组越往后数据越稀疏。马尔可夫假设就是来“砍”这个依赖长度的假设第 i 个词只依赖前 n-1 个词于是公式简化为P(w1, w2, ..., wm) ≈ ∏_{i1}^{m} P(wi | wi-n1, ..., wi-1)当 n2 时就是每个词只依赖前一个词。这个简化用一个可控的误差换来了概率的可计算性。实际应用中我们对整句话概率取 log 再求和因为一堆小于 1 的概率连乘会迅速下溢到 0取 log 后数值更稳定也更方便计算困惑度。2.3 平滑处理是 ngram 的命门三种常见方案对比平滑是 ngram 工程里绕不开的环节。它的核心问题是如何把一部分概率“匀”给那些在训练语料中没出现过、但真实世界可能出现的 n-gram 组合。最基础的是拉普拉斯平滑也叫加 1 平滑。给每个 n-gram 的计数都加上 1这样分子分母都不会是 0P(吃|喜欢) (C(喜欢, 吃) 1) / (C(喜欢) V)V 是词表大小。这个方案简单易懂但问题在于它给所有未出现的 n-gram 均匀地分配了概率完全不区分“合理的没出现”和“荒谬的没出现”。比如“我喜欢”和“企鹅飞上月球”都没出现在语料里但前者的可能性显然远高于后者加 1 平滑把它们一视同仁了。工程上更常用的是回退backoff和插值interpolation两种思路。回退的思路是如果 trigram 的计数为零就退回用 bigram 的概率如果 bigram 也为零就退回 unigram。插值的思路更平滑不直接退回而是把 trigram、bigram、unigram 的概率按权重线性组合比如P_interp(w3|w1,w2) λ1 × P_ml(w3|w1,w2) λ2 × P_ml(w3|w2) λ3 × P_ml(w3)权重 λ 可以通过 EM 算法或开发集调参确定。还有一种业内公认效果很好的 Kneser-Ney 平滑它比插值更精细核心思想是判断一个未出现的二元组是否“合理”不应该看这个单词本身出现多少次而应该看它出现在多少种不同的上下文里。比如“Francisco”单独出现的频率不低但它几乎只会跟在“San”后面所以它作为新词续接的“普适性”很差Kneser-Ney 会惩罚这类词。在训练数据量有限、n 又比较大的时候Kneser-Ney 效果明显优于朴素加 1 平滑。下表把三种常用平滑快速对比一下平滑方案核心思想优点缺点适用场景拉普拉斯加1平滑所有计数加1实现简单好理解对所有未出现情况一视同仁学习演示、小型原型回退 backoff高维回退到低维能利用低阶信息性能较好权重调参略繁琐中型语料、常规轨迹Kneser-Ney用上下文多样性修正概率效果业内公认好实现复杂大语料高精度要求3. ngram 的工程实现与训练流程手把手从零搭一个3.1 训练一个 bigram 模型需要几步我把训练流程拆成四个步骤预处理、计数、建表、归一化。以中文影评情感分类场景为例我们要从一堆评论里训练一个字符级 bigram 模型用来做后续的特征工程。第一步是预处理。把原始文本清洗掉 HTML 标签、URL、多余标点然后统一空格和换行。这里有个细节按句子切分而不是按全文切分句首句尾要加特殊的开始和结束标记。为什么要加如果不加模型不知道句子的边界在哪里“喜欢”出现在句首和出现在句中对后续词的预测能力是完全不同的。加边界标记可以更准确地捕捉这种区别。第二步是统计计数。用一个字典key 是“当前词 分隔符 下一个词”value 是出现次数。例如对“我喜欢”, 切出 (, 我)、(我, 喜)、(喜, 欢)、(欢,) 四个二元组逐一累加。Python 伪代码大概是from collections import defaultdict bigram_counts defaultdict(int) unigram_counts defaultdict(int) def train_on_text(text): tokens preprocess(text) # 加 s 和 /s for i in range(len(tokens) - 1): w_prev, w_curr tokens[i], tokens[i1] bigram_counts[(w_prev, w_curr)] 1 unigram_counts[w_prev] 1 unigram_counts[tokens[-1]] 1第三步是归一化把计数转成概率。直接遍历 bigram_counts对每个 (w_prev, w_curr)概率 bigram_counts[(w_prev, w_curr)] / unigram_counts[w_prev]。这一步可以提前算好存成概率表也可以等查询的时候现算。如果语料规模不大提前算好更省事。第四步是验证。拿开发集里的一些句子算一下整句概率确认没有出现 0 概率确认高频词组合比如“非常 好看”的概率比低频组合比如“非常 辣条”高。这一步能帮你快速发现预处理和计数阶段的 bug。3.2 模型存储与查询优化不要让概率表吃掉内存一个词表 10 万的语料bigram 组合理论上有 10 万 × 10 万 100 亿种哪怕实际出现的不多存储成本也不容小觑。我在实际项目里主要用三种方式第一种是哈希表Python 里直接用 dict简单但内存开销大适合原型和中小语料。第二种是 Trie 树前缀树把公共前缀合并存储查询“以某个上下文开头”的概率很方便内存比哈希表省不少适合 n 固定但词表大的场景。第三种是排序数组加二分查找把 n-gram 按字典序排序后存成数组查询时二分内存最省但插入不灵活适合离线训练、线上只读的场景。这还没完工程上更常用的手段是量化压缩。概率值通常用 float64 存占 8 字节但概率值并不需要那么高的精度两个小数位其实就够用了。把概率量化成 int16 甚至 int8模型体积能缩小到原来的四分之一甚至八分之一。在 CPU 推理、内存受限的服务端场景里这种压缩能明显降低延迟和成本。进一步优化还可以做裁剪pruning把计数低于阈值的 n-gram 直接从表里删掉。比如 set 阈值 2所有只出现 1 次的二元组都删掉。这样做会损失一点点准确性但能砍掉绝大多数长尾数据。我在一次日志分析任务里阈值从 1 调到 3模型体积直接缩小了 60%困惑度只升高了不到 2%对于很多业务来说完全可接受。3.3 用困惑度评估模型一项指标看懂模型好坏ngram 模型的好坏不靠“看着像不像”来评估而是用困惑度perplexity。困惑度的定义公式一般是PP(W) 2^(-1/N × Σ log2 P(wi | context))N 是句子的总词数。朴素地理解困惑度越低说明模型对测试集中句子的预测能力越强。用一个类比如果模型说“下一个词有 100 种可能”那它的困惑度就是 100如果你能根据上下文把可能性压缩到 10 种困惑度就是 10。所以困惑度可以理解为“模型在下个词预测上的平均可选分支数”。实操中困惑度配合两个判断标准同一个模型的困惑度要在训练集和测试集上对比。如果训练集困惑度很低、测试集很高说明过拟合了可以考虑增大平滑力度。两个不同 n 值的模型对比比如 bigram 和 trigram。一般来说trigram 的困惑度更低因为上下文更长、预测更准但如果语料不够大trigram 反而可能因为稀疏问题变得比 bigram 更差。这时候就该考虑加更多语料、降 n或者换 Kneser-Ney 平滑。我在实际项目中习惯同时输出困惑度和“top-5 预测命中率”两个指标。困惑度反映整体分布拟合的好坏命中率反映业务真正关心的“候选词排没排到前面”两者结合才不容易被单一指标误导。4. ngram 的高频应用远不止语言模型这么简单4.1 输入法与搜狗类联想的底层逻辑ngram 是候选项排序的核心手机输入法打字的时候你输入拼音“xihuan”候选词第一个是“喜欢”这个排序背后就是 ngram 在起作用。输入法先把拼音串切成可能的候选字组合比如“喜欢”“嘻欢”“西环”然后用 ngram 语言模型给每个候选计算一个概率概率高的排前面。这个过程里 n 的选择很有讲究。拼音输入法的候选排序通常用 trigram 甚至更高阶因为“我喜欢你”这种三到四字的短句非常依赖连续上下文。更高阶的 ngram 在输入法里特别常见因为输入法有用户个性化的云词库数据量够大、稀疏问题相对可控。而类似地简繁转换中的“一简对多繁”消歧比如“发”到底是“發”还是“髮”、语音识别结果的后处理纠错用的都是同一套逻辑机器给出候选列表ngram 从候选里挑出最通顺的那个。4.2 搜索引荐与文本纠错用“通顺程度”修正结果搜索引擎的“你可能想搜的是”功能核心也是 ngram。用户在搜索框里输入“如何学好 ptyhon”多打了一个 y搜索引擎把它拆成 ngram会发现 ptyhon 这个词的 unigram 频率极低而且它在 bigram/trigram 里的上下文组合也异常别扭于是判定它可能是拼写错误。然后生成一批候选修正“python”“ptychon”等用语言模型打分选出概率最高的替换词。文本纠错场景我做过一个比较典型的实现先跑一遍 ngram 检测找出所有概率低于阈值的 n-gram对可疑位置做拼音或字形模糊匹配生成候选再通过一个更高阶的 ngram 模型验证替换后整句概率是否明显提升。这个方案不需要任何深度学习模型、不需要标注数据效果就能覆盖大量用户错别字场景。成本低、可解释性强这是 ngram 在这个场景依然不可替代的原因。4.3 中文分词、文本分类与内容安全检测的妙用中文分词阶段ngram 用来做“消歧”。比如“南京市长江大桥”既可以切成“南京市/长江大桥”也可以切成“南京/市长/江大桥”两种切法的词序列都合法。这时候语言模型登场分别计算两种分词结果的整句概率概率高的那个更接近人类说话习惯。你看这跟输入法候选排序本质上是同一个问题只是对象从拼音候选变成了分词候选。文本分类里ngram 也常被当特征用。最传统的方法是 bag-of-words只统计词频但“很不好”和“不很好”在词袋模型里几乎是一样的。如果加上 bigram 和 trigram 特征模型就能捕捉到“很 不”“不 好”这种局部否定关系对情感倾向的影响。在很多轻量级业务里用 ngram 特征的线性模型效果可以逼近简单的神经网络。内容安全检测也有 ngram 的应用场景比如文本变体对抗用户把敏感词中间插入符号或同音字ngram 可以在字符级别识别出异常的连续片段。字符级 ngram 对这类变异很敏感因为无论中间怎么插入核心的几个连续字符组合往往会被保留下来。这是 ngram 在安全风控里仍然被大规模用作“召回层”的原因。4.4 文本去重与文档相似度SimHash 与 ngram 的经典配合你写一个爬虫抓了几百万篇文章想找出哪些是重复的怎么做到又快又准一种成熟的方案是每篇文章先用 ngram 切出一组片段比如每个句子切出所有 trigram然后对每个 trigram 做哈希得到一组指纹最后用 SimHash 把整篇文章的指纹聚合成一个 64 位数字。这个方案的好处是对“局部修改”鲁棒如果两篇文章只有几个字不同大部分 ngram 片段是一样的SimHash 值也会比较接近。用汉明距离小于某个阈值来判断重复能很好地处理“洗稿”“改几个字再发”的情况。相比直接用整篇文章做哈希ngram SimHash 的召回率高得多计算量却能保持在线性级别。这个组合在我做资讯聚合平台去重时表现非常好几百万文章的去重只花了不到一小时。另一个相关场景是长文本相似度计算把文本切成 ngram 集合后用 Jaccard 相似度或余弦相似度衡量两个集合的重叠程度。因为 ngram 片段天然携带顺序信息这种相似度比单纯按词统计的相似度更能反映“行文结构是否相似”。5. 实操中的坑与常见问题排查这些教训写过代码才懂5.1 数据稀疏是头号敌人n 越大越容易栽稀疏问题在 ngram 里是绕不过去的。词表 V 有 10 万时理论上 trigram 有 10 万亿种组合而你的训练语料哪怕有 1 亿个词也只能覆盖极少一部分。结果是大量 trigram 计数为零概率被平滑后也偏低。我的建议是分场景处理语料小于 100 万词级别的别轻易用 trigrambigram 加插值平滑通常更稳。语料在千万词级别以上trigram 可以放心用但要配 Kneser-Ney 一类的高级平滑。n 大于 4 除非有海量数据支撑否则收益很有限。你真正想要的长距离依赖不如交给 LSTM/Transformer 去处理没必要死磕统计模型。实操中还有个容易踩的坑训练集和测试集的时间范围不同。文本数据的分布随时间漂移很快去年语料里的高概率组合今年可能已经过气。做线上系统时ngram 统计一定要定期更新我见过不少系统是“跑完就不动了”上线三个月后效果明显下滑。5.2 未登录词和低频词OOV 问题怎么解ngram 处理不了它没见过的词。比如语料里没有“ChatGPT”任何包含这个词的 n-gram 概率都是零平滑只能把概率从一个极小值里分一点给它但整体效果依然很差。常规方案是预处理阶段把 OOV 词先识别出来替换成特殊标记比如 然后用 参与 ngram 统计。这样至少能保证句子概率不为零。但你有没有想过 这种标记把所有未知词都混为一谈了模型无法区分“ChatGPT”“量子计算机”“区块链”这些八竿子打不着的词其实都是不同类型的新词。更精细的做法是给 OOV 词先做一次词向量聚类把相近语义的 OOV 映射到同一个类标记上比如 UNK_科技、UNK_财经。这样模型至少能利用“科技类新词通常出现在哪些上下文”这种粗粒度信息。我在一个新闻推荐项目里用这个思路OOV 词的预测命中率提高了将近一倍。5.3 n 到底选几一张决策表帮你定很多新手纠结 n 的取值我直接给一个经验矩阵场景推荐 n理由拼写纠错字符级2-3短窗口内就能发现异常组合拼音输入法候选排序3-4短句需要较长上下文中文分词消歧3兼顾效果和数据需求文本去重指纹3-5越长的 ngram 指纹区分度越高语言模型大规模语料3-5长上下文提升预测靠大数据支撑小语料冷启动2稀疏问题最少这个表不是死的但按它起步可以少走很多弯路。核心原则是数据量越少n 越小上下文信息越关键n 越大。5.4 工程性能的三个隐性瓶颈第一个隐性瓶颈是存储格式。用 Python 的 dict 存几百万个 n-gram 没问题过上千万就开始吃紧。我建议在工程环境里直接用 kenlm 或 SRILM 这类成熟工具它们用数组存储、支持量化、查询是 C 实现的速度和内存表现都远好于自己用 Python 写的朴素版本。如果不想引依赖也至少把概率表转成 sorted array 加二分查找别直接怼 dict。第二个隐性瓶颈是无用的预处理。训练 ngram 前停用词先不要急着删。对 bigram 来说删掉“的”“了”会让原本连续的上下文断掉“我喜欢 的 苹果”里“喜欢”和“苹果”的关系就彻底丢失了。停用词过滤是在把 ngram 当特征时才考虑的事情做语言模型时应保留所有词。第三个隐性瓶颈是字符集问题。中文按字符做 ngram 时全角半角、繁简体不统一会导致同一内容被切成完全不同的 ngram。上线前必须做归一化否则线上统计的频次和线下训练时对不上模型效果会莫名变差。这个坑我踩过当时数据处理流程里全角转半角放在最后一步结果线上库的文本没走这个处理导致召回率掉了一截排查了很久才发现。5.5 一个容易忽略的工程细节ngram 和神经网络结合使用最后分享一个我自己的经验不要把 ngram 和神经网络看作二选一。ngram 有三大不可替代的优点可解释性强、冷启动成本低、对少量样本也能给出合理结果。神经网络则擅长捕捉长距离依赖和抽象语义。两者的结合在工业界非常常见用 ngram 做召回得到一小批候选句子再用 BERT 精排。这样既控制了计算成本又保证了效果。用 ngram 特征作为神经网络的额外输入类似“先验知识”注入可以明显提升小样本场景的收敛速度和最终效果。训练大规模语言模型时ngram 可以当作“降级方案”——模型服务不可用或超时的时候直接返回 ngram 模型的预测结果让系统保持基本可用。我实际做过的一个人机对话系统就是 BERT 主模型 trigram 兜底。主模型偶尔因为输入过长或性能波动超时ngram 兜底能保证用户至少得到一个有意义的候选回复而不是“抱歉我现在无法回答”。上线后整体服务可用性从 98.2% 提升到了 99.9%ngram 这个老兵在关键时刻真的能顶上去。现在回头看ngram 这个上世纪提出的方法到今天还能在输入法、搜索、内容安全、语音识别等系统里扮演不可替代的角色核心原因就是它把“上下文对语言的影响”这个复杂问题用最简单、最可解释的方式建模了出来。它不追求花哨但胜在稳定可靠。如果你在工作中遇到文本相关的任务第一反应不应该是“要不要直接上深度学习”而是先想想这个问题的核心是不是“邻近词之间的共现关系”如果是ngram 大概率能给你一个快速、稳健、可解释的起点。