中文NLP实战：用SVD与SGNS构建子词向量解决OOV问题

简介面向自然语言处理学习者尤其适合需要完成子词向量课程作业的学生。项目围绕汉语子词向量构建与评测分别实现基于SVD分解和基于SGNS的两种方法。SVD方法先以K5窗口获取高维distributional表示再进行降维SGNS方法采用窗口K2训练神经网络词向量。覆盖词表构建、语料处理、向量训练、余弦相似度计算等完整流程。压缩包共15个文件整体大小88.66MB数据部分含corpus.txt语料全集、train_BPE.txt和test_BPE.txt子词词表、pku_sim_test.txt评测集等7个txt代码部分含svd.py、sgns.py、skip_gram.py、result.py等4个Python脚本另有preprocess.ipynb交互式笔记、SGNS.pth模型、svd.npy向量和README.md说明文档。已有112人浏览学习。项目提供了SVD与SGNS两种方法的对比实现对未登录词设置余弦相似度为0的细节处理清晰可直接在pku_sim_test上复现结果并输出指定格式适合作为NLP课程作业参考、算法对照或入门实践素材另外README.md对目录结构和运行流程进行了说明便于快速上手。1. 这个NLP作业到底在解决什么中文OOV问题与子词向量的实战价值中文自然语言处理里最常遇到的尴尬是词典里明明躺着一万个词来一条新闻还是蹦出“三航母”“星舰”这种训练时没见过的写法。词向量表里查不到下游任务直接罢工——这就是未登录词OOV问题。这个NLP实战作业的核心很明确分别用SVD分解和SGNSSkip-Gram with Negative Sampling两种方法构建汉语的子词向量再在相似度与类比任务上做评测对比。所谓子词就是把“自然语言”拆成“自然”“然语”“语言”这类字n-gram串词的向量由它包含的所有子词向量聚合得到于是没见过的词也能用子词拼出向量来。这份作业完美覆盖了词向量两条技术路线——基于计数的矩阵分解与基于预测的神经网络——适合正在做词向量课设、准备NLP面试或者想亲手把word2vec底层逻辑写一遍的人。2. 方案选型与数据准备SVD和SGNS的数学动机、汉语子词切分与样本生成2.1 为什么把SVD和SGNS放在同一份作业里SVD和SGNS代表了词向量研究的两个谱系。SVD走的是“计数”路线先统计词与上下文在语料中的共现次数形成共现矩阵再用奇异值分解把高维稀疏矩阵压成低维稠密向量。SGNS走的是“预测”路线把每个词当成要预测的目标用神经网络在局部窗口内反复调整向量让中心词与上下文词的向量内积逼近它们的共现概率。两条路线的数学动机完全不同。SVD是全局优化一次性看到整个语料的统计信息所以结果稳定、可解释性强主成分往往对应语义或话题维度缺点是矩阵规模随词表平方增长而且纯统计方法对低频词极不友好。SGNS是局部优化每次只看一个窗口训练快、内存友好但对随机种子敏感同一份语料跑两次结果可能差出一大截。作业把两者放在一起本质上是在让你亲手验证同一个子词向量目标用全局矩阵分解和用局部神经网络出来的向量在相似度评测上到底差多少。我在实际项目中观察到的经验是——小语料上SVD往往不输甚至超过SGNS语料一大SGNS的泛化优势才体现出来。这个结论自己去复现一遍比背十篇综述都有用。2.2 汉语子词序列怎么切字符n-gram的窗口选择构建子词向量的第一步是把中文语料切成子词序列。对汉语来说常见做法有两种第一种是先做分词再对每个词内部切字n-gram第二种是干脆不分词直接对整句做字符级n-gram滑动窗口。作业场景下我强烈推荐第二种理由有三个不依赖外部分词器、对OOV天然免疫、SVD和SGNS两条路线共用同一套预处理逻辑。n-gram的n取多少需要权衡。n太小比如1-2子词退化成单字和相邻字对语义区分度不够n太大比如7以上子词基本退化成整词失去了“子词”的意义。我一般取2到6既覆盖“自然”“语言”这种二字词根也能捕捉“自然语言”这样的四字短语。下面这段切分代码是整个作业的地基SVD和SGNS都从它开始import re from typing import List PUNCT_RE re.compile(r[^\u4e00-\u9fa5a-zA-Z0-9]) def clean_text(text: str) - str: 只保留中文、英文和数字去掉标点与空白。 return PUNCT_RE.sub(, text) def make_subwords(text: str, n_min: int 2, n_max: int 6) - List[str]: 把一段文本切成字 n-gram 子词序列。 自然语言处理 - [自然, 然语, 语言, 言处, 处理, 自然语, 然语言, ...] chars list(clean_text(text)) subwords [] for n in range(n_min, n_max 1): for i in range(len(chars) - n 1): subwords.append(.join(chars[i:i n])) return subwords说明两个关键参数n_min和n_max控制子词粒度。2-6是通用区间如果你发现词表膨胀太快可以改成3-6牺牲一点短词根覆盖率换内存。clean_text里的正则只保留中文、英文和数字因为标点符号在子词序列里只会制造大量无意义的共现噪声。注意这里没有分词——整句直接滑窗一个10个字的句子会产生约40个子词数据量会膨胀这是正常现象。2.3 低频过滤与训练样本生成min_count、窗口大小与随机种子切出子词序列之后必须先做频次统计和低频过滤。低频子词比如只出现过一次的人名片段它们的共现统计极不可靠SVD会为它们分配一个几乎随机的向量SGNS则会在它们身上浪费大量训练迭代。常见的做法是把频次低于2或3的子词直接丢弃替换成一个统一的UNK标记。词表大小建议控制在5万以内超过这个规模SVD的矩阵分解时间和SGNS的参数量都会明显拖慢实验节奏。窗口大小这里一并定下。SVD的共现窗口和SGNS的上下文窗口取同一个值比如5这样两条路线的“上下文范围”定义一致评测对比才公平。另外整个预处理管线里涉及的random seed要在文件开头固定你后面跑SGNS时就知道这个操作有多救命。from collections import Counter import random random.seed(42) def build_vocab(subword_seq_list: List[List[str]], min_count: int 3) - dict: 统计子词频次过滤低频项返回子词到id的映射。 counter Counter() for seq in subword_seq_list: counter.update(seq) vocab {w: i for i, (w, c) in enumerate(counter.items()) if c min_count} vocab[UNK] len(vocab) return vocab频次过滤看似简单但它的值直接影响两种方法的最终效果。min_count3是我的默认值语料小时可以降到2语料超过500万字符时可以提到5。过滤之后所有不在词表里的子词统一映射到UNK保证训练和评测阶段不会遇到“查无此项”的尴尬。3. SVD路径实现共现矩阵、PPMI加权与截断SVD分解的参数化实现3.1 构建子词-上下文共现矩阵稀疏存储与滑动窗口SVD路线的起点是共现矩阵。行和列都是子词矩阵的第i行第j列表示子词i作为中心词时子词j在其上下文窗口中出现的累计次数。构建这个矩阵最朴素的思路是用Python字典累加但子词表动辄几万共现对轻松破百万字典方案内存直接爆炸。正确做法是用scipy.sparse的稀疏矩阵。具体来说先扫一遍语料统计每个中心子词与窗口内其他子词的共现次数然后一次性构建CSR矩阵。注意两点一是窗口内的共现要不要按距离加权加权方案在作业里不强制不加权的表现也不会差太多二是对角线元素即子词与自身的共现默认计入但后续可以用PPMI里的偏移量来抵消它带来的噪声。import numpy as np from scipy.sparse import lil_matrix def build_cooccurrence(seqs, vocab, window5): 构建子词-上下文共现矩阵返回稀疏CSR矩阵。 size len(vocab) matrix lil_matrix((size, size), dtypenp.float32) unk_id vocab.get(UNK, size - 1) for seq in seqs: ids [vocab.get(w, unk_id) for w in seq] for i, center in enumerate(ids): left max(0, i - window) right min(len(ids), i window 1) for j in range(left, right): if j i: continue matrix[center, ids[j]] 1.0 return matrix.tocsr()这个函数的核心逻辑是滑窗对每个中心子词只统计它前后window个位置内的共现。用lil_matrix是因为它按行追加效率高累加完成后再转成csr_matrix后面做矩阵运算和SVD都更快。窗口值window5和SGNS保持一致如果你在第2章预处理时改过窗口这里必须同步修改。3.2 从共现到PPMI加权方案与截断SVD分解直接对共现矩阵做SVD出来的向量质量很差这是所有初学者都会踩的坑。原因是原始共现矩阵被“的”“了”“在”这类高频词主导它们的绝对值远大于有语义区分度的词对SVD的第一主成分会全部贡献给词频差异。标准解法是先把共现矩阵转成PPMI正点互信息矩阵再做分解。PPMI的计算公式是对每个共现对(i,j)先算PMI log(P(i,j) / (P(i) * P(j)))然后把负值置零。其中P(i,j)是i和j共同出现的概率P(i)、P(j)是各自的边际概率。PPMI的核心作用是降权高频词一个字n-gram和“的”字频繁共现只是因为“的”本身出现频率高而不是它们有强语义关联PPMI会把这个共现值压下去。from scipy.sparse.linalg import svds from sklearn.preprocessing import normalize def compute_ppmi(X): 把共现矩阵转成PPMI矩阵负值置零。 total X.sum() row_sum np.asarray(X.sum(axis1)).ravel() col_sum np.asarray(X.sum(axis0)).ravel() expected np.outer(row_sum, col_sum) / total # 只对非零元素做PMI计算避免全矩阵运算 X X.copy() X.data np.log(X.data * total / expected[X.nonzero()]) X.data[X.data 0] 0.0 # PPMI: 负值截断为0 return X.tocsr() def svd_reduce(ppmi_matrix, dim64): 截断SVD只保留最大的dim个奇异值对应的向量。 U, s, Vt svds(ppmi_matrix, kdim, whichLM) # 按奇异值从大到小排序svds不保证顺序 order np.argsort(s)[::-1] s s[order] U U[:, order] Vt Vt[order, :] # 子词向量 U * sqrt(S)上下文向量 Vt.T * sqrt(S) subword_vecs U * np.sqrt(s) context_vecs Vt.T * np.sqrt(s) return subword_vecs, context_vecs这段代码有两个关键参数值得细说。dim是向量维度作业里64到100之间足够体现差异追求和预训练模型对比时用300。whichLM表示只计算最大的dim个奇异值这是截断SVD的标准做法如果你用的SciPy版本较旧svds默认返回的可能是最小奇异值对应的向量跑出来向量质量惨不忍睹——先查这个参数对不对。最后用U * sqrt(S)作为子词向量这是对称化处理保证中心词和上下文向量在同一个空间里可比。3.3 从子词向量到词向量聚合策略与归一化SVD分解得到的是每个子词的向量但评测任务需要的是“词”的向量。聚合策略常见的有两种直接平均和加权平均。直接平均就是把词包含的所有字n-gram的向量求和再除以个数加权平均是按子词在词内部出现的频次或逆文档频率加权。作业场景下直接平均已经够用加权提升有限但会多出不少代码。def word_vector_from_subwords(word, subword_vecs, vocab, n_min2, n_max6): 给定一个词切分为子词后聚合出词向量。 vecs [] for n in range(n_min, n_max 1): for i in range(len(word) - n 1): sw word[i:i n] if sw in vocab: vecs.append(subword_vecs[vocab[sw]]) if not vecs: return np.zeros(subword_vecs.shape[1]) return np.mean(vecs, axis0) def normalize_vectors(vec_matrix): L2归一化后续计算余弦相似度直接做点积。 return normalize(vec_matrix, norml2, axis1)注意这里如果词太长或太短导致没有任何子词命中返回零向量。零向量参与余弦相似度计算会产生NaN评测前一定要过滤掉。另外把词向量做L2归一化是个好习惯因为余弦相似度只关心方向不关心模长归一化之后直接用点积代替余弦计算速度能提升一个数量级。4. SGNS路径实现负采样训练循环与子词embedding聚合的完整步骤4.1 子词表与负采样分布频次的三分之四次幂SGNS路线的核心是训练一对向量每个子词既是中心词也是别人的上下文。也就是说需要维护两个矩阵——中心词向量矩阵V和上下文向量矩阵U形状都是(vocab_size, dim)初始化时用均值为0、标准差0.01的正态分布随机填充不能全零初始化否则梯度为零无法更新。负采样的分布是SGNS区别于原始Skip-gram的关键。原始Softmax需要对整个词表做归一化代价太高负采样的思路是把“预测正确上下文”的任务改造成“区分真上下文和随机噪声”的二分类任务。对每个正样本从噪声分布中随机抽k个负样本让模型学会把正样本真实上下文判为1把负样本随机抽取的噪声判为0。噪声分布不是均匀分布而是按词频的3/4次幂归一化——这个3/4次幂是实践调出来的它能压低高频词被过度采样的概率让中频词有更多被当作负样本学习的机会。import numpy as np from collections import Counter class SubwordSGNS: def __init__(self, vocab_size, dim64, k_neg5, lr0.025): self.dim dim self.k_neg k_neg self.lr lr # 中心词向量矩阵和上下文向量矩阵 self.V np.random.normal(0, 0.01, (vocab_size, dim)) self.U np.random.normal(0, 0.01, (vocab_size, dim)) def build_noise_dist(self, freqs, power0.75): 构建负采样分布频次的power次幂归一化。 probs np.array([freqs[i] ** power for i in range(len(freqs))]) probs / probs.sum() return probs def negative_sample(self, probs, num): 从噪声分布中不放回地抽样num个负样本id。 return np.random.choice(len(probs), sizenum, pprobs, replaceFalse)k_neg是负样本数量取值5到10之间。太小模型学不够太大训练变慢且收益递减。power0.75是word2vec论文里的经典取值不建议改动。build_noise_dist接收的freqs是子词id到频次的映射这个值在预处理阶段已经统计过了直接复用。4.2 训练循环sigmoid、学习率衰减与梯度裁剪训练的过程就是对每个中心子词i取窗口内一个上下文子词j作为正样本再抽k个负样本neg1...negk对每个样本计算损失并更新向量。损失函数用的是二分类交叉熵的简化形式对正样本最大化sigmoid(V[i]·U[j])对负样本最小化sigmoid(V[i]·U[neg])等价于最大化sigmoid(-V[i]·U[neg])。梯度推导是这份作业最容易卡住的地方但实现上很简单对正样本误差项g sigmoid(V[i]·U[j]) - 1然后V[i] - lr * g * U[j]U[j] - lr * g * V[i]。对负样本误差项g sigmoid(V[i]·U[neg]) - 0更新方式相同。这个“预测误差乘对方向量”的更新规则就是SGNS的全部秘密。def train(self, subword_seqs, epochs5, window5): subword_seqs: 子词id序列的列表每个序列是一句或一段话。 for epoch in range(epochs): # 学习率随epoch线性衰减后期微调避免震荡 lr self.lr * (1 - epoch / epochs) for seq in subword_seqs: if len(seq) 2: continue for i, center_id in enumerate(seq): left max(0, i - window) right min(len(seq), i window 1) context_ids seq[left:i] seq[i1:right] for ctx_id in context_ids: # 正样本中心词向量点积上下文向量 dot self.V[center_id].dot(self.U[ctx_id]) g_pos 1.0 / (1.0 np.exp(-dot)) - 1.0 # 更新正样本 self.V[center_id] - lr * g_pos * self.U[ctx_id] self.U[ctx_id] - lr * g_pos * self.V[center_id] # 负样本 neg_ids self.negative_sample(self.noise_dist, self.k_neg) for neg_id in neg_ids: if neg_id ctx_id: continue dot_neg self.V[center_id].dot(self.U[neg_id]) g_neg 1.0 / (1.0 np.exp(-dot_neg)) self.V[center_id] - lr * g_neg * self.U[neg_id] self.U[neg_id] - lr * g_neg * self.V[center_id]这个训练循环是朴素的Python版本一个epoch扫一遍全部语料。实际跑起来你会觉得慢——这是正常的因为Python级别的循环确实慢数据量一大建议用numpy矩阵化或者直接上gensim验证结果。学习率衰减那行是关键不衰减的话后期loss会在一个平台上震荡向量质量上不去。如果你的语料有100万子词以上建议把epochs从5降到3否则训练时间会失控。4.3 从训练结果到词向量FastText式聚合与推理训练结束后每个子词都有两个向量中心词向量V[i]和上下文向量U[i]。词向量怎么取常见做法是只取V也就是中心词向量矩阵。但FastText的实践表明把子词向量聚合起来作为词向量效果比直接用某个子词的向量更稳定。聚合方式和SVD路线完全一致给定一个词切成所有可能的字n-gram查表拿到子词向量求平均。这样做的最大好处是——即使一个词从没在训练语料里出现过只要它的字n-gram有部分命中就能拼出一个合理的向量。这就是子词向量对OOV问题给出的答案。def get_word_vector(self, word, vocab, n_min2, n_max6): 推理阶段对任意词含OOV生成向量。 vecs [] for n in range(n_min, n_max 1): for i in range(len(word) - n 1): sw word[i:i n] if sw in vocab: vecs.append(self.V[vocab[sw]]) if not vecs: return np.zeros(self.dim) vec np.mean(vecs, axis0) norm np.linalg.norm(vec) return vec / norm if norm 0 else vec注意返回值做了L2归一化。训练阶段没有强约束向量模长直接比较原始向量会受模长干扰。np.linalg.norm(vec)是求L2范数除一下就把向量长度缩放到1后续计算余弦相似度时直接点积就行省去每次算模长。5. 避坑两个模型反复翻车的5个细节与排查路径5.1 现象共现矩阵构建到一半内存直接打满你兴致勃勃地建了一个5万子词的词表然后用一个5万 × 5万的Python二维列表存共现矩阵瞬间内存爆炸。原因很简单5万乘5万乘8字节等于20GB哪怕用float16也要10GB。解决办法就是第3章里的稀疏矩阵方案只存储非零共现对实际稀疏度通常在99%以上内存占用能压缩到原来的几十分之一。另外过滤低频子词这一步不要省词表从10万压到3万稀疏矩阵的非零元素会骤减训练和分解都快很多。5.2 现象SVD分解出来的向量质量不如随机初始化这是PPMI缺失的典型症状。直接对原始共现矩阵做SVD向量会被高频虚词彻底污染“的”“了”“是”占据主成分方向其余词之间的差异全被压缩到次要维度里。排查时先别怀疑SVD代码把共现矩阵打印出来看一眼前几行如果高频词的值比其他词大几个数量级基本就是没做PPMI。解决方法是严格按3.2节的流程过一遍先转PPMI负值置零再做截断SVD。5.3 现象SGNS训练完了词向量全部约等于零向量这通常不是代码逻辑问题而是学习率设置不合理。如果lr超过0.1梯度更新步长过大向量会在训练早期直接发散到无穷大然后数值溢出变成NaN如果lr低于0.001训练根本走不动向量停在初始化位置附近。排查时先打印训练前几个batch的loss看走向loss不降是学习率太小loss变成NaN是学习率太大。推荐区间0.01到0.05按语料规模微调。另一个隐藏坑是随机种子没固定导致每次跑结果都不一样你很难判断是算法问题还是随机性造成的波动。5.4 现象同一批语料SVD和SGNS评测结果排名不稳定今天SVD赢明天SGNS赢换几个评测词又反过来——这可能是子词切分参数不一致造成的。SVD路线的子词序列和SGNS路线必须来自同一份预处理结果包括n_min、n_max、min_count和窗口大小全部一致否则两条路线输入的数据分布都不同对比就没有意义。我见过不少人SVD用2-6gramSGNS用3-6gram最后得出的结论完全不靠谱。把预处理封装成一个函数两处调用同一份数据是性价比最高的修复。5.5 现象评测时OOV词的向量是零向量相似度全是NaN子词向量的核心卖点是OOV也能算向量但前提是这个词的子词组合至少有一部分在词表里。如果词太短比如单字“猫”它的子词只有n_min到n_max范围内的片段一旦词表里没有对应字n-gram聚合结果就是零向量。解决方法是评测时对每个查询词做兜底如果子词全未命中回退到单字向量如果单字也不在再回退到UNK向量。这个兜底逻辑要在评测脚本里写清楚否则相似度排序会把零向量排在前面结果不可解释。6. 评测与进阶用相似度、类比和词聚类给两种子词向量打分评测是这份作业的临门一脚但也是最容易被糊弄过去的环节。切忌用肉眼挑几个词看相似度就下结论——那叫“看着像”不叫评测。标准做法是准备一组带人工评分的词对计算模型给出的余弦相似度与人工评分之间的Spearman相关系数。中文常用的是Wordsim-240和Wordsim-297里面是“飞机-机场”“老师-学生”这类词对及人工打分。没有现成数据集时自己标注20对词也能跑一个粗糙版本每对词打分1到5分然后和模型结果算相关系数排序一致性大于0.5就已经说明向量不是随机初始化能碰出来的。第二个评测维度是词类比推理。经典格式是“a之于b相当于c之于d”比如“北京-中国日本东京”。计算时用vec(北京) - vec(中国) vec(日本)在词表里找与结果向量余弦相似度最高的词如果是“东京”就算答对。这个任务对SVD和SGNS的差异非常敏感SVD由于全局统计特性在语义关系类比上往往表现更好SGNS则更擅长捕捉词共现带来的主题相似性。子词向量在这里有个附加优势——即使类比任务中出现OOV词也能通过子词聚合参与计算这比标准word2vec多了一层保障。最后一个实用技巧是向量融合。做完评测你会发现SVD和SGNS各有胜负与其纠结选谁不如把两种向量拼接后做PCA降维回原维度或者直接等权相加再归一化。我在自己的项目里实测过融合向量在相似度和类比任务上的表现通常都能超过两个单模型这个“112”的效果在作业里是天然的加分项在真实项目里也经常作为廉价的中文词向量增强手段。如果你时间充裕还可以把词向量拿去做一个KMeans聚类聚类数取20到50打印每个簇的中心词看语义是否聚成话题——这一步能直观展示两种方法学到的语义结构差异比单纯看数字更有说服力。最后说一个我做这份作业时后悔没早点知道的事不要花太多时间调参跑到完美先拿小语料把两条路线跑通、评测脚本写好、踩坑踩一遍再换大语料出最终结果。SVD和SGNS的代码结构完全不同但评测流程是共用的——把评测脚本先写好后续替换模型、调整参数都只改一行入口效率能翻一倍。希望帮到你。本文还有配套的精品资源点击获取