Prompt-Tuning与PVP：小样本参数高效微调实战解析

简介《Prompt-Tuning深度解读一种全新的微调范式》是一份面向NLP研究者、算法工程师与大模型应用开发者的综述型PDF聚焦预训练语言模型向AIGC演进中的高效微调问题。内容从BERT、GPT到BART、T5、GPT-4梳理语言模型三阶段发展并解释Prompt-Tuning如何通过离散模板或连续嵌入缩小预训练与下游微调的目标差距、缓解新参数头带来的过拟合降低少样本与零样本场景对标注数据的依赖。正文还系统展开In-Context Learning、Chain-of-Thought、Instruction-tuning、黑盒模型prompt使用及ChatGPT中的prompt技术并讨论面向不同NLP任务的prompt设计与参数有效性训练。压缩包仅含1个PDF大小17.21MB按章节组织适合通读或检索关键方法。已有1557人学习可作为理解prompt微调范式、梳理代表工作与未来研究方向的参考材料。1. Prompt-Tuning不改一个权重凭什么可能打赢全参微调把一条情感分类样本送进模型传统做法是在[CLS]位置接一个随机初始化的分类头让标注数据和整个主干一起重训Prompt-Tuning 的做法却是把句子改写成I like this film very much. It was [MASK].然后只看[MASK]位置上 great 和 terrible 谁的概率更大——新增参数为零主干甚至一个权重都不用动。反直觉的地方在于标注预算越少后者往往越稳。这件事值得深入探究因为它触及了微调范式的根本预训练阶段模型学的是「补全被挖掉的词」微调阶段却要求它「在若干固定类别上做判别」两个目标之间横着一条裂缝。Prompt-Tuning 的全部设计巧思都在填补这条裂缝。它同时也是 LLM 与 AIGC 时代最省参数的那把钥匙——模型越大全参微调越贵这条路就越有吸引力。2. 目标裂缝掩码语言建模与下游分类之间差了什么要理解 prompt 为什么能 work得先看清它的推理链条是「把下游目标翻译回预训练目标」。既然叫翻译就得先知道被翻译的那一端长什么样。很多讲解直接从模板跳到结果省掉了中间最关键的一环预训练任务到底训练出了一个什么样的输出头这个头的形状决定了 prompt 能怎么用、不能用在哪。预训练语言模型在结构上分两支一支从左向右单向编码服务于自回归生成一支双向编码主体是堆叠的自注意力层。选自注意力而非循环结构是因为任意两个 token 之间都有显式连接两两交互可以写成矩阵乘推理完全并行化长距离依赖和梯度消失这两个老问题被同时缓解。位置信息靠 position embedding 补回来否则「狗咬人」和「人咬狗」在模型眼里一模一样。2.1 掩码语言建模15%、80/10/10 与词表上的分类掩码语言建模Masked Language ModelingMLM的思路源自词袋式的 N-Gram 训练挖掉中间一个词让模型去猜。区别在于 N-Gram 喂进去的是被截断的短文本片段而 MLM 喂的是完整文本语义保留得更全。它的自监督信号靠一套固定的替换策略造出来在所有语料中随机抽取 15% 的位置被选中的位置里 80% 替换成[MASK]10% 替换成词表里的随机词剩下 10% 原样不动。这套 80/10/10 并不是随手定的。如果 100% 都用[MASK]模型会学到一个捷径——只有看见[MASK]才启动预测而下游任务里根本没有[MASK]输入分布直接错位。掺 10% 随机词是为了逼模型对每个位置都保留足够的上下文表征不能因为「这个位置没被挖」就偷懒保留 10% 原词则是防止模型把「非[MASK]位置」整体判定为无需建模。训练目标很直白在[MASK]位置的隐状态上接一个 MLP 映射到整个词表对 |V| 个词做分类用交叉熵。改进版本主要动替换粒度——按完整单词而不是按子词挖避免挖掉半个词导致语义残缺或者在知识增强场景下按知识库里的实体整体挖。提示这一节的落点只有一句话——MLM 的输出头是「词表上的分布」不是「任务标签上的分布」。Prompt-Tuning 能成立的全部物理基础就是这句话。2.2 NSP 的三种关系以及它为什么被后续模型删掉与 MLM 配套出现的还有下一句预测Next Sentence PredictionNSP。给定两个句子判断它们的关系本质上是一个自然语言推理任务标签有三类蕴含两句紧邻isNext、矛盾两句来自不同文章isNotNext、中性同文章但不相邻。语料同样靠自监督构造同文章取相邻句作正例同文章随机取另一句作中性例跨文章拼一句作负例。输入拼成[CLS] S1 [SEP] S2 [SEP]取[CLS]隐状态接 MLP 做三分类。后续一批模型在实验中发现 NSP 对最终效果的正向影响很有限干脆删掉换成整句还原、句子顺序预测之类的目标。这个结论对理解 prompt 很重要NSP 是句对级判别目标天然贴合句对类任务但它不产生「在某个位置补一个词」的行为没法被模板复用。所以走 prompt 路线的工作几乎都以 MLM 为切入点而不是 NSP。这背后是一个很朴素的设计取舍能被复用的预训练目标才有 prompt 价值效果好但不能复用对 prompt 来说等于零。2.3 五类下游任务与那个必须新增的分类头下游任务按输入输出形态可以归成五类每一类在传统微调里都要在主干之上接新结构任务类型典型场景头部新增结构输出空间单句分类情感分析、意图识别、主题分类[CLS]上的 MLP类别数句对分类语义蕴含、文本匹配、检索拼接后[CLS]上的 MLP2 或 3区间预测抽取式阅读理解、实体抽取起止两个位置分类器序列长度 × 2字符级分类序列标注、完形填空、拼写检测每个 token 一个 MLP标签集大小文本生成摘要、翻译、生成式问答自回归解码头词表问题就出在最后一列之外的「新增结构」上。这五类任务几乎都要引入一批随机初始化的参数而随机初始化的参数只能靠下游那点标注数据去学。样本充足时这不算事样本只有几十上百条时新头会迅速把训练集记住泛化能力断崖下跌。于是两个痛点被摆到台面上一是语义差异预训练做的是补词下游做的是判类两个目标之间的分布不连续二是头部过拟合新参数在小样本下没有足够监督信号越训越偏。Prompt-Tuning 的动机就是同时堵这两个口子——而它的手段只有一句不要新增头去复用那个已经训好的头。3. PVP 三元组一句带 MASK 的模板如何吃掉整个分类头把分类改写成完形填空形式化之后只有两个可设计的部件模板Template也叫 Pattern和标签词映射Verbalizer。两者合起来记作 PVPPattern-Verbalizer-Pair。这一个小三元组把「任务适配」从「改模型结构」降维成了「改输入字符串」也是 prompt 这个词在工程上第一次有了明确所指。3.1 输入侧模板怎么拼、[MASK]的 logits 怎么取拿二分类情感分析举例。传统路径是[CLS] I like this film very much. [SEP]过 Transformer取[CLS]隐状态喂进新 MLP 出两类概率。PVP 路径把它改成[CLS] I like this film very much. [SEP] It was [MASK]. [SEP]同一个 Transformer取[MASK]位置的隐状态送进预训练时就已经训好的词表映射头得到 |V| 维分布。三个细节必须捏准。第一模板里通常只放一个[MASK]因为只有一个位置用来读答案多放会让「读哪个位置」变成新的超参。第二[MASK]位置的输出维度是词表大小不是类别数所以后面必须有一个把词表收缩到类别的步骤这一步就是 Verbalizer。第三模板改变了输入长度原本 12 个 token 的句子变成 20 个截断策略要重新检查——这是后面避坑章节的第一号事故源。注意模板不是数据预处理它是模型输入的一部分。模板放在句首、句尾还是句中会实质改变[MASK]位置能 attend 到的上下文范围效果差异可以达到两位数百分点。3.2 输出侧Verbalizer 与「词表子集上的分类」Verbalizer 是一个从标签到词表子集的映射positive → {great, wonderful, nice}negative → {terrible, awful, boring}。有了它类别概率就能从词表概率里积出来p(yc | x) Σ_{w∈V(c)} p_MLM(w | template(x))分母是所有标签词的归一化项。实现上一般在对数域算用 logsumexp 把「求和」变成「最大值加修正」避免几十个概率连乘直接下溢到 0。训练目标和传统微调长得一模一样都是交叉熵但作用的维度完全不同微调是「类别数」上的交叉熵prompt 是「类别数」上的交叉熵——虽然维度一样中间那层 |V| 维的桥梁是借来的不参与训练。这正是梯度只流向 LM head或干脆只流向软提示的原因。标签词的挑选有硬约束三条里踩中任何一条都会明显掉分必须是单 token多 token 词的概率没法直接定义边缘化又要引入额外假设必须是模型预训练时见过的高频词生僻词本身的先验概率就极低还没开始学就被压死必须语义贴合任务用good和bad做情感分析行得通用yes和no就全靠模型自己悟。常见的实现思路还有一步「标签词校准」先用空输入或无内容输入跑一遍估出模型对各个标签词的固有偏好再在推理时除掉这个先验抵消「模型天生更爱说某个词」带来的系统性偏置。3.3 一条最小可跑的实现链路与参数含义把上面两节拼起来核心逻辑不到 30 行import torch import torch.nn.functional as F TEMPLATE {sentence} Overall, it was [MASK]. VERBALIZER { positive: [great, wonderful, nice], negative: [terrible, awful, boring], } def build_input(sentence, tokenizer): 把原句塞进模板返回编码结果和 [MASK] 在序列中的下标。 prompt TEMPLATE.format(sentencesentence) enc tokenizer(prompt, return_tensorspt, truncationTrue, max_length256) pos (enc[input_ids][0] tokenizer.mask_token_id).nonzero().flatten() # 模板里必须且只能有一个 MASK否则读哪个位置无从谈起 assert pos.numel() 1, f期望 1 个 MASK实际 {pos.numel()} return enc, int(pos[0]) def map_label_words(verbalizer, tokenizer): 只保留能被切成单 token 的标签词多 token 的当场丢弃。 out {} for label, words in verbalizer.items(): ids [] for w in words: tid tokenizer.encode(w, add_special_tokensFalse) if len(tid) 1: ids.append(tid[0]) assert ids, f标签 {label} 没有可用的单 token 标签词 out[label] ids return outbuild_input负责输入侧map_label_words负责把词表 id 收拢到标签上。真正做收缩的是下面这个函数def pvp_class_logits(model, enc, mask_pos, word_ids, labels): logits model(**enc).logits[0] # [seq_len, vocab] log_probs F.log_softmax(logits[mask_pos], dim-1) # 只关心这一个位置 # 类概率 该类下所有标签词的概率之和对数域上用 logsumexp 防下溢 # 这里用 sum 而非 mean类别间标签词数量不等时会带来偏置第 5 章展开 scores torch.stack([ torch.logsumexp(log_probs[word_ids[l]], dim0) for l in labels ]) return scores.unsqueeze(0) # [1, num_labels] # 训练循环里只剩这一步交叉熵打在类别上不是打在词表上 loss F.cross_entropy(pvp_class_logits(model, enc, mask_pos, word_ids, labels), torch.tensor([label_id]))逐项看参数和对应的取舍。mask_pos是整数下标因为logits[mask_pos]取的是单个位置的整条分布log_probs的形状是[vocab_size]如果词表是 5 万这里就是 5 万维但只有word_ids里那 6 个 id 会被用到其余全部是垃圾——这也是 prompt 推理比微调慢一点的原因前向算的维度一样多有效信息却只取一小撮。torch.logsumexp在数值上等价于log(Σ exp(x))它让「概率求和」在 log 域里也能稳定计算。labels的顺序必须全程固定因为cross_entropy是按位置对齐的。还有一处容易忽略log_probs[word_ids[l]]里word_ids[l]是 Python list索引出来是[k]形状logsumexp(dim0)把这一维压掉得到标量。如果某个标签下只有一个词这一步退化成直接取该词的 log 概率。4. 模板从哪来硬模板的离散搜索与软模板的参数有效性PVP 框架搭好之后剩下的问题全落在「怎么选 Template 和 Verbalizer」。人工写一个It was [MASK].只要三秒但实验数据显示同一个任务下换模板、换标签词结果能差出十几个点甚至更多。模板选择本身成了一个需要优化的问题而它的搜索空间是离散的字符串没法求导。围绕着怎么绕开这个「不可导」学术界分出了两条完全不同的路线。4.1 硬模板的三条路人工、规则组合、生成式搜索硬模板也叫离散模板指模板是真实 token 组成的字符串并且这些 token 的词向量在训练中保持不变——严格说是不引入任何新参数只靠模型原有的 embedding 表。第一条路是人工构建。成本低、可解释但三个毛病几乎无解依赖领域先验不会的人写不出来方差极大不同 PVP 训练结果不稳定调参的人被迫穷举语义分布不对齐——预训练时模型见的是长文本、多个 mask、全词表分布PVP 却只给一个 mask、只关心有限几个词两者在分布上始终隔着距离。第二条路是启发式规则组合。针对任务的结构拆出若干子模板sub-prompt每个子模板各自带一个[MASK]最后把各子模板的预测组合起来。以关系抽取为例一条样本包含一个句子和两个实体可以先问「主语是什么类型」再问「宾语是什么类型」最后问「这两者之间是什么关系」三个子模板各出一个[MASK]的分布按规则约束组合成最终答案。这条路工程性价比最高因为规则是任务自带的结构先验不用搜也不用训。第三条路是生成式。用一个小模型或者被测模型自己在少量样本上生成候选模板再按验证集准确率挑。听起来很美实际代价很高模板搜索是离散空间上的黑盒优化评估一个候选就得训一次模型样本少的时候评估方差还特别大搜出来的模板经常在测试集上翻车。提示模板搜索的真实成本不在生成本身而在评估。做工程决策时把「评估一次要多久」算清楚往往比选哪种搜索算法更重要。4.2 软模板把提示词变成可训练向量另一条路干脆放弃「模板必须是词」这个假设。连续模板软模板直接定义 k 个可训练的向量拼在输入 embedding 序列的最前面或中间不映射回任何真实 token。它的动机很直接离散且固定的模板没法参与训练容易陷在局部最优如果把模板变成参数不同样本就能在连续向量空间里各自找到合适的「伪标记」泛化能力也随之提升。代价是引入了少量新参数k 个向量每个维度等于隐层维度。k 通常取个位数到二十隐层 768 的话总参数量不到一万。维度硬模板离散软模板连续形式真实 token 序列k×H 的可训练矩阵新增参数0k×H可读性是人能看懂否反解不出词训练时更新谁仅 LM head 或主干通常只更新软提示主干冻结跨任务复用每个任务单独设计一份软提示对应一个任务可存可换实现上只有十几行但有两个必须成对处理的细节class SoftPrompt(torch.nn.Module): def __init__(self, num_tokens, hidden_size, init_scale0.02): super().__init__() # 只有这一块参与训练Transformer 主干全部 requires_gradFalse self.soft torch.nn.Parameter( torch.randn(num_tokens, hidden_size) * init_scale) def forward(self, inputs_embeds, attention_mask): bsz inputs_embeds.size(0) prefix self.soft.unsqueeze(0).expand(bsz, -1, -1) # [B, k, H] merged torch.cat([prefix, inputs_embeds], dim1) # [B, kn, H] # 必须同步扩 mask否则前缀会被当成 padding 屏蔽掉loss 一动不动 mask torch.cat([attention_mask.new_ones(bsz, self.soft.size(0)), attention_mask], dim1) return merged, masknum_tokens是虚拟 token 的数量 khidden_size是隐层维度 Hinit_scale控制初始化幅度——用标准正态初始化会让前缀的范数远大于真实词向量训练前期梯度直接爆掉实践中一般压到 0.02 量级。forward里最关键的一行不是拼接而是 mask前缀拼进去了但 mask 没跟着扩这些位置会被当成 padding 屏蔽模型看不见提示loss 就会长时间不下降第一阶段看不出异常几轮之后才发现完全没有学起来。这就是「prompt 本质是参数有效性训练」这句三级理解的落点。以隐层 768、k10 算可训练参数 7680 个相对上亿参数的主干是万分之几的量级。省的不只是显存更是小样本下过拟合的风险面。4.3 集成与自训练一个句子为什么不该只有一个 PVP一个句子只有一个模板、一个标签词显然不是最优。既然单个 PVP 方差大最自然的对冲手段就是集成而集成在这套框架里有三个层次。模板集成给同一句子写多个模板It was [MASK].、I think it is [MASK].、This comment is [MASK].一条样本变多条顺带起到数据增强作用训练时当独立样本推理时对所有模板的输出投票或加权平均。标签词集成同一个类下挂多个词great、nice、wonderful 都算 positive预测出其中任何一个都归为 positive推理时对这几条概率做加权。PVP 集成模板和标签词同时多套训练时可加权推理时可投票。再往前一步是迭代自训练。先用多个不同的 PVP 在少量标注上各训一个模型让它们在无标注数据上打标然后按置信度筛选把高置信的伪标注和原始标注混在一起重新训练重复几轮最后集成投票。这套循环里最容易出问题的是类别不平衡——模型会越来越偏向它本来就擅长的类筛出来的伪标注一边倒。工程上的常规做法是按类分别取 top-k 比例而不是全局取 top-k 比例。5. 排查避坑PVP 训练不动的五个真实原因prompt 这套东西看着简单实际部署时的失败模式却比常规微调更隐蔽——因为中间隔了一个词表报错信息往往完全不指向真实原因。下面五条是按发生频率排的。5.1 模板与标签词层面的坑坑一loss 正常下降验证准确率死死卡在多数类基线。现象很好辨认训练集交叉熵从 0.69 一路降到 0.2验证集 accuracy 却和「全猜正类」一模一样。原因通常出在标签词上——某一个类的标签词被切成了多 token被你前面那段断言悄悄丢掉后这个类只剩一个生僻词它的先验概率极低logsumexp 出来的分数被另一个类全面压制模型学会了「永远预测那个先验高的类」。解决方式是把单 token 校验做成前置检查跑之前先打印每个标签词在无训练模型下的初始概率如果两类之间的差距超过一个数量级直接换词。坑二换一个模板准确率掉十个点以上。同一个任务、同一份数据、同一批超参只是把模板从句尾挪到句首结果就崩了。原因有两个方向一是模板语义与任务不匹配二分类情感用「It was [MASK]」很自然用「The author is [MASK]」就变成了在猜作者身份二是模板把序列撑长了max_length截断时[MASK]正好被截掉模型是在为一个不存在的位置输出概率。解决办法是把模板固定在句尾、把max_length调到能容纳「最长句 模板 特殊符号」并且在build_input里断言[MASK]一定在截断后的序列中。坑三推理时所有输入都被判成同一类。训练时[MASK]预测得好好的一上量就全倒向一边。检查 Verbalizer 会发现各类标签词数量不等positive 挂了三个词negative 只挂两个。求和式的 logsumexp 天然偏向词多的类多一个词就多一份概率质量。解决方式是改成类内取平均再比较或者强制每类词数一致更稳的做法是加一步标签词校准把模型对各个词的固有偏好除掉。5.2 训练与推理不一致的坑坑四软模板训练完全不收敛loss 长时间保持直线。这个坑最折磨人因为它不报错。三个常见原因按概率排软提示初始化尺度过大前缀范数压过真实词向量梯度爆炸后被裁掉看起来就是不动学习率沿用了常规微调的量级软提示参数量极少需要比微调高一到两个数量级的学习率才有明显更新attention_mask没跟着延长前缀被当 padding 屏蔽。排查顺序建议反过来——先打印 mask再打印前缀的梯度范数最后才调学习率。坑五小样本下加了模板反而不如直接微调。这个结果最打击人但它往往不是因为 prompt 不行而是因为主干被一起更新了。冻结主干只训 LM head 或只训软提示才是 prompt 的原始设定一旦把主干也放开等于把 prompt 当成了额外的输入特征做了一次全参微调小样本过拟合照旧发生而模板带来的那点语义增益抵不过过拟合的损失。判断标准很简单看可训练参数占比如果它接近 100%那就不是在用 prompt。标注量上千条之后再去考虑解冻顶层几层。6. 设计取舍什么时候该放弃 prompt老实做微调把前面的机制串起来看Prompt-Tuning 的本质是拿「输入侧的表达能力」去换「参数侧的更新量」。这个交换不是无条件划算的它的收益边界由三个变量决定标注量、模型是否白盒、任务输出能否自然表达成词。标注量越大全参微调的过拟合风险越小prompt 省参数的优势就越弱而它在模板搜索上的方差成本反而一直存在。模型是否白盒决定了你能不能拿到[MASK]位置的 logits——拿不到就只能走上下文学习那条路靠往输入里塞几个示例让模型照做那是另一套机制和 PVP 共享的只有「改输入不改模型」这个理念。任务输出能否表达成词则决定了 Verbalizer 存不存在分类、抽取、完形填空都可以连续值回归、结构化输出就很勉强硬套只会把误差堆在映射环节。场景建议路线关键动作标注几百条以内、白盒可拿 logitsPVP 冻结主干先做零样本探测再扫模板 × 标签词标注上千条常规微调早停、对抗训练控制过拟合只有黑盒接口上下文学习示例挑选、思维链拆步骤超大模型 多任务并存软提示每任务存一份 k×H按需切换怎么验证 prompt 在你手上到底有没有用我的做法是三步缺一步结论都不可信。第一步零样本探测不训练直接看标签词在[MASK]位置的初始概率分布如果两类几乎不可分说明模板或标签词选错了再怎么训也救不回来。第二步网格扫描模板三到五个、每类标签词两到三个全组合跑一遍小样本记录均值和方差——方差比均值更重要方差大的组合上线后必然出问题。第三步永远留一条直接微调的基线同数据、同随机种子、同评估脚本两条曲线放在一起看才知道 prompt 的收益是真实的还是评估噪声。一个容易被忽略的取舍是软模板虽然参数少、效果好但它彻底不可解释出了问题时你没法像改硬模板那样「把It was改成Overall it was」来定位而且一份软提示只能对应一个任务任务一多维护成本会以线性速度上升。反过来硬模板虽然方差大但它是人能读懂的出问题能改这在工程上往往比多几个点的准确率更值钱。从那以后我每次接一个新的分类任务都强制先花十分钟做零样本探测把每个标签词的初始概率打出来看一遍再决定要不要上 prompt、用哪套模板。这一步省下来的调参时间比任何技巧都多。希望帮到你。本文还有配套的精品资源点击获取