Prompt-Tuning少样本分类：PVP模板、标签词与避坑指南

简介这份 PDF 综述聚焦面向预训练语言模型的 Prompt-Tuning 微调新范式适合已了解 BERT、GPT 基本结构、希望系统掌握提示学习的研究生、算法工程师与 NLP 爱好者阅读。全文以综述加讨论的形式展开先梳理预训练语言模型的单向与双向架构及 MLM、NSP 等预训练任务指出传统 Fine-tuning 存在预训练与下游目标差距过大、小样本下易过拟合两大痛点再引出 Prompt-Tuning 的动机并给出任务指令、预训练目标复用、参数有效性训练三个层次的理解。正文进一步覆盖离散与连续 Prompt 的构建、In-Context Learning、Chain-of-Thought、面向超大与黑盒模型的 prompt 设计及评估方法兼及 ChatGPT 中的提示技术与未来研究方向。资源包为 1 个 PDF 文件约 17.21MB章节层层递进便于按主题检索与反复查阅目前已有 1557 人学习下载。1. 从一次小样本分类翻车说起这份 Prompt-Tuning 综述能省掉多少试错某开发者接了个影评情感二分类的小活儿手上只有 800 条标注直接加分类头做微调验证集 F1 卡在 0.71 上不去后来听说 Prompt-Tuning 在少样本场景很猛兴冲冲把输入改成「影评 It was [MASK].」结果 F1 掉到 0.62。反直觉的地方就在这里prompt 不是免费午餐模板和标签词挑错了比老老实实加个分类头还差。这份持续更新到 2023 年 3 月底的 Prompt-Tuning 综述长文价值不在概念科普而在它把 prompt 从「对任务的指令」到「对预训练目标的复用」再到「参数有效性训练」分成三级并按预训练语言模型、PVP 组件、In-Context Learning、Chain-of-Thought、黑盒模型用法依次展开正好能把上面这种翻车的原因一层层拆开。适合手上标注数据只有几百到几千条、又不想对 LLM 做全量微调的从业者也适合想把 AIGC 场景里的 prompt 从玄学变成可复现流程的人。2. 预训练目标与下游任务的错位为什么必须用 prompt 而不是加个分类头2.1 预训练阶段到底在训练什么要判断 prompt 有没有用得先看清预训练阶段模型被要求做什么。以 BERT 这一路双向模型为例主任务是 Masked Language Modeling从大规模无监督语料里随机抽 15% 的文本片段被抽中的部分里 80% 替换成 [MASK]10% 替换成词表里的随机词剩下 10% 原样不动然后让模型在 [MASK] 位置对整个词表做分类损失用交叉熵。这个流程和 N-Gram 的词袋预测在形式上像但区别很关键词袋方法喂进去的是被截断的短文本MLM 喂进去的是完整句子上下文语义是保留的模型学到的是「给定左右邻居中间该填什么」。NSP 是 BERT 原论文里附加的第二个任务给定两个句子判断关系分 isNext蕴含、isNotNext矛盾、Neutral 三类构造方式同样是自监督的同一篇文章里取相邻句做正例同篇不相关的句子做中性例跨文章的句子做负例。后来的 ALBERT、RoBERTa 系列在实验里发现 NSP 对下游效果没有明显正向贡献索性把它删了转向其他预训练目标。这条线索对做 prompt 的人有直接意义能复用的预训练目标越干净prompt 的落点越明确这也是绝大多数 Prompt-Tuning 工作都以 MLM 为切入点的原因。MLM 本身还有两个常被忽略的改进版本直接影响模板设计。其一是 Whole Word Masking它认为 BERT 分词后得到的是 word piece按单个 token 随机 mask 会让被遮住的语义不完整所以要求遮住的必须是一个完整单词。其二是 Entity Mention Replacement出现在知识增强的预训练场景里给定知识库后对整个实体做 mask而不是单个 token 或字符。这两条在读综述时容易一扫而过但真到自己写模板时会天天遇到你模板里那个 [MASK] 期望预测的是一个完整语义单位还是一个词片决定了 verbalizer 里的词要不要拆。2.2 五类下游任务与 MLM 的语义距离传统 Fine-tuning 的做法是拿到预训练好的模型在下游任务上接一个新初始化的头部全参数更新。按任务形态大致可以归成五类每类和 MLM 的距离不一样这也决定了 prompt 化的难度。任务类型典型场景传统微调头部能否直接映射到 MLMprompt 化难度单句分类情感分析、意图识别、主题分类[CLS] 接 MLP 做 K 分类可以模板尾部加 [MASK] 预测标签词低句对分类语义推理、文本匹配、检索两句拼接后 [CLS] 接 MLP可以模板里塞两个句子槽位低到中区间预测抽取式阅读理解、实体抽取两个分类器预测起止位置需要多次 mask 或 span 解码中到高单 token 分类序列标注、完形填空、拼写检测每个 token 接 MLP天然一致完形填空就是 MLM低文本生成摘要、翻译、问答自回归解码器天然一致但要换单向模型中这张表最该记住的是中间那列。分类任务的头部是新初始化的参数量不大但完全随机样本一少就过拟合而 MLM 头部是预训练阶段就训练好的词表上的分布已经收敛。Prompt-Tuning 的全部动机就建立在这一点上不下新参数直接把下游任务改写成完形填空复用那个已经训练好的 MLM 头。综述里把传统微调的两个痛点归纳得很干脆——预训练用 MLM、下游重新引入参数两个阶段目标差距太大提升不明显样本有限时新头部极易过拟合泛化能力下降。这两条不是理论推演是复现时能直接观测到的现象。至于单向和双向的选择也影响 prompt 的形式。以 GPT 为首的从左向右编码适用于 Encoder-Decoder 的自回归生成以 BERT 为首的双向编码主体是 Transformer任意两个 token 之间都有显式连接靠 attention 做两两交互本质是一个全连接图缓解了长距离依赖和梯度消失。Transformer 还额外加了 position embedding 来区分 token 的位置关系这一点在拼接模板时很重要模板是拼在原句后面还是前面会改变 [MASK] 的相对位置进而改变位置编码带来的偏置。2.3 拿到新任务先走这三步对照综述给的是知识框架落到自己手上需要一套判断流程。我一般按下面三步走走完再决定要不要上 prompt能省掉大量无效实验。第一步确认任务的输出能不能收敛到词表上的一个有限子集。情感二分类可以「great / terrible 二选一」没问题但如果你的任务是输出一个 0 到 1 的连续打分或者输出一段自由文本verbalizer 就没法建硬做只能退化成生成式 prompt那是另一套玩法。第二步数一下标注量。几百条以内prompt 的优势最明显因为不引入新参数过拟合风险低几千到几万条加分类头的全量微调往往能追平甚至反超十万条以上prompt 在效果上的性价比就很低了除非你的目标是省显存或者做多任务统一。第三步检查标签体系是否天然存在语义近义词。二分类、三分类通常好办十几类的细粒度分类就要谨慎因为每一类都得找到至少一个语义贴合的标签词词找得不准verbalizer 引入的噪声会盖过 prompt 带来的收益。这三步做完你会得到一张很朴素的判断能映射、样本少、类别少才值得试 prompt。提示这三步不需要写代码拿张纸列一下任务输出形态、标注量和类别数五分钟就能排掉一半不适合的场景比上来就改模板划算得多。3. PVP 三件套拆解Template、Verbalizer 与训练目标怎么设3.1 Template 的五种构建路线与选型依据PET 这篇工作把 Prompt-Tuning 的核心组件固定成了 Pattern-Verbalizer-Pair后面几乎所有研究都在这个框架里做增量。Pattern 就是带 [MASK] 的模板Verbalizer 是标签词到类别的映射两者合起来记作 PVP。给定一个句子和它的标签加上一组 PVP训练目标就是在 [MASK] 位置上最大化对应标签词的概率损失仍然是交叉熵但作用域从整个新头部缩到了词表上的几个候选词。模板怎么来综述列了五条路线这五条不是并列的选项而是按「要不要引入可训练参数」分成两派。构建方式代表思路是否引入参数可解释性小样本稳定性实现成本人工构建领域知识手写模板否高差方差大极低启发式法规则、正则、子模板组合否高中低生成式用小样本训练生成模型产出模板是生成器中中高词向量微调模板字符的词向量参与梯度下降是少量中较好中伪 Token模板直接作为可训练参数是少量低较好中前三行属于离散模板也叫 Hard Template、Hard Prompt特点是把显式离散字符拼到原句上训练过程中这些字符的词向量保持固定不动。后两行属于连续模板Soft Template、Soft Prompt让模板变成可训练参数在连续向量空间里为不同样本寻找合适的伪标记。这套方案提出的理由很实在固定不变的离散模板无法参与训练容易陷进局部最优变成可训练参数后不同样本都能在向量空间里找到更贴合的位置泛化能力也跟着上来。启发式这一路值得单独说一句因为它是工程上最实用的。思路是先定义若干子模板再按规则组合成最终 Pattern。以关系抽取为例给定一个短句和两个实体 subject、object可以分别设计「subject 和 object 之间是什么关系」这类子模板再拼起来。它的好处是模板数量可控、可解释、调试时能定位到具体哪条规则出了问题坏处是规则覆盖不到的语言现象就直接失效。人工构建的致命问题综述里说得很直白同样的数据和训练条件换一组 Pattern 和 Verbalizer结果差异可以非常大调参的人得穷举才能找到最好的组合prompt 本该有的「简单快捷」优势就没了。还有一个更隐蔽的问题——预训练阶段的 MLM 并不完全按 PVP 的模式训练MLM 通常是长文本、多个 mask、预测分布也不局限于有限词表所以人工构造的模板和标签词在语义和分布上跟 MLM 之间始终隔着一层。3.2 Verbalizer 的映射设计与三种集成Verbalizer 是把 [MASK] 位置的预测词映射回类别标签的字典。情感二分类可以写成 positive 对应 great、nice、wonderfulnegative 对应 terrible、bad、awful。这里有个约束容易被忽略verbalizer 的构建必须和 pattern 匹配。模板写「It was [MASK].」后面接的是形容词标签词就得是形容词模板写「This comment denotes [MASK].」后面接的应该是名词性的评价词。模板和标签词词性对不上模型预测的概率分布会非常散训练 loss 降不下去。单个 PVP 未必最优所以 PET 给了三种集成思路这三种在实际调参时是递进关系。一是 Patterns Ensembling。同一个句子设计多个模板比如「It was [MASK].」「I think it is [MASK].」「This comment denotes as [MASK].」一个句子就变成了多个样本顺带起了数据增强的作用。训练时可以当独立样本喂进去推理时对所有模板的结果投票或加权。二是 Verbalizers Ensembling。在固定模板下一个类别不止一个标签词模型预测出其中任意一个都算命中该类训练和推理时对这些词的概率做加权或投票。三是 PVP Ensembling模板和标签词同时集成训练时加权推理时投票。再往外还有 iPET 这套半监督做法先用预训练模型初始化多个不同 PVP 的模型在少量标注上做 prompt 微调每个模型去无标注数据上推理打标按置信度筛掉低质量样本新标注数据和原始标注融合后重新训练这几步循环若干轮最后把多个模型集成投票。这套流程听起来复杂但它解决的问题很具体标注只有几百条的时候单模型单 PVP 的方差大到没法判断改进是否真实。多 PVP 集成相当于用模板多样性换稳定性。3.3 一个情感二分类的最小可跑配置理论铺完落到最小可跑的代码。下面这段用开源模型库里的 MLM 头封装把 PVP 的三个组件串起来参数和注释都标清楚。import torch from transformers import BertTokenizer, BertForMaskedLM # 1) Template模板里只留一个 [MASK]槽位用 {text} 占位 TEMPLATE {text} It was [MASK]. # 2) Verbalizer标签词 - 类别。键必须是单个 token否则概率取不到 VERBALIZER { great: positive, good: positive, wonderful: positive, terrible: negative, bad: negative, awful: negative, } tokenizer BertTokenizer.from_pretrained(bert-base-uncased) model BertForMaskedLM.from_pretrained(bert-base-uncased) model.eval() def build_input(text): prompt TEMPLATE.format(texttext) enc tokenizer(prompt, return_tensorspt) # 定位 [MASK] 的下标模板里只允许出现一个 mask token mask_pos (enc[input_ids] tokenizer.mask_token_id).nonzero(as_tupleTrue)[1] assert mask_pos.numel() 1, 模板里有多个 [MASK]需要改成多 mask 版本 return enc, mask_pos torch.no_grad() def pvp_scores(text): enc, mask_pos build_input(text) logits model(**enc).logits[0, mask_pos, :] # [1, vocab] probs logits.softmax(dim-1)[0] # 只取 verbalizer 里的词其余词的概率直接丢弃 word_ids [tokenizer.convert_tokens_to_ids(w) for w in VERBALIZER] assert tokenizer.unk_token_id not in word_ids, 有标签词被切成了多个 token sub probs[word_ids] # 同类词概率相加小样本下也可以先做长度归一化再加 scores {} for w, p in zip(VERBALIZER, sub.tolist()): scores[VERBALIZER[w]] scores.get(VERBALIZER[w], 0.0) p return scores print(pvp_scores(I like the film very much.)) print(pvp_scores(The film is a total waste of time.))逻辑说明分三段。build_input负责模板拼接和 mask 定位断言那行是关键防线模板里一旦不小心写了两个 [MASK]后面的概率取值会错位而且不报错、只是结果变差查起来非常费劲。pvp_scores里先 softmax 再取子集注意顺序不能反先取子集再 softmax 等于在这几个词上重新归一化概率含义就变了训练时算交叉熵会和推理时算投票不一致。最后的同类聚合采用概率相加这是最朴素的加法集成如果某类标签词数量明显多于另一类需要先按词数做归一化否则类别概率会被词多的那类系统性抬高。参数上有几个可调点。TEMPLATE的位置接在原句后面还是放到前面会影响 [MASK] 与待分类内容的距离实测差异不小值得各试一次。VERBALIZER的键必须验证是单 token代码里用convert_tokens_to_ids加断言挡了一道但更稳的做法是先 tokenize 一次看长度。标签词数量上每类两到四个是比较稳的区间少于两个方差大多于五个会引入语义漂移的词。训练阶段还有个可选技巧叫上下文校准先用一些无内容的输入比如「N/A」跑一遍得到 [MASK] 位置上的先验分布再从预测概率里减掉这个先验能缓解模型对某些高频词的偏好。注意这段代码只做推理演示。真训练时不要冻结整个模型再只优化 verbalizer正确做法是让整个 MLM 头参与反向传播冻结主干或者用很小学习率具体取决于你的显存和样本量。4. 大模型时代的三种用法In-Context Learning、Instruction-tuning 与 CoT4.1 从 in-context learning 到小模型上的 PETGPT-3 那篇工作提出的核心不是新架构而是一个观察超大规模模型只要配上合适的模板就能极大发挥推理和理解能力无需修改任何参数即可完成 few-shot 甚至 zero-shot 任务这就是 in-context learning。配套的还有 demonstration learning即在输入里拼几条带 ground-truth 的示例比如判断「I like the film. It was [MASK].」时前面先放「I like the book, it was great.」和「The music is boring. It is terrible for me.」模型就能照着这个模式往下接。这套方法有个明显限制它建立在参数规模极大的模型上。参数规模一旦降下来纯 zero-shot 的 prompt 效果会明显下滑所以要把 in-context learning 和 demonstration learning 挪到微调阶段用。而且大模型场景里的自然语言 prompt 往往过于简单套到具体任务上不够用必须单独设计组件这正是 PET 那套 PVP 的由来。换句话说in-context learning 是 prompt 的前身PVP 是它在可训练框架下的落地形态两者不是替代关系而是同一思路在不同参数量级上的两种实现。对工程实践来说这个区分决定了一件事你手上如果是几十亿参数以上的模型优先试 in-context构造几条高质量示例成本极低如果只有 BERT 级别的模型别指望 prompt 能零样本起飞老老实实做 PVP 加少量标注微调。4.2 黑盒模型下 prompt 的边界与 CoT 的触发条件面向黑盒模型能动的只有输入这时候 prompt 的设计空间被压缩成几件事指令措辞、示例的数量与顺序、输出的格式约束、以及是否要求模型展示推理过程。Chain-of-Thought 属于最后一类做法是在示例里把中间的推理步骤写出来让模型模仿这个格式而不是直接给答案。它对多步推理类任务有效对单步分类、实体抽取这类任务收益很小甚至因为输出变长而增加出错面。示例数量和顺序是黑盒场景里最容易被低估的变量。同样几条示例换个顺序结果可能摆动好几个点这不是模型不稳定而是示例本身构成了一个隐式的任务定义顺序变了模型对任务的理解也跟着变。常见的做法是把示例按类别交替排列避免同类示例连续出现导致模型偏向某一类同时控制示例长度太长会挤占真正输入的位置。黑盒场景还有个绕不开的问题你拿不到 logits只能拿到文本。这意味着 verbalizer 那套「取标签词概率、同类相加」的做法失效了只能靠输出解析。解析要写得足够宽容中英文标点、大小写、多余的解释性文字都得兼容否则你会把大量本可以判对的样本算成解析失败最后误以为 prompt 效果差。4.3 两条路线的对照与选择小模型路线和大模型路线在成本结构上完全不同选错方向会把预算烧在没意义的地方。维度小模型 PVP 微调大模型 in-context / CoT参数更新更新 MLM 头或少量参数完全不更新标注需求几百条量级即可起步每条任务需 3 到 8 条示例单次推理成本低高与示例长度线性相关效果上限受底座能力限制受底座能力与示例质量双重限制调试手段看 loss、看 [MASK] 概率分布只能看输出文本黑匣子主要风险模板方差大、标签词选不准示例顺序敏感、输出解析失败我一般的判断是任务固定、调用量大、延迟敏感走小模型 PVP任务经常变、调用量小、需要快速验证可行性走大模型 in-context。两条路线也可以叠加先用大模型跑一遍拿到高质量伪标注再喂给小模型做 PVP 微调本质上是 iPET 那套自训练思路的变体。5. 避坑与排查模板、标签词、训练与评测里的五类高频翻车5.1 模板与标签词上的三条第一条换了模板指标大跳水。现象是同一份数据、同一个底座只把模板从「It was [MASK].」换成「I think it is [MASK].」验证集 F1 从 0.74 掉到 0.63跑几遍都复现。原因是模板本身引入了先验偏置不同的句式会让 [MASK] 位置的预测分布整体偏移模型可能更倾向于输出某几个高频形容词而这些词恰好不属于你的 verbalizer取子集后概率被严重压缩。解决办法是先做一次先验探测拿一批无内容输入跑一遍看 [MASK] 位置的前十个高频词是什么如果模板会系统性地催出某些词要么把这类词纳入 verbalizer 作为中性词处理要么换模板。多模板集成也能缓解但代价是推理成本翻倍。第二条标签词被分词切碎了。现象是代码跑通、loss 也降但预测结果几乎全是同一类。原因是 verbalizer 里的词在分词器里不是一个 tokenconvert_tokens_to_ids拿到的是 unknown 或者词表里某个不相关的 id概率取到的根本不是那个词。解决办法是建 verbalizer 之前先逐个 tokenize 验证长度长度大于一的要么换词要么改成对多个 mask 位置联合建模后者实现复杂度会上升一个量级通常不值得。第三条模板里 mask 数量与实际需求不匹配。现象是区间预测、实体抽取这类任务上模板里放了多个 [MASK]训练能跑但收敛极慢预测出的 span 边界经常错位。原因是多个 mask 位置之间存在依赖模型需要在它们之间维持一致性而预训练阶段的 MLM 并没有强制这种约束。解决办法有两条一是把多 mask 拆成多次单 mask 前向代价是推理次数变多二是引入边界约束的辅助损失把起止位置的合法性显式建模进去。5.2 训练与评测上的两条第四条小样本下结论不可信。现象是拿 200 条标注训了三个 PVPA 模板 0.78、B 模板 0.75、C 模板 0.72于是判定 A 最优。问题是这个差距完全可能落在随机种子带来的波动范围内换三个种子排序就变了。原因是样本量小指标方差极大单次实验的排序没有统计意义。解决办法是最低限度跑三个种子取均值同时报告标准差如果条件允许把多个 PVP 的预测做投票用集成的结果代替单模板选型稳定性通常比精挑细选一个模板更好。第五条训练目标和推理口径不一致。现象是训练时 loss 一路下降验证指标却不动甚至倒退。原因是训练阶段对候选词做了重新归一化只在 verbalizer 内 softmax推理阶段却用了全词表 softmax 再取子集两者概率尺度不同。更隐蔽的一种是训练时用了标签平滑推理时没做对应处理。解决办法是把「取子集」和「归一化」的顺序在训练、验证、推理三条链路上写成同一个函数别复制粘贴用同一份实现规避这类不一致。提示这五条里有三条是「不报错但结果变差」的类型排查时优先看概率分布本身不要只看最终指标。把 [MASK] 位置的 top-10 词打出来很多问题一眼就能看出来。6. 验证一套 PVP 是否真有效方差、消融与多模板投票的落地做法调完模板最难的其实不是调而是判断改动到底有没有用。我习惯做三层验证从便宜到贵依次上。第一层是单变量消融。固定数据、固定种子、固定训练步数只改一个东西模板、或 verbalizer、或学习率。每改一次记录两组数验证集指标以及 [MASK] 位置上前十个词的分布。后者的作用是解释现象如果指标掉了但分布几乎没变大概率是评测脚本或者随机性在捣鬼如果分布明显偏移那就是模板在起作用。第二层是方差测量。同配置跑三次不同种子算均值和标准差。判断标准很简单两个配置的均值差小于一个标准差就不要声称谁更好。这一步看起来笨但能挡掉大量自欺欺人的结论。下面这段是记录与比较的最小脚本。import numpy as np def summarize(runs): runs: 同一配置下多次实验的指标列表 arr np.array(runs, dtypefloat) return { mean: arr.mean(), std: arr.std(ddof1), # 样本标准差n-1 ci95: 1.96 * arr.std(ddof1) / np.sqrt(len(arr)), # 95% 置信区间半宽 } cfg_a summarize([0.781, 0.764, 0.772]) cfg_b summarize([0.769, 0.755, 0.760]) # 均值差是否超过合并标准差的量级 gap abs(cfg_a[mean] - cfg_b[mean]) pooled np.sqrt((cfg_a[std] ** 2 cfg_b[std] ** 2) / 2) print(fgap{gap:.4f}, pooled_std{pooled:.4f}, 可信{gap pooled})这段代码只有三个参数值得说。ddof1是样本标准差样本量小于十的时候用总体标准差会把方差低估。1.96对应 95% 置信水平样本只有三次时这个区间其实偏乐观严格的场景下换成 t 分布的分位数更合适但用来做粗筛已经够。最后那个gap pooled是个经验判据不是严格的假设检验它的作用是在你准备写「模板 A 更优」之前先拦一下。第三层是多模板投票验证。挑三到五个语义上都说得通的模板各自训练一遍推理时对类别概率求平均或投票看集成结果是否稳定优于任何单模板。如果集成明显更好说明单模板的方差确实是主要矛盾这时候应该把工程资源投在做集成上而不是继续精调某一个模板如果集成和最好的单模板打平说明那个模板本身足够强可以直接定稿省掉集成带来的推理开销。血泪经验是我早期做这类实验从不记种子改完模板觉得效果好就写进报告过两周想复现发现怎么都跑不回去只能整轮重来。从那以后我每次启动实验脚本都强制走一遍配置快照种子、模板字符串、verbalizer 全字典、学习率、batch size 一起写进日志文件名跑完自动归档。这套习惯本身不产生任何效果提升但它决定了你后面所有结论是资产还是一次性的。这份综述长文把 PVP 的来龙去脉、集成方式和半监督扩展都摊开讲了配合上面三层验证去读能少走不少弯路建议存一份在手边随时对照。希望帮到你。本文还有配套的精品资源点击获取