零样本分类器蒸馏实战：用 NLI 教师模型蒸馏高效学生分类器（Transformers Zero-shot Distillation）

推理引擎大模型【免费下载链接】FlexGenRunning large language models on a single GPU for throughput-oriented scenarios.项目地址https://gitcode.com/gh_mirrors/fl/FlexGen点击查看免费下载本篇技术指南基于 Hugging Face Transformers 仓库中的零样本分类蒸馏研究项目位于benchmark/third_party/transformers/examples/research_projects/zero-shot-distillation/讲解如何用 NLI自然语言推理零样本分类器作为教师模型在无标注语料上蒸馏出一个带标准分类头的小型学生模型从而在保留相近分类效果的前提下获得数量级的推理加速与内存优化。读完本文你将掌握零样本分类的原理与性能瓶颈、蒸馏脚本的完整参数体系、底层损失函数与教师预测生成逻辑并能够用一条命令复现 AGs News 主题分类的完整蒸馏流程。一、零样本分类的原理与性能瓶颈零样本分类Zero-shot Classification利用了在大规模 NLI 任务上预训练过的序列分类模型。其核心思路是将待分类文本作为premise前提将候选类名套入模板后形成的句子作为hypothesis假设交由 NLI 模型判断二者是否存在蕴含entailment关系进而把蕴含分数视为该候选标签成立的置信度。这种方案的优势是开箱即用——无需任何标注训练数据只要给定一组候选类名就能分类。但其代价也很明显对于 N 条文本、K 个候选类模型需要对每个 (文本, 类名) 组合各做一次前向推理总计 N×K 次前向传播。当 K 增大时推理耗时随之线性增长成为实际应用中的主要瓶颈。上述机制在 Transformers 源码中有清晰的对应实现零样本分类的 Pipeline 类ZeroShotClassificationPipeline位于 zero_shot_classification.py其参数处理器ZeroShotClassificationArgumentHandler会把每条序列与每个标签配对成 premise/hypothesis 序列对见 zero_shot_classification.py#L24-L42而后处理阶段zero_shot_classification.py#L211-L237则依据model.config.label2id中名称以 entail 开头的标签 id 提取蕴含 logit再按是否多标签选择不同的 softmax 归一化方式。也就是说Pipeline 内部本质上是逐条文本, 标签组合执行前向推理的这正是 N×K 次前向的根源。二、蒸馏方案总体思路本项目的蒸馏方案见 README.md作者 joeddav旨在将上述昂贵的零样本推理压缩成一次便宜的分类推理核心思路如下准备输入一份无标注语料每条文本一行和一组候选类名每行一个。生成教师软标签用 NLI 教师模型默认roberta-large-mnli对全部无标注样本逐类生成 soft 预测分布得到每一条样本在 K 个类别上的概率向量。训练学生模型用带 K 维输出头的标准分类模型默认distilbert-base-uncased拟合教师的 soft 预测损失函数为蒸馏交叉熵。部署学生模型训练完成后学生模型是一个普通的多类分类器推理时只需对每个样本做一次前向速度与内存占用大幅降低同时分类效果与零样本教师接近。整套流程只需要一个脚本 distill_classifier.py 即可完成脚本完整实现了上述四步。三、快速上手基本用法与数据格式3.1 最小命令在仓库内的benchmark/third_party/transformers/examples/research_projects/zero-shot-distillation/目录下运行python distill_classifier.py \ --data_file unlabeled_data.txt \ --class_names_file class_names.txt \ --output_dir output_dir其中unlabeled_data.txt是纯文本文件每一行是一条无标注样本仅文本不含标签class_names.txt是纯文本文件每一行是一个候选类名--output_dir指定蒸馏得到的学生模型保存目录。脚本会依次完成读取数据 → 用教师模型生成 soft 预测 → 初始化学生分类器 → 训练学生 → 保存模型并在--do_eval开启默认开启时报告学生与教师在预测分布上的一致性agreement指标。3.2 数据文件注意事项脚本读取数据使用read_lines函数distill_classifier.py#L131-L138逐行读取并strip()去除首尾空白空行会被跳过。因此数据文件不能包含表头每条样本占一行类名文件同样逐行解析类名顺序将决定学生模型输出头的 K 个维度与id2label/label2id映射见 distill_classifier.py#L306-L307。四、参数详解脚本通过HfArgumentParser解析四组 dataclass 参数distill_classifier.py#L216-L229除支持 JSON 配置文件方式外单参数传.json文件路径其余均以命令行方式传入。下表为教师模型与数据相关参数参数默认值说明--teacher_name_or_pathroberta-large-mnliNLI 教师模型的名称或本地路径--hypothesis_templateThis example is {}.将类名拼装成 NLI hypothesis 的模板必须包含{}占位符。例如默认模板与候选类sports组合后模型输入形如[CLS] sequence to classify [SEP] This example is sports . [SEP]--teacher_batch_size32生成教师预测时的批大小仅影响教师前向阶段不影响学生训练训练批大小用--per_device_train_batch_size调整--multi_labelFalse是否允许多个候选标签同时成立。默认关闭时每条样本的 K 个标签概率被归一化为和为 1开启后各标签独立对每个标签单独对蕴含 vs 矛盾logits 做 softmax即多标签分类--temperature1.0对教师预测 softmax 施加的温度。温度越高学生学到的分布越平滑置信度更低温度1则得到更尖锐的高置信分布1.0等价于不做平滑--student_name_or_pathdistilbert-base-uncased学生模型的名称或路径将被微调以拟合教师预测--data_file必填无标注语料文件路径--class_names_file必填候选类名文件路径--use_fast_tokenizerTrue是否使用基于 Rust tokenizers 库的快速分词器需要特别指出README 示例命令中有一处将--class_names_file误写作--class_names_files脚本实际定义的参数名是--class_names_file见 distill_classifier.py#L76实际运行时请以脚本定义为准。此外DistillTrainingArguments继承自 Trainer 的TrainingArguments因此 Trainer 的全部参数如--learning_rate、--fp16、--no_cuda、--warmup_steps、--num_train_epochs、--per_device_train_batch_size、--per_device_eval_batch_size、--save_total_limit、--seed、--overwrite_output_dir等均可直接使用。其中脚本内自定义了几个默认值output_dirNone、训练批大小 32、评估批大小 128、训练轮数 1.0、默认开启do_train与do_eval、save_total_limit0默认不保留中间 checkpoint。运行python distill_classifier.py -h可查看全部可用参数。五、底层实现教师预测生成与蒸馏损失5.1 教师 soft 预测的生成教师预测由get_teacher_predictions函数完成distill_classifier.py#L159-L213其处理流程与零样本 Pipeline 完全同源但做了批量优化用get_premise_hypothesis_pairs把 N 条样本与 K 个类名展开为 N×K 组 (premise, hypothesis) 对distill_classifier.py#L141-L148按--teacher_batch_size分批送入教师模型分词时使用truncationonly_first只截断 premise保证 hypothesis 完整并支持fp16混合精度推理与no_grad识别蕴含维度get_entailment_id遍历model.config.label2id取第一个名称以entail开头的标签 id 作为蕴含维度矛盾维度取另一侧distill_classifier.py#L151-L156归一化--multi_label开启时对每个类独立地在矛盾, 蕴含两个 logits 上做 softmax关闭时对所有类的蕴含 logits 跨类做 softmax使 K 个概率和为 1distill_classifier.py#L206-L213。这与 Pipeline 的 postprocess 逻辑zero_shot_classification.py#L220-L230一一对应可相互印证。由此得到的 N×K 概率矩阵即作为训练数据集的 labelssoft 标签存入datasets.Dataset。5.2 蒸馏损失软标签交叉熵学生模型的训练使用自定义的DistillationTrainerdistill_classifier.py#L117-L128它重写了compute_lossloss -torch.sum(target_p * logits.log_softmax(dim-1), axis-1).mean()即以教师的 soft 概率分布target_p为软目标对学生 logits 的 log-softmax 求加权交叉熵。这与标准知识蒸馏的损失形式一致学生被直接教会复现教师的类别概率分布而非仅仅对齐 argmax 硬标签。评估阶段脚本还计算了agreement指标学生 argmax 预测与教师 soft 标签 argmax 的匹配率见 distill_classifier.py#L313-L316以衡量学生输出与教师预测的一致程度。5.3 训练流程中的工程细节checkpoint 检测若--output_dir已存在且不为空且未传--overwrite_output_dir脚本会尝试从已有 checkpoint 恢复训练否则报错提示distill_classifier.py#L231-L244随机种子训练前调用set_seed保证可复现并行限制脚本显式抛错拒绝分布式训练local_rank ! -1与 TPUtpu_num_cores非空环境但单机多 GPU 天然支持——教师推理阶段在检测到可用 CUDA 且未指定--no_cuda时会自动包装nn.DataParallel并将批大小乘以 GPU 数量distill_classifier.py#L176-L178。六、实战示例AGs News 四类主题分类假设我们要把新闻文章分为四类the world、sports、business、science/tech。手上只有 AGs News 的无标注文本真实场景中该数据集本有标注这里假装没有即可用零样本蒸馏得到专用分类器。6.1 零样本教师的效果使用roberta-large-mnli与模板This text is about {}.对一条样本做零样本分类 class_names [the world, sports, business, science/tech] hypothesis_template This text is about {}. sequence A new moon has been discovered in Jupiters orbit zero_shot_classifier pipeline(zero-shot-classification, modelroberta-large-mnli) zero_shot_classifier(sequence, class_names, hypothesis_templatehypothesis_template) {sequence: A new moon has been discovered in Jupiters orbit, labels: [science/tech, the world, business, sports], scores: [0.7035840153694153, 0.18744826316833496, 0.06027870625257492, 0.04868902638554573]}预测合理但由于 4 个类名需要各自过一遍大模型推理速度是主要痛点——这正是蒸馏要解决的问题。6.2 准备数据并运行蒸馏把 AGs News 的训练样本仅文本逐行写入agnews/unlabeled.txt把四个类名逐行写入agnews/class_names.txt然后执行python distill_classifier.py \ --data_file ./agnews/unlabeled.txt \ --class_names_file ./agnews/class_names.txt \ --teacher_name_or_path roberta-large-mnli \ --hypothesis_template This text is about {}. \ --output_dir ./agnews/distilled脚本将用roberta-large-mnli为每条样本生成 soft 预测随后训练 distilbert 学生分类器并把最终模型保存到./agnews/distilled。若在无 GPU 环境运行可加--no_cuda内存紧张时加--fp16需 GPU 支持。6.3 加载并推理学生模型训练产物就是一个普通预训练分类器可用标准 API 加载from transformers import AutoModelForSequenceClassification, AutoTokenizer model AutoModelForSequenceClassification.from_pretrained(./agnews/distilled) tokenizer AutoTokenizer.from_pretrained(./agnews/distilled)也可以直接接入TextClassificationPipeline使用 distilled_classifier TextClassificationPipeline(modelmodel, tokenizertokenizer, return_all_scoresTrue) distilled_classifier(sequence) [[{label: the world, score: 0.14899294078350067}, {label: sports, score: 0.03205857425928116}, {label: business, score: 0.05943061783909798}, {label: science/tech, score: 0.7595179080963135}]]提示构造 pipeline 时传入device0即可将推理放到 GPU 上。可以看到学生模型对这条训练时从未见过的样本给出的分数分布与教师高度相似science/tech置信度最高说明学生已成功学到了教师的判别能力。6.4 速度与精度对比README 给出了在单张 V100 上的粗略速度对比模拟 16K 条样本、批大小 16for _ in range(1000): zero_shot_classifier([sequence] * 16, class_names) # 单张 V100 上运行耗时约 1m 23s%%time for _ in range(1000): distilled_classifier([sequence] * 16) # 单张 V100 上运行耗时约 10.3s学生模型比教师快约一个数量级。而且本示例只有 K4 个类K 越大加速越显著因为零样本教师的总前向次数随类数线性增长。精度方面README 报告原零样本模型roberta-large-mnli在 AGs News 保留测试集上准确率 69.3%蒸馏学生模型达到 70.4%——两者接近甚至学生略高。需要说明的是这些数字来自项目文档自身报告的实验未在本仓库内附带完整复现脚本与原始日志仅作为该方案的参考证据。七、适用范围与已知限制适用前提有1一份与目标任务分布相近的无标注语料和2一个固定的候选类名集合。蒸馏出的学生是固定 K 类的专用分类器类名集合变更后需重新蒸馏。不支持分布式与 TPU脚本对分布式训练local_rank ! -1和 TPUtpu_num_cores直接抛错distill_classifier.py#L265-L268单节点多 GPU 可用教师推理阶段会自动启用DataParallel。教师选择默认教师roberta-large-mnli可替换为任意在 NLI 任务上微调过的序列分类模型前提是模型 config 的label2id中存在名称以 entail 开头的标签否则蕴含维度识别失败并回退为 -1见 zero_shot_classification.py#L66-L77。模板选择--hypothesis_template对效果影响明显建议根据任务微调模板措辞如新闻类任务用This text is about {}.模板必须包含{}占位符。八、验证与延伸仓库内的测试佐证如需验证零样本分类机制本身的正确性可参考 Transformers 测试目录下的 test_pipelines_zero_shot.py它覆盖了候选标签的多种传入方式字符串、逗号分隔字符串、列表、单标签模式下各标签分数之和为 1 的归一化约束以及多标签multi_label模式的行为可作为理解教师预测归一化语义单标签 vs 多标签的补充参考。本仓库中的 Transformers 副本版本为 4.24.0上述源码与测试路径均指该副本内的实际文件。总体而言零样本蒸馏提供了一个无标注数据 固定类目场景下兼顾效果与效率的实用范式先用 NLI 零样本模型离线生成软标签再蒸馏为小型专用分类器将每条样本的推理成本从 K 次前向降为 1 次是知识蒸馏思想在零样本分类方向上的典型落地实践。赞分享推理引擎大模型【免费下载链接】FlexGenRunning large language models on a single GPU for throughput-oriented scenarios.项目地址https://gitcode.com/gh_mirrors/fl/FlexGen点击查看免费下载相关推荐Transformers 图像分类知识蒸馏实战用 Trainer 将 ViT 教师蒸馏到 MobileNetV2Transformers 图像分类知识蒸馏实战用 Trainer 将 ViT 教师蒸馏到 MobileNetV2 知识蒸馏Knowledge Distill人工智能深度学习机器学习预训练微调NLP计算机视觉语音多模态PaddleNLP 知识蒸馏实战将 BERT 教师模型的任务知识蒸馏进 Bi-LSTM 学生模型PaddleNLP 知识蒸馏实战将 BERT 教师模型的任务知识蒸馏进 Bi LSTM 学生模型 本文以 PaddleNLP 中 slm/examples/m人工智能大模型预训练微调LoRARLHF强化学习分布式训练模型推理服务推理引擎模型量化模型压缩本地部署NLP终极指南用pk3DS打造独一无二的宝可梦3DS游戏体验终极指南用pk3DS打造独一无二的宝可梦3DS游戏体验 你是否厌倦了重复玩同样的宝可梦3DS游戏想要为经典游戏注入全新活力吗pk3DS正是你需要的解决方案人工智能大模型强化学习RLHF分布式训练上一篇视频压缩不求人youtube-dl-gui自定义参数完全指南下一篇OBS Studio 动态数组 darray 深度解析C 风格可增长数组的 API、实现原理与源码级用法创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考