CLIP零样本分类实战：双塔结构、Prompt工程与工程化避坑

做视觉项目的人大概都遇到过这种场面需求方临时加了三个新类别你的分类模型得重新标数据、重新训练、重新评估一轮下来两周没了更难受的是有些类别天生样本稀少标个几十张训出来还不如人眼扫一遍。CLIPContrastive Language-Image Pre-training视觉语言对比预训练模型就是在这种反复折腾里被越来越多人捡起来的工具——它不教模型这是什么类而是让模型学会这张图和哪句话更配。类别不再是写死在网络最后一层的固定输出而是一句话、一个短语随时能改。这也是很多人把这类视觉语言大模型叫作万物分类器的原因只要有合适的描述词它就能给没见过的类别打分。这篇东西我打算从它到底解决了什么问题讲起把双塔结构、对比损失、温度系数这些内部机制拆开说清楚再给一套能直接跑起来的零样本分类实操流程中间穿插我自己踩过的预处理不一致、prompt 写歪、阈值乱设这些坑。适合已经会用分类模型但被类别迭代拖累的工程同学也适合刚接触多模态、想搞清楚为什么图文对齐能拿来做分类的入门读者。1. 分类任务的旧账为什么固定类别这条路越走越窄1.1 传统监督分类的三处硬伤监督分类的范式非常干净定一个类别集合收集每个类别的标注样本训一个 Softmax 分类头输出维度等于类别数。干净带来的代价是僵化僵化体现在三个地方。第一个是类别集合一旦定死改动成本极高。你训了个 20 类的商品识别模型业务方想加宠物用品和户外装备理论上可以只训新类的头再接旧模型但实际上一旦类别间存在视觉相似性比如户外装备里的登山杖和运动器材里的球拍旧数据必须重采样重训否则新头会把老类别的样本抢走。这种加了两个类回归了五个类的情况我经历过不止一次。第二个是长尾问题无解。真实业务里总有一批类别只有几十张样本甚至只有个位数。十几张图训出来的分类头基本等于随机初始化加一点偏移mAP 掉十几个点是常态。而人力上你很难说服业务方为一个月出单不到十次的品类去标两千张图。第三个是语义信息被浪费了。传统分类器的标签是一个 one-hot 向量猫和狗在标签空间里的距离与猫和汽车的距离完全一样模型学不到猫和狗都是动物这种先验。你要做层级分类、开放集识别、跨域迁移都得靠额外的技巧去补。CLIP 的思路是绕开这三条既然标签本身是人为定义的文字那为什么不直接拿文字当监督信号这一句话就是整篇内容的起点。1.2 把分类翻译成图文检索的核心思路CLIP 最漂亮的地方不是网络多大、数据多少而是它把分类问题换了一种问法。传统分类问的是这张图属于哪一类CLIP 问的是这张图和哪句描述最搭。具体做法是把每个类别名塞进一个句子模板比如类别是猫就生成一张猫的照片这样的文本用文本编码器把这句描述编码成一个向量用图像编码器把待测图片编码成另一个向量然后算两者的余弦相似度。哪个类别的描述向量和图片向量最接近就判成哪一类。整个流程里没有任何一步依赖事先训好的分类头类别集合完全由你手上那几十句话决定改类别改句子。这个转换带来的直接好处是零样本。你训练时模型见过的是四亿级别的图片-原始网页文本对从来没人为标注过这是第 3 类但在推理时你给一句它没见过的描述它依然能算相似度。这就把新类别上线的成本从标数据训练评估压缩到了写一句话跑推理,对业务迭代速度的提升是数量级的。代价当然也有它的精度上限不如针对性训练的监督模型尤其在细粒度任务上差距明显它对文本描述的质量极其敏感句子写歪了结果就歪它算不了计数、空间关系这类需要结构化理解的东西。这些坑后面会单独讲。1.3 适用边界什么活儿别硬塞给 CLIP用 CLIP 之前先想清楚它擅长什么、不擅长什么能省下大量调试时间。适合的场景通常具备这几个特征类别数量中等几十到几千、类别之间视觉差异明显、类别会频繁变动、标注预算紧张、需要一个能快速验证的 baseline。比如内容平台的图片打标、电商的粗粒度品类识别、相册的自动聚类、素材库的以图搜图这些都是 CLIP 的主场。不太适合的场景同样明显需要区分同一物种下十几个亚种的细粒度识别鸟类、车型、花卉品种、需要数图里有几个人的计数任务、需要判断A 在 B 左边的空间关系任务、以及要求极高精度比如工业质检里的缺陷分级差一个百分点就是几十万损失。这些任务里 CLIP 可以当特征提取器或辅助信号但别指望它端到端解决。注意判断一个任务能不能上 CLIP有个很粗暴但很准的自测方法——把候选类别名给一个没受过训练的人看图片如果他能一眼分对CLIP 大概率也能如果他需要盯着细节反复比对CLIP 大概率不行。2. 双塔与对比学习CLIP 内部到底在算什么2.1 图像塔与文本塔的分工CLIP 的结构可以概括成两个编码器加一个投影层。图像侧通常是一个 Vision Transformer 或者 ResNet文本侧是一个 Transformer 编码器两侧输出经过各自的线性投影被映射到同一个维度空间里。这个同一维度空间是整个设计的核心只有图像向量和文本向量落在同一个坐标系里余弦相似度才有意义。图像侧的常见规格里ViT-B/32 把 224×224 的输入切成 32×32 的块得到 7×749 个 patch token加一个 class token 共 50 个ViT-B/16 是 14×141961197 个 tokenViT-L/14 是 16×162561257 个 token宽度从 768 提到 1024投影维度从 512 提到 768。patch 越小、token 越多细节保留得越好代价是计算量按平方级往上走。表里这几个规格是我实际选型时最常对比的规格patch 大小token 数含 cls编码宽度投影维度相对吞吐典型用途ViT-B/323250768512最快大规模粗筛、CPU 边缘ViT-B/1616197768512中等通用零样本分类ViT-L/14142571024768慢精度优先、检索ViT-L/14-336145771024768最慢小目标、细粒度文本侧要注意一个细节文本编码器有长度上限通常是 77 个 token超出的部分直接截断。这意味着你写类别描述时不能用长句子太长会被切掉后半段剩下的语义可能完全变味。我在早期用长句描述业务规则时就吃过这个亏句子后半段不含赠品被截掉了结果把带赠品的图也判进了同一类。2.2 一个 batch 就是一张 N×N 的判别矩阵训练阶段是 CLIP 最值得细看的部分。假设一个 batch 里有 N 张图和 N 条对应的文本这里的对应指真实配对来自同一网页图像编码器输出 N×D 的矩阵文本编码器输出 N×D 的矩阵两者各自做 L2 归一化后做矩阵乘法得到一个 N×N 的相似度矩阵。这个矩阵里对角线上的元素是正确的图文对其余 N²-N 个元素是错误的搭配。训练目标就是让对角线上的值尽量大、非对角线上的值尽量小。这个目标同时对两个方向做 Softmax按行做一次让每张图在 N 条文本里挑出自己的那条按列做一次让每条文本在 N 张图里挑出自己的那张。两个方向的交叉熵取平均就是常说的对称对比损失。这里有个容易被忽视的经验点batch size 直接决定了任务难度。N32 时模型只需要在 32 个候选里选对 1 个N32768 时它要在三万多条文本里挑出正确的那条。后者显然难得多学到的表征也更 discriminative。这也是为什么这类模型训练动辄需要上千张卡的显存——负样本越多学到的特征越细。你自己做小规模微调时如果发现效果上不去先看看 batch size 是不是太小了这是最常见的原因之一。2.3 温度系数 logit_scale最容易被忽略的那个旋钮相似度算完之后不能直接进 Softmax中间要先乘一个温度系数的倒数。在实现里通常存成一个可学习参数logit_scale初始化为 log(1/0.07) ≈ 2.6592也就是初始温度 0.07。乘完再取指数得到的就是缩放后的 logits。为什么要这一步因为余弦相似度的取值范围是 [-1, 1]N 很大时这些值挤在一个很窄的区间里Softmax 之后几乎均匀分布梯度信号极弱模型学不动。除以一个很小的温度等于乘以一个很大的数初始约 14.3 倍能把分布拉开让正确的对子获得足够强的概率优势。训练过程中这个参数会自己调整上限一般卡在 log(100) ≈ 4.6052防止无限放大导致数值不稳定。这个参数在做推理时必须用模型自带的那个值不能随手设成 1。我刚上手时图省事直接对相似度做了 argmax看起来结果也还行但一旦需要输出概率或者做阈值判断就全乱了——因为没有缩放所有类别的概率都挤在 0.02 到 0.05 之间假设 50 个类别完全没法设拒识阈值。后来改成读取模型的logit_scale概率分布立刻变得可用正确类别的置信度通常在 0.7 以上误判样本的置信度则明显低一截。2.4 四亿图文对换来的能力与代价CLIP 的能力底座是四亿量级的图片-网页文本配对数据。这些文本没有经过清洗是网页上图片旁边的 alt 文本、标题、说明文字噪声极大——很多配对的文本和图片关系很弱甚至是广告词。但胜在规模够大、覆盖面够广、语言足够自然。自然语言监督带来的好处是语义泛化能力强。因为它见过的是人类真实描述世界的方式而不是人工定义的标签体系所以它对同义词上下位词描述性短语都有一定的鲁棒性。你用一只小狗和一只幼犬去描述同一个类别得到的向量通常很接近这在纯标签训练的模型里是做不到的。代价主要有三块。一是数据噪声导致的能力不均衡常见物体、常见场景表现很好专业领域医学影像、工业零件、天文图像明显偏弱因为这些内容在网页文本里的描述密度低。二是对文本措辞敏感同一个类别换个说法准确率可能有几个点的波动这是后面要专门讲 prompt 工程的原因。三是无法处理否定和复杂逻辑没有人的房间这种描述它基本理解不了因为它学到的是词和图的粗粒度共现不是逻辑推理。搞清楚这些边界比盲目调参有用得多。3. 零样本分类实操从加载模型到输出标签3.1 环境准备与模型规格选择先装依赖常规的深度学习环境加模型加载库就够pip install torch torchvision transformers pillow numpy选模型规格有个实用原则先用 ViT-B/32 跑通全流程看基线再决定要不要上大模型。B/32 在单张消费级显卡上处理几千张图毫无压力跑出来的准确率能让你判断任务本身是否可行。如果 B/32 的准确率已经在 70% 以上换 B/16 通常能涨 3 到 5 个点换 L/14 再涨 2 到 3 个点但速度掉一半以上。如果 B/32 只有 30%别急着换大模型先检查预处理和 prompt八成是这两处的问题。加载模型的标准写法import torch from transformers import CLIPModel, CLIPProcessor device cuda if torch.cuda.is_available() else cpu model_name openai/clip-vit-base-patch32 # 换成对应规格的权重标识 model CLIPModel.from_pretrained(model_name).to(device).eval() processor CLIPProcessor.from_pretrained(model_name)几个必须做的收尾动作.eval()关掉 dropout 和 BN 的滑动统计更新推理包在torch.no_grad()里能用 fp16 就用 fp16显存直接减半速度提升 30% 到 60%精度损失在分类任务上几乎看不出来。注意processor里封装了图像预处理和文本分词两套逻辑必须成对使用。我见过有人图像处理用了 A 版本的 processor、文本用了 B 版本的 tokenizer两边词表和归一化参数不一致结果怎么调都不对。3.2 预处理必须对齐最容易翻车的一步CLIP 的图像预处理是固定的四步短边缩放到指定尺寸通常是 224、中心裁剪到 224×224、用 BICUBIC 插值、按 ImageNet 的均值方差归一化mean 约 [0.4815, 0.4578, 0.4082]std 约 [0.2686, 0.2613, 0.2758]精确值以 processor 给出的为准。这四步里最容易出问题的是归一化和裁剪。归一化错了比如用了 0-255 的原始像素没除 255或者漏了减均值模型输出会完全失去意义但因为不报错你会以为是模型能力问题。中心裁剪的问题是如果你的业务图片里主体经常不在画面中央比如商品图主体偏左中心裁剪会把主体切掉一部分。这种情况可以考虑改成缩放整图不裁剪但要注意这会引入训练和推理的分布差异实测下来通常还是中心裁剪更稳除非你的数据确实特殊。还有一点是颜色通道顺序。OpenCV 读图默认是 BGRPIL 是 RGB混用会导致红蓝通道互换模型依然能输出结果但准确率会莫名其妙地掉十几个点。这个坑非常隐蔽我排查过一次最后发现就是读图库没转 RGB。预处理这块可以完全交给 processor别自己写from PIL import Image img Image.open(test.jpg).convert(RGB) # 强制转 RGB别省这一步 inputs processor(imagesimg, return_tensorspt).to(device) with torch.no_grad(): image_features model.get_image_features(**inputs) image_features image_features / image_features.norm(dim-1, keepdimTrue)最后那行归一化不能忘。模型输出的原始向量模长不是 1不归一化直接点乘得到的是内积而不是余弦相似度结果会被向量模长带偏。文本侧同理。3.3 prompt 构造类别词和模板的写法文本侧的处理流程是给每个类别构造一句描述批量编码归一化缓存起来。class_names [猫, 狗, 汽车, 飞机, 花] templates [一张{}的照片] texts [templates[0].format(c) for c in class_names] text_inputs processor(texttexts, return_tensorspt, paddingTrue).to(device) with torch.no_grad(): text_features model.get_text_features(**text_inputs) text_features text_features / text_features.norm(dim-1, keepdimTrue)这里有几个实操要点值得展开。第一模板别只用一个。原论文里用了 80 个模板做集成包括一张{}的照片一张{}的特写{}的素描一张模糊的{}等等。做法是把同一个类别的 80 个文本向量取平均后再归一化相当于把类别的语义中心估计得更稳。实测下来单模板和 80 模板集成的准确率差 2 到 4 个点这个提升是免费的没有额外计算成本文本编码只做一次缓存在内存里即可。我通常用 10 到 20 个精选模板就够不用上 80 个。第二类别词要具体、可视觉化。交通工具这种抽象上位词效果很差一辆银色的轿车就具体得多。而且要注意多义词比如crane既是起重机也是鹤模型会同时被两个语义拉扯向量变成一个奇怪的中间态。解决办法是在描述里加限定词把语义钉死比如一台施工用的起重机。第三类别之间不能互相包含。如果类别集合是[狗, 动物, 宠物]这三个描述在语义空间里高度重叠模型很难分辨因为狗的图片确实也符合动物和宠物的描述。这种情况要么把层级理清只保留一层要么在描述里加上互斥的限定词。第四中文任务要选对模型。英文为主的权重对中文文本的编码能力很有限直接输入中文类名效果通常不理想。两个办法一是把中文类名翻译成英文再喂给英文模型实测这个办法在多数场景下比直接用中文权重还好二是换成用中文图文对训练过的对齐版本。我一般先试翻译成本最低效果不够再考虑换模型。3.4 相似度、温度缩放与 softmax 的完整代码把上面几步串起来完整推理流程大概是这样import torch def zero_shot_classify(images, class_names, model, processor, device, topk3): templates [ 一张{}的照片, 一张{}的特写照片, 一张清晰的{}图片, 一张模糊的{}图片, {}拍摄于白天, ] # 1. 文本侧多模板平均 归一化只算一次并复用 text_feats [] for c in class_names: batch_texts [t.format(c) for t in templates] ti processor(textbatch_texts, return_tensorspt, paddingTrue).to(device) with torch.no_grad(): tf model.get_text_features(**ti) tf tf / tf.norm(dim-1, keepdimTrue) tf tf.mean(dim0) # 模板集成 tf tf / tf.norm(dim-1, keepdimTrue) # 平均后要重新归一化 text_feats.append(tf) text_feats torch.stack(text_feats) # [C, D] # 2. 图像侧 ii processor(imagesimages, return_tensorspt).to(device) with torch.no_grad(): imf model.get_image_features(**ii) imf imf / imf.norm(dim-1, keepdimTrue) # [N, D] # 3. 相似度 温度缩放 logit_scale model.logit_scale.exp() # 模型自带的可学习温度倒数 logits logit_scale * imf text_feats.T # [N, C] probs logits.softmax(dim-1) top probs.topk(min(topk, len(class_names)), dim-1) return [ [(class_names[i], round(float(p), 4)) for p, i in zip(ps, idxs)] for ps, idxs in zip(top.values, top.indices) ]这段代码里有三处细节决定成败。text_feats的循环在类别多的时候很慢但文本特征是固定的完全可以离线算好存成 .npy 文件线上只做图像编码几千个类别也就是几毫秒的矩阵乘法。logit_scale一定要从模型里取前面说过原因。模板平均之后一定要重新归一化因为多个单位向量的平均向量模长小于 1不归一化会让这类别的分数被系统性压低。关于批量处理还有一个提速技巧图像编码是瓶颈把 batch 开大能显著提升吞吐但要注意显存。ViT-L/14 在 fp16 下单张 24G 卡跑 batch 64 大概占 12 到 14G跑 batch 128 就开始危险了。我一般按显存的 70% 反推 batch 大小留出余量给输入尺寸波动。3.5 拒识阈值处理哪个都不像的样本零样本分类最大的工程陷阱是Softmax 会强行分配。哪怕输入是一张纯噪声图Softmax 之后各类概率加起来也是 1照样会有一个最大概率的类别被选出来。如果你直接取 argmax模型会以 100% 的自信把一张毫无意义的图判成猫。解决办法是加一层拒识。常用两种判据一是 Softmax 最大概率低于阈值就判为未知二是最大余弦相似度低于阈值就拒识。前者受类别数影响类别越多最大概率越低后者不受我一般用后者阈值通过验证集标定。标定的方法很朴素准备一批已知类别的正样本和一批明显不属于任何类别的负样本统计两者的最大相似度分布找一个能把绝大部分正样本留下、同时滤掉大部分负样本的分位点。实践中不同模型的相似度分布差异很大同一个模型在不同领域数据上差异也大所以阈值必须用你自己的数据标不能抄别人的经验值。另外一个小技巧logit_scale乘上相似度之后做 Softmax最大概率其实是一个不错的综合置信度指标因为它同时考虑了这个类别有多像和比其他类别像多少。我通常两个指标都算取交集拒识召回损失可控。4. 影响范围CLIP 撑起来的那些场景4.1 图文检索与以图搜图分类之外CLIP 最直接的应用是检索。因为图像和文本在同一个向量空间里你可以把图片库全部编码成向量存进向量索引然后用一句话去查图也可以用一张图去查相似的图。这就是内容平台以文搜图、素材库相似图推荐、相册按描述找照片的底层实现。工程上要注意两点。第一是向量存储的规模。几万张图暴力算内积没问题几百万张就必须上近似最近邻索引用 HNSW 或者 IVF 系列召回率设 0.95 以上时查询延迟通常在毫秒级。第二是索引刷新策略。图片是持续入库的索引要支持增量添加别每次全量重建几百万条重建一次的时间成本不可接受。以图搜图还有一个常见的精度问题用同一张图查自己相似度应该是 1.0但如果查询图和库里的图经过了不同的预处理比如查询图是用户上传的原图库里的图是缩略图相似度会掉到 0.85 左右可能排不到第一位。解决思路是入库和查询用完全一致的预处理管线不要一个走 processor、一个走自定义 resize。4.2 当通用特征提取器用把最后的分类头扔掉只取图像编码器的输出你得到的就是一个 512 维或 768 维的通用视觉特征。这个特征在很多下游任务上表现好得超出预期尤其是标注数据很少的时候。最典型的用法是线性探针冻结 CLIP 图像编码器只在特征上训一个线性分类器。我做过一次对比在只有几百张标注图的小任务上线性探针的准确率比从头训一个小 CNN 高出 15 个点以上因为 CLIP 的特征已经把大部分视觉语义编码进去了。数据量越大两者的差距越小到几万张时基本持平。另一个用法是聚类和去重。图像向量归一化之后算余弦距离做层次聚类或者 DBSCAN可以直接把图库自动分组。做数据清洗时用它找重复图、找近似重复图加了水印、改了尺寸的同一张图向量相似度通常在 0.95 以上比感知哈希靠谱得多。我在整理一批十几万张的素材时用过这招把重复率从 30% 压到 3% 以下人工复核成本降了一个数量级。注意CLIP 特征对文字和排版特别敏感。两张内容完全不同但排版相似的图比如都是白底黑字的卡片式设计向量相似度会异常高。做去重时这类误判要单独处理我的办法是在向量里剔除掉高对比度区域的特征响应或者直接用 OCR 结果做二次校验。4.3 作为多模态系统的积木这两年 CLIP 更大的价值其实不是自己当模型用而是当别人的组件。文生图系统里文本提示要先被编码成条件向量很多方案直接用 CLIP 的文本编码器多模态对话系统里图像要先被编码成若干视觉 token 塞进语言模型很多方案直接用 CLIP 的视觉塔。这种语言模型 视觉编码器的拼接范式本质上就是靠 CLIP 已经把图文对齐好了中间的连接层只需要学一个很薄的映射。这也解释了为什么 CLIP 的变体这么多有人把对比损失换成 sigmoid 形式去掉 batch 内的全局归一化依赖让训练更省显存有人把文本塔换成更大更强的语言模型视觉塔不动有人专门做中文、日文、多语言的对齐版本。这些变体的改进方向各不相同但核心的双塔 对齐结构没变。对于做应用的团队这意味着一个很实际的判断如果你只需要分类和检索用现成的对齐模型就行不用追新如果你要把它接进自己的多模态系统当组件那视觉塔的规格、输出 token 数、是否支持变分辨率这些才是选型的关键指标而不是分类准确率高半个点。5. 踩坑实录与排查清单5.1 准确率不及预期的六种原因我整理了一份按排查优先级排序的清单前面几条出现频率最高建议按顺序过。预处理不一致排在第一位。表现是准确率稳定偏低但不算离谱比如 50% 到 60%模型输出不像完全乱掉。检查点是否正确转 RGB、是否漏了归一化、Resize 和 Crop 的顺序是否和 processor 一致、插值方式是否一致。类别词歧义或过于抽象。表现是某些特定类别准确率明显低于其他类别。检查方法很直接把类别名单独拿出来看问自己一个没背景知识的人能凭这句话判断吗。不行就换具体说法。语言不匹配。中文类名喂英文模型是最常见的组合错误。表现是所有类别的置信度都偏低、分布很平。先做翻译再测一遍如果准确率跳涨十个点以上就是这个原因。类别重叠。表现是混淆矩阵里有两个类别互相大量错分。检查方法看混淆矩阵如果 A 类有一半被判成 B而 B 类也有一半被判成 A基本可以确定描述语义重叠需要加互斥限定词或者合并类别。缺少模板集成。单模板的方差很大某些类别可能恰好被某个模板坑了。加模板集成是成本最低的改动。模型规格不够。如果任务本身确实需要细粒度分辨前面几条都排查过了还是不行那就换大模型或者考虑微调。这是最后的手段不是第一选择。把这六条做成排查顺序而不是随机乱试能少走很多弯路。我见过有团队花两周调数据增强最后发现是 OpenCV 读图没转 RGB。5.2 显存、速度与工程化细节工程化的坑和精度坑是两回事但同样能拖垮项目。显存方面除了用 fp16、减小 batch还有个容易被忽略的点是文本编码的显存占用。类别多的时候比如 5000 个类别乘 20 个模板 10 万条文本一次性编码会把显存打爆。做法是分批编码每批 1000 条编码完立刻转成 numpy 存起来释放显存。文本特征全程只在 CPU 内存里不占 GPU。速度方面图像编码是绝对瓶颈。几个实测有效的优化把torch.backends.cudnn.benchmark设为 True输入尺寸固定时有效用torch.inference_mode()替代torch.no_grad()前者开销更小把 DataLoader 的num_workers开到 CPU 核数的 1.5 倍左右IO 密集时能减少等待如果只是过一遍全量数据做离线打标用 TensorRT 或者 ONNX Runtime 加速实测能有 2 到 3 倍提升。数值稳定性方面Softmax 之前记得做减最大值的处理PyTorch 的softmax内部已经做了自己用 numpy 实现时要手动处理。余弦相似度做除法时模长为 0 的向量会导致 nan加个 eps 兜底。服务化方面模型加载慢是一次性成本别在每个请求里重新from_pretrained。用常驻进程加请求队列模型只加载一次。文本特征预计算并存成文件服务启动时加载到内存。这样单次推理的成本就只剩图像编码加一个矩阵乘法在单张中端显卡上做到几十 QPS 不难。5.3 问题速查表把上面散落的问题汇总成一张表出问题的时候可以直接对着查现象最可能的原因快速验证方法处理方式准确率 50% 上下各分类均匀错预处理不一致或通道顺序错换用 processor 全流程重测统一预处理管线所有类别置信度都很平0.02 到 0.05没用 logit_scale 缩放打印相似度最大最小值乘以model.logit_scale.exp()某几个类别总是互相混淆类别词语义重叠看混淆矩阵对角线外分布加互斥限定词或合并中文类名效果差语言不匹配翻成英文重测对比翻译或换中文对齐版本输入噪声图也有高置信度缺少拒识机制构造负样本测相似度分布加相似度阈值拒识长描述效果诡异文本被截断到 77 token打印 token 数描述控制在 20 词以内文本编码阶段 OOM类别数×模板数过大看显存峰值分批编码特征落盘同一张图查不到自己入库与查询预处理不同对比两条链路的预处理参数统一成同一套文字排版图相似度虚高特征对排版敏感找两张同版式异内容的图测叠加 OCR 或文本检测做二次校验大批量打标速度慢IO 阻塞或 batch 太小看 GPU 利用率加 worker、调大 batch、fp16这张表里的每一行我基本都亲身踩过尤其前三条属于新手必踩、老手偶尔也会忘的级别。6. 几条实测下来比较实在的经验6.1 冻结微调与 prompt 调优怎么选摆在面前的路通常有三条纯零样本、只调 prompt、做微调。选择依据其实就一个——你手上有多少标注数据以及类别会不会一直变。零标注、类别频繁变纯零样本加模板集成两小时内能上线一个能用的版本这是 CLIP 最大的价值。有每类几十张标注、类别基本固定那就调 prompt把 T 个模板的向量改成可学习参数冻结两侧编码器只训这几十个向量显存需求极小单卡就能跑在少样本设置下通常能把准确率再拉 5 到 10 个点而且训练只要几分钟。有每类几百上千张、要追求极致精度才考虑做部分微调——解冻视觉塔的最后几层或者加个适配层全量微调基本没必要容易过拟合还破坏原有的泛化能力。有个经验细节微调会显著削弱零样本能力。你在 20 个类上微调完之后模型对这 20 类很准但换一批新类别可能还不如微调前。如果业务上类别会持续新增微调要谨慎或者保留一份原始权重做双路兜底。6.2 还能往哪儿扩如果这套流程跑顺了有几个方向可以继续往下做。一是把单标签分类扩成多标签做法是对每个类别独立算相似度并与该类别自己的阈值比较而不是做 Softmax 竞争这样一张图可以同时命中户外人树多个标签。二是把 CLIP 特征接进向量数据库做混合检索文本查图和图查图共用一个索引实现以文搜图 相似推荐一套打通。三是把它当成数据清洗工具先用零样本给海量无标注数据打粗标人工只复核低置信度的那部分标注效率能提升好几倍这是我目前用得最顺手的一个方向。最后分享一个我自己的笨办法每次上新任务我都会先挑 50 张图手工跑一遍把 CLIP 的 top-3 结果和我的判断逐条对照把错的地方归类——是类别词的问题、是预处理的问题、还是任务本身超出模型能力。这 50 张图的功夫比后面盲目调三天参都值。