无监督视觉检测实战：零标注实现缺陷检测与异常定位

1. 数据标注吞掉的时间与预算这笔账到底多痛我一直觉得计算机视觉项目里最讽刺的一句话就是“数据都标好了模型随便训训就出来了。”说这话的人大概率没亲自标过数据。我见过太多项目死在半路上不是模型结构不够新不是算力不够强而是标注进度没跟上。有次赶一个质检项目标注团队连续加了两周班眼睛快盯瞎了才交出6000张图。结果训练一版出来badcase一分析漏检的几乎全是标注错误——标注员把轻微划痕漏标了模型自然学不到。这不是个别现象。工业视觉、安防、医疗影像、农业监测凡是带着“检测”二字的活儿数据标注都是绕不开的坎。按业内比较粗的算法一张复杂场景的检测图从画框、打标签到二次审核单人耗时少说5分钟复杂目标10分钟打底。一个5000张的数据集单人纯标注就是400多个小时折合50多个工作日。加上质检退回、返工、类目不均衡补采数据项目还没开始训练一个月的人力已经砸进去了。也正是这个背景让“无监督视觉检测”这个方向越来越受关注。它的核心卖点非常直接不需要人工标注也能做视觉检测。不是检测个大概而是把异常目标、分布偏移、缺陷区域从图像里识别出来甚至能做到开箱即用。我在标题里写了“即插即用”这个词其实得拆开看。真正成熟的方案不是装个库跑个demo就万事大吉而是解决了三个连环问题标注成本归零、训练流程自动化、部署对接简单。任何一个环节掉链子“即插即用”就变成了“即插即坑”。先说标注成本归零。无监督方案压根不需要GT框也不需要类别标签它只学“正常长什么样”。这个思路来自异常检测Anomaly Detection是CV里一个不算新但被长期低估的方向。它的天然后发优势在于工业场景里收集正常样本远比收集带缺陷标注的样本容易。流水线上随便架个相机开机录一周正常品图能存几万张但想要几千张带精确标注的缺陷图得攒几个月坏件。而且坏件类型还在不断变化标注体系永远追不上新缺陷的速度。因此无监督检测的逻辑是反过来的我不管你缺陷长什么样我只需要知道什么不是“正常”。所有偏离正常分布的都当成异常报出来。这套逻辑天然适配工业质检的初筛环节、安防场景的新异目标发现、药厂批次异物监测等一堆场景。2. 无监督检测凭什么不标注也能干活原理拆到零件级在讲实操之前必须先把原理讲透。很多想用无监督方案的人第一个问题就是“不标注模型靠什么学”答案是靠特征分布的密度和距离。把这件事拆开其实就三个关键步骤。2.1 特征提取从像素到“数字指纹”第一步是让模型学会把图片浓缩成特征向量。这里不训练分类头只让模型输出“这张图是什么样”的紧凑表示。业内常用的是自监督预训练的backbone比如大家熟悉的ResNet系列、Vision Transformer或者更轻量的MobileNet变体。这一步不需要人工标注因为预训练阶段用的是海量无标签图片通过对比学习、掩码重建这类自监督任务让模型学会图像本身的结构规律。效果上同一个物体不同角度、不同光照、不同遮挡下的特征向量会很接近而不同类别的物体特征向量会拉得很远。用生活化的话讲模型像一个阅片无数的老员工你给他看一万张正常零件的照片他心里会对“正常”形成一个潜印象之后突然来一张有划痕的他不用别人告诉他这个叫划痕他只觉得“不对劲”。2.2 密度估计与距离度量怎么量化“不对劲”特征提取只是把图像变成了数组。真正判定异常需要在特征空间里做“正常/异常”的划分。常用思路有两种基于距离的KNNK近邻新样本的特征向量和训练集里最近K个正常样本之间的距离有多远距离越大越可能是异常。基于概率密度的分布拟合用高斯分布、高斯混合模型GMM、或者更先进的归一化流Normalizing Flow拟合正常样本的特征分布新样本落在这个分布的低密度区就是异常。有意思的是实际项目里两者经常混合用。工业现场更看重可解释性所以不少人喜欢用“马氏距离 主成分分析PCA”这种一套组合拳先用PCA把高维特征压到几十维再算马氏距离。好处有两个一是计算快二是阈值是可解释的——距离本身就是一种“偏离正常程度”的分数。这里我补充一个个人经历。之前做某个零件表面检测项目时一开始用欧氏距离KNN效果不算稳定因为特征空间的局部密度变化很大。同一种表面纹理在强光下特征比较聚集在弱光下就散开距离阈值怎么调都顾此失彼。后来换成马氏距离做了PCA白化处理问题明显缓解因为马氏距离天然考虑了特征各维度之间的相关性和尺度差异。2.3 伪标签生成与自训练闭环无监督里隐藏的半监督升级很多方案宣传“无监督”但落地的时候不会真的全程无监督。更常见的做法是第一轮用无监督跑通把高置信度异常样本收集起来自动生成伪标签然后加入一个监督头的微调。这就是所谓的“无监督启动、自训练闭环”本质是半监督但对用户来说完全无感因为全程不需要人工画框。这个思路特别适合在线场景。比如产线每天的图像源源不断进来算法自动把“可疑”样本挑出来累积到一定量就触发一次增量训练。你只需要在周会上花十分钟看一眼那些算法标出来的结果对不对比如有没有把正常纹理误报成缺陷。长期跑下来模型会越来越适应当前的产线状态而且几乎不增加人力负担。我个人非常推荐这个思路原因很简单无监督负责广覆盖人工只做抽检兜底成本从“全量精标注”降到了“抽样复核”管理成本完全是两个量级。3. 拆解“即插即用”的落地链路从部署到告警的四个环节原理清楚了接下来讲实操。很多开源框架把无监督检测的demo做得很好看跑通MNIST、跑通MVTec看起来一切很丝滑但拿到客户现场一测就现原形。真正能称得上“即插即用”的是下面这条完整的链路。3.1 数据采集与免费样本池建设这一步最没技术含量却也最容易被忽略。无监督方案的前提是必须有“正常样本池”。很多时候客户觉得“你不是无监督吗那我随便扔几张图给你就行”这其实是误解。无监督检测不需要标注但需要知道“这条产线的正常长什么样”。所以落地第一步是架好相机持续采集。通常的做法是低要求地收集一周的产线画面大概几千到上万张。有几条硬性要求覆盖不同光照条件白天、黑夜、灯光衰减期。覆盖不同产品批次不同批次的同型号产品表面灰度可能有肉眼可见的差异。尽量排除真正的缺陷样本这步不需要人工框缺陷但至少要人工做一轮快速初筛把明显坏件挑出来。如果正常样本池里混入了大量异常样本分布会被污染模型会把这些异常特征当成“正常”的一部分。这个初筛环节我建议用开放集分类工具或者简单的聚类先跑一遍把明显离群的样本挑出来人工确认效率远高于纯肉眼翻图。3.2 特征向量抽取与索引库构建有了正常样本池第二步就是抽取特征向量。这里有一个工程化的建议特征向量不用全部存下来可以用PCA降维后存储。举个例子某个backbone输出是2048维特征你攒了2万张图每张图存成float32就是8KB2万张也不过160MB这对服务器来说毫无压力。但如果场景是视频流每秒25帧都提特征那存储量会线性膨胀线上实时检索的延迟也会随之上升。所以通常不是每一帧都进检测而是抽帧或者触发式检测。建索引库的时候还有两个小技巧特征做标准化减均值除以标准差避免某些维度天然数值大压过其他维度。用近似最近邻库比如FAISS把2万条特征建好索引检索延迟能压到个位数毫秒这对在线场景很关键。3.3 阈值设定与自适应调整机制这是全链路里最核心也最需要现场调参的一步。阈值定高了漏检多异常混进正常流程客户不满意。阈值定低了误报多每天告警刷屏现场人员很快对告警脱敏狼来了故事重演。阈值设定的标准做法是先统计正常样本库的距离分布画出分位数。比如正常的样本距离值有95%集中在某个区间内那初始阈值可以设在99分位数附近再根据现场反馈微调。但真正做成“即插即用”阈值必须能自适应漂移。工业现场有大量的非缺陷变化比如刀具磨损导致的表面粗糙度渐变模具老化带来的底色变化这些都不是缺陷但它们的特征分布随时间缓慢移动。如果阈值固定早晚会出问题。我实践下来的一个有效方案是滑动窗口自适应阈值每处理N张图就用过去M张正常图的得分分布重新计算一下阈值的参考值而且只允许阈值在缓慢调整区间内移动防止突发一堆异常导致阈值被瞬间拉偏。这个机制很像自适应巡航正常车流里自动跟车遇到急刹车也会迅速响应但不会被单次误报带飞。3.4 告警与人工抽检闭环最后一步是输出端。无监督检测的告警结果通常不带类别只带“异常分数定位热图”这是它和有监督检测最大的体验差异。有监督模型告诉你“这是划痕置信度0.92”无监督模型只能告诉你“这里不正常偏离正常分布的程度是0.87”。这一步想要好用就必须设计合理的抽检闭环。具体做法是所有告警图片按异常分数排序现场质检员只需要看每天的Top 50高分告警图确认哪些是真缺陷、哪些是环境干扰然后在系统里点一下“属实”或“误报”。系统自动把这批复核结果吃回去逐步积累成伪标签库。跑两三个星期后这个系统就不再是纯无监督了而是带着现场经验的“无监督人机协同”混合体。4. 实测效果与避坑记录哪些地方会翻车、怎么救原理和链路都讲完了说说真实项目里的效果数据和踩坑经验。这部分是外面文档里看不见的。4.1 在不同场景下的效果差异无监督检测的效果上下限波动极大取决于场景本身的结构性。我把接触过的场景分成三类场景类型典型例子无监督效果表现翻车点强纹理均匀场景金属表面、塑料外壳效果很好误报可控光照突变弱纹理均匀场景药片、纸张、陶瓷效果好异常分数区分度大光源老化导致色偏弱纹理强背景场景安防监控、户外效果一般需结合目标检测天气、季节变化导致的分布漂移最理想的是前两类。因为正常样本非常均匀异常样本和正常样本的特征距离天然拉得开阈值好定。比如药片外观检测一批正常的白色药片特征分布是紧凑的上面出现一个小黑点特征向量一下就飞出群了检测毫无悬念。4.2 避坑光照和视角是最大敌人无监督检测对成像一致性极其敏感。同一个零件一个实验台光照稳定、位置固定效果很好。但一到客户现场白天阳光从窗户斜进来光斑打在零件上模型可能把光斑当成了缺陷。应对办法集中在成像端加遮光罩、恒定光源、固定工位。如果改不了成像条件就在算法端做数据增强把亮度扰动、对比度扰动、轻微模糊等加进正常样本集让模型见多识广。我见过有些团队搞“伪异常增强”用CutPaste之类的策略把正常图局部粘贴变形生成伪异常样本也能有效提升区分度。实践中另一个容易翻车的细节是分辨率不一致。前端采集的原始图像可能是4000×3000为了提速你可能会直接resize到256×256结果把细微缺陷直接压没了。我的建议是小目标检测场景尽量用图像分块而不是直接压缩。把一张大图切成多个256×256的重叠块每块单独抽特征再聚合对细小划痕、微小异物这类目标友好得多。4.3 误报复盘流程一条我压箱底的排查链路始终存在一个现象算法上线前看着指标不错上线一周误报率开始抬头。这时候别急着骂算法先按顺序排查先看原始图像是否发生了整体偏移。比如相机位移、焦距变化。再看光照条件。白班夜班的光谱差异很大同一个模型放在两班倒的产线上白班好使夜班不一定。如果图像本身正常再看特征抽取的稳定性。某些backbone在低分辨率小图上特征抖动大换更大输入尺寸试试。最后看正常样本池是否需要滚动更新。产线设备磨损后“正常”的标准也在变长期不更新池子和实物的分布越拉越远误报自然涨。有次线上模型误报率从0.5%涨到3%折腾了两天没找到原因最后发现是相机自动白平衡开了导致每周的图像色调都在缓慢变化。这个案例我说过很多次因为它太典型了——不是算法错了是数据采集端的设置变了。所以做无监督项目一定要对采集端有足够的敏感度任何成像链路的变化都会直接传导到特征分布上。4.4 性能指标怎么看别拿召回率骗自己无监督检测的评估指标和有监督检测完全不同不能只看召回率。因为无监督的检测目标是“偏离正常分布”而实际产线里异常占比可能只有0.1%。一个模型把正常样本全部判为异常召回率100%但现场根本没法用。更合理的评估方式是看得分分布的重叠度正常样本的得分和异常样本的得分要分得开。可以用AUC曲线下面积作为离线评估指标再配合操作点Operating Point选择即根据现场可接受的误报率倒推阈值。说到底客户关心的不是模型论文里的AP值是每天告警列表里有用信息的占比。我在实际项目中通常设两个KPI缺陷捕获率产品维度和误报间隔时间维度。缺陷捕获率决定能不能发现异常误报间隔决定运维团队会不会信任这套系统。后者比前者更容易被忽视一旦现场被误报刷屏整套检测系统很快会被弃用。5. 适用边界与选型建议什么时候别硬上无监督说完原理和实操必须泼一盆冷水。无监督检测不是银弹有些场景它确实不合适。5.1 不适合无监督检测的反面场景第一类是类别细粒度区分需求。比如要区分合格批次A和轻微瑕疵批次B但二者视觉差异非常小这种情况无监督能告诉你“有异常”却很难告诉你“是哪个级别的问题”。细粒度分类必须有监督无监督做不了。第二类是目标语义识别。无监督检测擅长找“不正常”不擅长判断“这是什么”。如果你需要判定的是“这个人是行人还是骑手”或者“这个车辆是轿车还是卡车”这属于明确语义分类无监督反而吃力不如直接上目标检测模型。第三类是强背景干扰下的微小目标检测。比如户外大场景里检测远处的一根断裂电线目标在整幅图里占比不到千分之一特征提出来直接被背景淹没。这种情况无监督效果很不稳定更建议用有监督检测做区域候选再用无监督做细粒度复核。5.2 怎么选型场景评估清单我给自己总结了一套选型判断清单分享出来供参考异常样本是否稀少且未知是 → 无监督优先。正常样本是否容易大量收集是 → 无监督的启动成本很低。是否存在明确的类别定义和多分类需求是 → 走有监督路线。是否需要跨场景快速迁移无监督的迁移成本低因为只需要重新采正常样本池不用重新标注。现场有没有抽检复核的人力没有的话纯无监督告警很容易变成“有告警没人看”价值大打折扣。这套清单用下来我大部分情况都能比较快地判断方向。为了防止误判我的习惯是先花一周跑一个无监督的小样验证取少量正常图做池子拉一部分测试图跑一遍目测正常得分和异常得分的分离度。如果分离度明显再继续扩大如果分离度模糊果断换方案别恋战。5.3 推荐的开源工具与轻量级实现路径最后推荐几个可以直接上手的工具链。管理好自己的预期现成框架只能帮你快速验证生产级效果还得自己调。Anomalib英特尔开源目前社区活跃度最高的异常检测工具库内置PatchCore、PaDiM、STFPM、FastFlow等主流算法一行命令可以训练和评估。我拿它在多个场景跑过基线效果稳定文档也比较友好。ADCore阿里开源的异常检测工具箱更面向解决少样本和数据偏移问题的场景工具链全训练部署都有配套。OpenMMLab的mmdetection 3.x版本已经原生支持一些无监督/自监督算法方便做特征抽取实验。Sklearn FAISS 的组合如果你只是做快速验证不用上深度学习。用ResNet预训练权重做特征提取再用Sklearn做PCA和KNNFAISS做索引检索一天之内就能搭出一个可用原型。轻量、灵活、可解释性强特别适合方案评估阶段。关于硬件说实话无监督检测的推理负担通常比有监督模型更轻。因为backbone只做特征提取后面的计算都是向量的距离检索算力消耗主要集中在卷积部分。用一个工业级边缘盒子基本能跑实时推理不需要GPU服务器。部署这块的“即插即用”主要指的就是这个层面的低门槛。5.4 混合管线真正聪明的工程方案我现在的习惯是能不搞纯无监督就不搞纯无监督。更合理的工程方案是做一个三层的混合管线第一层有监督目标检测做全局粗筛找出候选区域。第二层无监督模型对候选区域做异常打分找出“看起来不对劲”的部分。第三层基于异常分数做聚类把同一类型的异常归堆方便人工批量复核。这个方案的好处是底层有监督负责召回和定位上层无监督负责发现新问题和避免漏标两部分各干各擅长的事。现场效果比我之前做过的任何单一模型都稳且可扩展性极强——如果出现新的异常类型不需要重新标数据只需要无监督层自然捕捉。用这套思路我最近一个表面缺陷检测项目从进场到初步上线不到两周。产线拍了两天正常件自监督backbone直接抽特征用PCAKNN跑了个可用基线准确率配上后端的抽检闭环已经能和之前一个标了两个月数据的有监督方案打个平手。坦白讲在覆盖缺陷新颖性方面无监督方案还略胜一筹。写在最后的实际体会这些年跟数据标注死磕下来最大的体会是别把标注当成理所当然的投入它往往是项目里最大的隐性成本。无监督视觉检测真正的价值不在于它有多酷的模型结构而在于它把项目启动模式从“先标注后训练”变成了“先部署后学习”。任何一个有正常样本池、异常类型不确定、需要快速上线的场景都可以认真考虑一下这个方向。最后分享一个实用技巧如果团队里没有专门的算法研究员起步阶段不要直接啃新论文先拿Anomalib把PatChCore跑通在自有数据上看看得分分布再决定要不要往下深入。很多场景根本不需要上多先进的方法特征提取得当、阈值设置合理、反馈闭环跑起来就已经比大多数标注烧钱的有监督项目好维护了。数据标注的夜我熬过太多了。希望这篇东西能帮一部分人少熬一些。