视觉异常检测在工业质检中的落地实践：从PatchCore到产线部署

1. 视觉异常检测到底在解决工业质检里的什么问题1.1 从“找瑕疵”说起工业质检的真实痛点我在工厂产线做视觉项目这些年最常被问到的一句话就是“这东西能不能自动看出坏在哪”问这话的人往往手里正拿着一堆刚被客户退回来的不良品或者正为一条产线上三班倒的质检员发愁。工业质检的核心任务说白了就一件事——判断产品有没有缺陷缺陷在哪是什么类型。听起来简单做起来要命。传统做法分两条路。一条是纯人工目检靠老师傅的眼睛和经验。这条路的问题很明显人眼会疲劳标准会漂移一个班八小时下来前两小时和后两小时的判定尺度可能就不一样了。另一条路是传统机器视觉用固定规则去卡。比如用边缘检测找划痕用阈值分割找色差用模板匹配找缺件。这套方法在缺陷形态固定、光照稳定、产品单一的场景下确实好用速度快、成本低、可解释性强。但现实是制造业的产品迭代越来越快缺陷种类越来越杂。今天客户要哑光表面明天要拉丝纹理后天又换成高反光镜面。传统规则方法每换一个产品就要重新调一遍参数工程师累得半死漏检率还压不下去。更麻烦的是很多缺陷是**“说不清道不明”的**——你让质检员描述什么是“轻微色差”他只能告诉你“就是看着不对劲”。这种模糊的、难以量化的缺陷恰恰是传统视觉最头疼的地方。视觉异常检测就是冲着这个痛点来的。它的核心思路不是“教会机器认识每一种缺陷”而是**“让机器学会什么是正常然后对偏离正常的东西报警”**。这个思路的转变非常关键后面我会详细展开。1.2 异常检测与传统目标检测的本质区别很多人一听到“视觉检测”第一反应就是上YOLO标数据训练目标检测模型。这条路我走过能走通但有前提条件。目标检测的本质是有监督学习——你得先告诉模型“这是划痕”“这是凹坑”“这是脏污”标上几百上千张图模型才能学会。问题在于工业场景里很多缺陷样本极少有的缺陷一个月才出现几次你根本凑不齐训练集。还有些缺陷是未知的今天没出现过不代表明天不会出现你不可能提前标注一个你还没见过的缺陷。异常检测走的是另一条路。它通常基于无监督或半监督学习训练时只用正常样本让模型学习正常样本的分布规律。推理时如果输入的图像偏离了这个分布就判定为异常。这个思路的好处是不需要标注缺陷样本能发现未知类型的缺陷。代价是它通常只能告诉你“这里有异常”但不太容易告诉你“这是什么缺陷”。所以异常检测和目标检测不是替代关系而是互补关系。我一般会这样给客户建议如果缺陷类型明确、样本充足优先上目标检测因为定位准、分类清如果缺陷类型模糊、样本稀缺、或者你根本不知道会出什么新缺陷那就上异常检测先保证不漏检再慢慢积累数据做分类。1.3 为什么现在这个时间点值得认真看待视觉异常检测不是新概念学术界研究了十几年。但真正在工业界落地也就是最近几年的事。原因有几个。第一深度学习基础设施成熟了PyTorch、TensorFlow这些框架让算法实现门槛大幅降低一个懂Python的工程师几天就能跑通一个基线模型。第二算力便宜了以前训练一个像样的模型要租服务器现在一张消费级显卡就能搞定很多场景。第三工业数据积累到一定程度了很多工厂已经有了几年的产线图像数据虽然没标注但正好可以用来做无监督训练。还有一个很现实的原因人工成本在涨招工越来越难。我认识的好几个做3C电子的朋友产线质检员流动性极大培训成本高而且人眼检测的稳定性确实不如机器。这些因素叠加在一起让视觉异常检测从“学术玩具”变成了“产线刚需”。2. 核心技术路线拆解从自编码器到特征嵌入2.1 基于重建的方法让模型学会“画正常图”基于重建的异常检测是我最早接触的一类方法原理直观训练一个自编码器Autoencoder或者GAN输入正常图像让它重建出正常图像。训练好后给模型一张有缺陷的图它重建出来的图会“抹掉”缺陷因为模型只学过正常样本。然后拿原图和重建图做差分差异大的地方就是异常区域。这个思路的优点是可解释性好你能直接看到异常热力图知道模型在关注哪里。缺点是重建质量不稳定尤其是当缺陷区域比较大或者纹理比较复杂时模型可能会把缺陷也重建出来导致漏检。我踩过的一个坑是用自编码器检测织物疵点结果模型把一些轻微的色差也重建得很完美差分图几乎全黑完全检不出来。后来分析发现是因为训练集里混入了一些轻微瑕疵样本模型把它们当成正常学会了。改进方向有几个。一是用记忆模块比如MemAE让模型从一组正常原型中检索重建而不是自由生成。二是用多尺度重建在不同分辨率上做差分捕捉大小不同的缺陷。三是引入对抗训练用判别器逼着重建图更接近正常分布。这些方法我都试过效果确实有提升但调参复杂度也上去了。2.2 基于特征嵌入的方法在预训练特征空间里找偏离基于特征嵌入的方法是我目前最推荐的路线尤其是PatchCore和PaDiM这两个算法出来之后。核心思想是用一个在ImageNet上预训练好的CNN比如ResNet、WideResNet提取图像特征然后对正常样本的特征建立统计模型。推理时如果某个区域的特征偏离了正常分布就判定为异常。这条路线的最大优势是不需要训练或者只需要很少的训练。预训练模型已经学到了通用的视觉特征你只需要在目标域的正常样本上做一次特征提取建立记忆库或者高斯分布就能直接推理。我实测下来在很多工业场景下PatchCore的检测效果比从头训练的自编码器好得多而且部署速度快改产线换产品时只需要重新提取一遍正常样本特征几分钟就能搞定。具体操作上PatchCore的做法是用预训练CNN提取正常样本的局部特征然后用贪心核心集采样选出一组有代表性的特征向量构成记忆库。推理时对测试图像的每个patch特征在记忆库里找最近邻距离超过阈值就判异常。这个方法的关键参数是核心集采样比例采样太少会丢失正常模式的多样性采样太多会拖慢推理速度。我一般会从10%开始试根据漏检和误检情况调整。PaDiM则是用多元高斯分布建模正常特征每个空间位置一个分布。推理时算马氏距离超过阈值判异常。这个方法的优点是对局部纹理变化更敏感适合检测细微的表面缺陷。缺点是高斯分布的维度不能太高否则协方差矩阵估计不准所以通常要对特征做降维。2.3 基于流模型的方法精确建模正常样本的密度流模型Normalizing Flow是另一条值得关注的技术路线。它的核心是学习一个可逆变换把正常样本的复杂分布映射到一个简单的先验分布比如标准正态分布。推理时如果某个样本映射后的概率密度很低就说明它偏离了正常分布。这个方法的理论很漂亮能给出精确的密度估计而且可逆变换保证了信息不丢失。但实际用起来计算量比较大推理速度不如特征嵌入方法。我试过用Flow做液晶屏的Mura缺陷检测效果确实不错能检出一些很淡的、传统方法完全看不到的异常。但训练时间比PatchCore长得多而且对超参比较敏感学习率、耦合层数、隐藏单元数都要仔细调。2.4 三条路线的对比与选型建议方法类型代表算法训练成本推理速度可解释性适合场景基于重建AE, VAE, GAN, MemAE中高中好缺陷区域大、纹理简单基于特征嵌入PatchCore, PaDiM低快中表面缺陷、纹理复杂基于流模型FastFlow, CFlow高慢中细微缺陷、高精度要求我的选型逻辑很简单先试PatchCore如果效果不够再考虑其他。因为PatchCore的部署成本最低改产线最方便而且大多数工业场景的缺陷在预训练特征空间里已经足够可分。只有在PatchCore漏检严重、且确认是特征表达能力不足时才考虑上流模型或者自定义训练。3. 工业质检场景下的实操落地要点3.1 数据采集正常样本的质量决定上限异常检测有个残酷的现实你喂给模型的正常样本决定了它能识别什么异常。如果正常样本里混入了缺陷样本模型会把缺陷当成正常导致漏检。如果正常样本不够多样模型没见过某种正常变化比如光照波动、产品姿态变化推理时就会把这些正常变化误判为异常。我在一个连接器检测项目上吃过亏。训练时用的正常样本都是在固定光照下拍的结果上线后车间光照有波动模型把光照变化当成了异常误检率飙升。后来补采了不同光照条件下的正常样本问题才解决。所以我的经验是正常样本要覆盖所有正常的变化维度包括光照、角度、位置、批次差异、甚至季节性的温湿度变化。具体采集时我一般会要求产线连续跑至少一个班次每隔一段时间采一批图确保覆盖各种正常状态。样本数量上PatchCore这类方法对样本量要求不高几百张正常图通常就够但多样性比数量更重要。如果产线有多个工位或多个产品型号每个工位、每个型号都要单独采。3.2 图像预处理别让噪声干扰模型判断工业现场的图像往往有很多噪声传感器噪声、压缩伪影、光照不均、背景杂乱。这些噪声如果不处理会被模型当成异常信号。我一般会做几件事。第一ROI裁剪。把检测区域裁出来去掉无关背景。这个操作看似简单但效果立竿见影。我做过对比同一个算法裁ROI之后误检率能降一半以上。第二光照归一化。用直方图均衡化或者Retinex方法把光照拉平。如果光照变化特别大可以考虑用同轴光源或者偏振片从硬件上解决软件补偿终究有极限。第三尺寸归一化。把图像缩放到预训练模型期望的输入尺寸。注意不要过度缩放否则小缺陷会被抹掉。如果缺陷很小可以考虑切图推理把大图切成小块分别检测再合并结果。第四数据增强要谨慎。异常检测里翻转、旋转这类增强有时会引入不真实的正常模式反而降低效果。我一般只做轻微的亮度、对比度扰动不做几何变换除非确认产线产品姿态确实有变化。3.3 阈值设定误检和漏检的平衡艺术异常检测的输出是一个异常分数你需要定一个阈值来判断“多异常才算异常”。这个阈值定高了漏检定低了误检是实际落地中最头疼的问题。我的做法是用正常样本的分数分布来定阈值。具体来说拿一批没见过的正常样本跑一遍推理看分数的分布。如果近似正态分布可以取均值加3倍标准差作为阈值这样理论上只有0.3%的正常样本会被误判。如果分布偏斜就用分位数比如取99%分位数。但实际产线上误检和漏检的代价往往不对称。比如汽车安全件漏检一个可能出人命那阈值就要往低了定宁可误检不可漏检。而消费电子外观件误检太多会导致产线频繁停线那阈值就要往高了定。这个平衡需要和产线负责人一起定不是算法工程师能单独决定的。还有一个技巧用双阈值。分数超过高阈值直接判异常低于低阈值直接判正常中间灰区交给人工复检。这样既能保证不漏检又不会让误检全部涌到产线上。3.4 模型部署从实验室到产线的最后一公里实验室里跑通算法只是第一步部署到产线才是真正的考验。我总结几个关键点。推理速度要匹配产线节拍。产线不会等你慢慢推理如果节拍是每秒5个产品你的推理必须在这个时间内完成。PatchCore的推理速度取决于记忆库大小和图像分辨率我一般会控制在50ms以内。如果不够快可以减小记忆库、降低分辨率、或者用TensorRT加速。环境要稳定。产线电脑不能随便联网不能自动更新不能装乱七八糟的软件。我一般会用Docker把推理服务打包固定所有依赖版本避免“在我机器上好好的”这种问题。要有日志和回溯。每个产品的检测结果、异常分数、异常热力图都要存下来方便后续分析。如果出现批量误检能快速定位是模型问题还是来料问题。要能快速切换产品。产线换型时不能重新训练模型。PatchCore这类方法的好处就是换产品只需要重新提取正常样本特征几分钟就能完成。我一般会做一个配置界面让产线技术员自己选产品型号系统自动加载对应的记忆库。4. 常见问题与排查技巧实录4.1 误检太多怎么办误检是异常检测落地最常见的拦路虎。排查思路我一般按这个顺序走。先看误检区域有没有共性。如果误检都集中在图像边缘可能是ROI没裁干净或者边缘有畸变。如果误检都在高反光区域可能是光照问题。如果误检随机分布可能是正常样本多样性不够。再看异常分数分布。如果正常样本的分数分布很宽说明模型对正常变化不够鲁棒需要补采正常样本。如果分数分布很窄但阈值定得太低那就是阈值问题调高就行。还有一个容易被忽略的点训练集和推理集的预处理是否一致。我遇到过好几次训练时用了某种归一化推理时忘了加导致分数整体偏移。这种问题排查起来很隐蔽建议把预处理流程封装成一个函数训练和推理共用。4.2 漏检怎么排查漏检比误检更危险因为不良品流出去了。漏检的原因通常有几个。一是缺陷太小。如果缺陷只占几个像素在特征提取时可能被池化操作抹掉了。解决办法是提高输入分辨率或者用切图推理。二是缺陷和正常纹理太像。比如拉丝表面的轻微划痕和正常拉丝纹理在特征空间里距离很近。这种情况可以考虑用更强的特征提取器或者引入频域特征。三是训练集混入了缺陷。这个前面说过正常样本里如果有缺陷模型会把它当正常。排查方法是把训练样本的异常分数跑一遍看看有没有分数偏高的样本人工复核一下。四是阈值定得太高。这个最简单调低阈值就行但要小心误检上升。4.3 换产品后效果下降产线换产品是常态异常检测模型换产品后效果下降也很常见。根本原因是正常分布变了。解决办法就是重新采集正常样本重新建立记忆库或分布模型。PatchCore这类方法的好处就是切换成本低不需要重新训练网络。但要注意如果新产品和旧产品差异太大预训练特征可能不够用。比如从金属件换到透明塑料件特征分布完全不同。这种情况可能需要换一个更适合的预训练模型或者在目标域上做微调。4.4 常见问题速查表问题现象可能原因排查方法解决方向误检集中在特定区域ROI不干净、光照不均可视化误检热力图裁ROI、光照归一化误检随机分布正常样本多样性不足看正常分数分布补采正常样本漏检小缺陷分辨率不够、池化抹掉放大看缺陷尺寸提高分辨率、切图漏检特定类型训练集混入缺陷查训练样本分数清洗训练集换产品后效果差正常分布变了对比新旧产品特征重新建库、微调推理速度慢记忆库太大、分辨率高测单张推理时间减库、降分辨率、加速分数整体偏移预处理不一致检查训练推理流程统一预处理4.5 几个我踩过的坑和独家技巧坑一用错了预训练模型。我一开始用ImageNet预训练的ResNet结果在纹理复杂的场景下效果很差。后来换成在更大数据集上预训练的WideResNet或者用自监督预训练的模型效果明显提升。预训练模型的选择对特征嵌入方法影响极大值得多试几个。坑二忽略了图像对齐。如果产品在图像中的位置有偏移特征嵌入方法会认为位置变了就是异常。解决办法是做图像配准或者用对位置不敏感的特征。我一般会先用模板匹配把产品对齐再做检测。坑三阈值一劳永逸。产线环境会变来料会变阈值不能定一次就不管了。我一般会做一个自动阈值更新机制每天用当天的正常样本重新算一下阈值保持自适应。技巧一用正常样本做交叉验证。把正常样本分成几份轮流做训练和验证看验证集的分数分布。如果分布很宽说明正常样本多样性不够需要补采。技巧二异常热力图一定要可视化。不要只看分数要看模型关注哪里。很多时候误检是因为模型关注了无关区域可视化之后一目了然。技巧三和产线师傅多聊。他们最清楚什么算正常什么算异常很多模糊的判定标准聊几次就清晰了。算法工程师不能只盯着数据要下产线。5. 视觉异常检测在工业质检中的前景与边界5.1 它擅长什么不擅长什么视觉异常检测在工业质检里的优势很明确不需要缺陷样本、能发现未知缺陷、换产品切换快、部署成本低。这些优势让它特别适合表面缺陷检测、外观质检、未知缺陷预警这类场景。比如3C电子的外壳划痕、纺织品的疵点、液晶屏的Mura、金属件的凹坑这些场景用异常检测都能取得不错的效果。但它也有明确的边界。第一它不擅长精细分类。它能告诉你“这里有异常”但很难告诉你“这是划痕还是凹坑”。如果需要分类还是要上目标检测或者分类模型。第二它对正常样本质量极度依赖。正常样本没覆盖到的正常变化都会被当成异常。第三它对微小缺陷的检测能力有限。受限于特征提取器的感受野和分辨率几个像素的缺陷可能检不出来。第四它的可解释性不如传统视觉。传统视觉你能说清楚为什么判异常异常检测很多时候是“黑盒”。5.2 和其他技术的组合玩法异常检测不是孤立的它可以和其他技术组合发挥更大价值。异常检测加目标检测先用异常检测做初筛把可疑区域框出来再用目标检测做精细分类。这样既能发现未知缺陷又能对已知缺陷分类。异常检测加传统视觉用传统视觉做尺寸测量、位置定位这些确定性任务用异常检测做外观质检。两者互补各司其职。异常检测加主动学习把异常检测判为异常但置信度不高的样本交给人工复检复检结果用来更新模型。这样模型会越用越准。异常检测加多模态除了可见光图像还可以引入红外、超声、X光等其他模态。不同模态的异常检测结果融合能提升检出率。5.3 我个人的一些判断我在这个方向做了几年有一些自己的判断。短期来看基于特征嵌入的方法PatchCore、PaDiM这类会成为工业质检的主流因为它们部署成本低、效果好、切换快。中期来看自监督预训练模型会进一步降低对标注数据的依赖让异常检测在更多场景落地。长期来看异常检测会和目标检测、分类模型融合成一个统一的框架既能发现未知缺陷又能分类已知缺陷。但我也要泼一盆冷水异常检测不是万能的。它解决的是“有没有异常”的问题不解决“是什么异常”“为什么异常”“怎么解决异常”的问题。工业质检的最终目标是提升良率异常检测只是其中一环。算法工程师要理解产线、理解工艺、理解质量体系才能真正把技术用好。最后分享一个我自己的习惯每次上产线我都会先跟着质检员干半天亲手检几百个产品感受一下他们的工作节奏和判定标准。这个过程比看任何论文都有用。技术是工具场景才是核心。把场景吃透了技术选型自然就清晰了。