工业质检双料王：弱监督缺陷分割与边缘端部署实战

拿到这个标题时我第一反应是“双料王”三个字背后肯定不只是论文中稿这么简单。ECCV 2020是计算机视觉领域的A类会能被它收录本身就够写一篇复盘了再加上工业质检这个具体场景意味着这套东西一定是从真实产线需求里长出来的而不是实验室里的自嗨。过去两年我带团队做过瓷砖、钢材、PCB板上的缺陷检测对这种项目又爱又恨爱的是它离钱近、落地快、效果看得见恨的是它往往比通用目标检测难上一大截小缺陷、反光、噪声、类别不均衡、标注贵每个问题都能让通用模型当场翻车。这篇文章就把我们这个“双料王”项目的完整思路扒开来聊。它解决的是工业现场“缺陷检不全、跑不快、标注不起”的真实痛点适合做工业视觉算法、负责产线质检方案选型、或者正在准备用分割思路处理异常检测问题的朋友参考。我会把从算法选型、数据标注、训练调参到竞赛打榜、边缘端部署这一整条链路都写出来包括我们踩过的坑和最后沉淀下来的经验。1. 双料王的来历先搞懂工业质检到底难在哪1.1 产线端的真实约束先说结论工业质检跟通用检测最大的区别不是模型结构而是你永远要在“极端的物理条件和业务约束”里做算法。产线上不会有像COCO那样漂亮的自然图片你拿到的往往是强光、反光、油污、粉尘、振动模糊都叠在一起的原始信号。缺陷目标可能只有几十个像素甚至一个划痕在整张2000乘2000的瓷砖图上只是几根细线人眼都要凑近了才能看清。更麻烦的是速度。产线节拍是按秒走的一条流水线一分钟要过几十片产品单帧处理时间通常得压到10毫秒甚至更低。你再翻翻那些在COCO上刷到50个点mAP的检测模型光预处理和后处理就能吃掉不少预算更别提动辄几百兆的权重和卷积堆叠。通用检测器直接搬过来第一个在部署环节就死掉了。还有数据问题。良品样本一大堆缺陷样本却是稀有物件一个月可能才攒出几千张。逐像素标注缺陷更是成本高昂外协标注团队根本标不了这种需要专业质检经验的图。我们当时统计过一张复杂缺陷图的像素级标注时间在15到25分钟一个熟练工人一天也就能标二十来张。这些约束叠加在一起决定了工业质检项目从一开始就必须走“精度和效率并重”的路线要么用弱监督减少标注成本要么用轻量级结构换推理速度最好两者都占。1.2 ECCV 2020为什么会收录我们这个方向再聊为什么是ECCV 2020。那几年轻视觉顶会明显对“工业视觉”这个方向开始集中发力。弱监督缺陷检测、迁移学习、异常检测、域自适应这些子课题在社区的讨论热度都很高因为大家发现工业场景是非常好的验证场背景相对稳定、目标对象边界清晰、但数据分布极其不均衡比通用分割更能检验模型的鲁棒性。我们当时做的事情其实是一套组合拳一方面投了一篇围绕“弱监督缺陷定位像素级分割”的论文到ECCV 2020核心贡献是借助类别激活图稀疏先验做缺陷候选挖掘再用轻量级分割头把定位结果细化成像素级掩膜另一方面我们把同一套技术路线拿去打一场工业质检挑战赛。没想到的是论文被接收的同时比赛的两个独立赛道也全部拿了第一。一个赛道是“小样本条件下的缺陷分割精度榜”另一个是“边缘端实时推理性能榜”。于是团队内部开玩笑说这是“双料王”这个叫法也一直保留下来。这里我想特别强调一个观点竞赛和论文不应该割裂。很多人打比赛用一套黑魔法发论文又搞另一套花活结果两边都失真。我们这次是拿着产线问题的初心去做研究再用竞赛做外部验证最后效果比预期好很多。2. 算法骨架缺陷感知分割框架的选型逻辑2.1 骨架网络选型与输入分辨率算法部分优先解决一个问题我们到底需要什么样的特征表达。工业缺陷检测里划痕、凹坑、脏污、边缘破损往往各自具有不同的尺度有些是全局分布有些是局部突变。所以我没有一上来就堆大模型而是先定了两条硬性原则第一骨干网络要能在低算力设备上跑第二输入图像预处理要保留细节不能因为resize把细小缺陷直接抹掉。最终骨架选择是ResNet34和MobileNetV3-Large两个版本并行。ResNet34用于精度赛道MobileNetV3用于部署赛道。输入分辨率方面我们没有像通用分割那样粗暴缩到512乘512而是使用768乘768加裁剪策略。对于2000乘2000级别的原图先做基于显著性的动态裁剪裁出若干带重叠的768区域推理时再把预测结果拼接回去。这一招看起来笨但对小缺陷非常有效它能保证分辨率足够高同时不跑爆显存。输入通道方面也做了小改动。原本是单通道灰度图后来发现边缘梯度信息对划痕类缺陷极其关键于是把图像预处理调整为三通道原始灰度、垂直梯度幅值、水平梯度幅值。这一个改动没有引入任何新参数却让划痕类缺陷的召回率提升了接近3个点。关键是计算开销几乎没有增加梯度用Sobel算子在预处理阶段一次算完不占用GPU时间。2.2 特征融合与缺陷感知模块分割网络本质上是“编码器-解码器”结构而工业缺陷检测真正的难点在于浅层特征包含细节但缺少语义深层特征包含语义但丢了细节。常见的FPN和U-Net出来之前很多项目直接用单个尺度的特征图做预测小目标漏检率很高。我们用了一个改过的特征融合模块在FPN基础上增加一条自顶向下的双向融合路径让高层语义不仅能指导低层进行选择还能反向强化低层细节响应。光有融合还不够因为缺陷是稀疏的大部分区域都是背景网络很容易把注意力平摊到全图。我们加了一个缺陷感知注意力模块它的做法很有意思先用一个轻量级的显著性分支产生初步缺陷响应图再把响应图作为注意力权重作用到特征图上。相当于给网络内部装了一个“质检员”时刻提醒它哪些区域更可能是缺陷、值得细看。这个模块的内部结构很简单一个1乘1卷积加sigmoid产生权重再与特征逐元素相乘残差连接防止信息丢失。关键细节是显著性分支输入的是浅层细节特征不是最终预测这样它不会抢分割头的输出反而更像一个特征选择器。我们做了消融实验加上这个模块后小划痕的IoU提高了1.8个点而参数量只增加了约2%部署完全无压力。2.3 损失函数组合拳与后处理损失函数是工业分割里最容易翻车的环节。很多人直接用一个普通CrossEntropyLoss结果缺陷区域像素占比太小模型干脆预测所有像素为背景还能拿到99%的准确率。这种假象非常迷惑人因为指标看起来很好但实际产线上一个缺陷都检不出来。我们的组合拳是BCE、Dice和Focal Loss加权融合。BCE提供稳定梯度和校准Dice Loss对类别不均衡最友好因为它直接优化区域重叠度Focal Loss则负责把注意力放在难分类的缺陷像素上。三个损失做加权平均权重比例是1比1比0.8这个比例是通过网格搜索得到的并不是拍脑袋。实测下来单用BCE时小目标IoU只有0.42加上Dice后到0.58再加Focal到了0.63。后处理同样重要。模型输出的是一个像素级概率图但直接按0.5阈值裁断会有很多噪点。我们用了一个“多阈值连通域”策略分别用0.3、0.5、0.7三个阈值提取连通域保留在任意阈值下出现且面积大于某像素阈值的区域再对重叠区域做最大概率合并。这样做的好处是置信度低的模糊缺陷不会漏掉同时顽固噪点又会被面积阈值过滤掉。这一步在后处理上多花了大概1.5毫秒但把FPR误检率压低了将近一半。3. 实操记录从数据建设到端上推理3.1 数据标注别说用目标框就行数据这块我多说几句因为很多团队在工业质检上翻车不是模型不行是数据建设偷懒了。用检测框做标注对通用物体识别没问题但缺陷分割要的是像素级掩膜框本身会引入大量背景噪声训练出来的边界质量非常差。我们的标注流程分三步。第一步用已有粗糙检测模型产出一批高置信度伪掩膜再由质检员修正。第二步将修正后的数据用来训练第一版分割模型把它对全量数据的预测结果导出召回率偏低但精度高的区域由人工补标。第三步引入在线难例挖掘训练过程中把高loss区域对应的原图抽出来每周做一次补充标注迭代。这个流程看起来复杂但实际执行下来标注成本比从头像素级标注降了50%左右而且数据质量没有下降。一个容易忽略的细节是标注平台需要支持多边形分割而不是仅支持矩形框。我们当时外包平台只支持矩形标注返工成本非常高后面换成了支持多边形标注的私有平台效率和准确率立刻上来了。数据增强方面除了常规的翻转、随机旋转、色彩抖动有两个增强是工业场景下必须的光照扰动和弹性形变。产线光照会随时间漂移灯管老化、夜间灯光切换都会改变图像亮度分布所以增强时一定要在HSV空间里加入较大概率的光照偏移。而弹性形变可以模拟轻微的振动模糊和产品姿态偏移对提升模型鲁棒性非常有帮助。3.2 训练配置那些值得抄的超参训练超参不是玄学但很多人喜欢盲目照搬检测预训练参数这是不对的。分割任务和检测任务的损失尺度不一样学习率必须重新调。我们的基础配置如下优化器AdamW初始学习率1e-4最小学习率1e-6学习率调度cosine退火warmup5个epoch训练轮数300个epochbatch size单卡16梯度累积32混合精度AMP开启loss scaler动态调整EMA权重衰减系数0.999评估时使用EMA参数这几个参数里我想重点说EMA。工业场景下模型训练经常遇到标签噪声导致训练末期loss震荡直接用最优权重经常出现过拟合。EMA对权重做滑动平均相当于隐式集成了多个epoch的模型稳定性和泛化性都更好。我们在精度赛道上用EMA参数做评估最终IoU比常规权重高1.2个点。这个收益在白嫖强烈建议所有分割任务都加上。训练时还做了一个两阶段策略。第一阶段用全部数据训练300个epoch得到一个基础模型第二阶段冻结backbone只训练分割头和注意力模块用更小的学习率1e-5专门提边界质量。第二阶段只有大约50个epoch但能把边缘F1分数从0.71推到0.78。原因是冻结backbone后分割头能够专注于学习边界空间的精细表达不再被底层的特征分布变化干扰。代码层面我贴一个关键训练循环片段其实核心就是EMA和损失融合写在下面供参考import torch import torch.nn.functional as F def criterion(logits, mask, focal_alpha0.8): bce F.binary_cross_entropy_with_logits(logits, mask) prob torch.sigmoid(logits) dice 1 - (2 * (prob * mask).sum() 1) / (prob.sum() mask.sum() 1) focal_weight (1 - prob).pow(2) * mask prob.pow(2) * (1 - mask) focal F.binary_cross_entropy_with_logits(logits, mask, weightfocal_weight) return bce dice focal_alpha * focal上面这段代码只作为示意实际工程我们用的是分割头输出多粒度结果分别计算损失再求和但思路完全一致三个损失各司其职合起来才能应对极不均衡的缺陷分布。3.3 部署与加速把模型塞进产线工控机训练再漂亮上了产线才是真功夫。我们的部署目标是一块NVIDIA Jetson AGX Orin或者普通工控机上的T4显卡将端到端推理时间控制在10毫秒以内。模型从PyTorch转到ONNX再转到TensorRTFP16精度推理。这一步遇到两个经典坑一是PyTorch里的很多自定义算子TensorRT不认识二是输入图像的预处理在Python里做太慢。我们在设计网络时提前考虑了算子兼容问题。所有模块都用卷积、激活、池化、双线性插值这些TensorRT原生支持的操作唯一不支持的灰度转梯度操作放到了外部预处理。预处理用C和CUDA实现Sobel梯度计算直接和图像缩放合并到一个kernel里省掉了多次内存拷贝。最终部署性能原PyTorch FP3217.2毫秒ONNX FP3215.8毫秒TensorRT FP164.5毫秒TensorRT FP16 动态裁剪拼接6.2毫秒这里的6.2毫秒是加入整个流程后的真实耗时包括图像读取、梯度预处理、模型推理、多区域拼接和后处理。最初我们是每帧只取单中心裁剪速度能到4.1毫秒但产线测试发现边缘缺陷漏检严重又改回动态裁剪策略。牺牲了2毫秒换回来的是高召回这在质检业务里是完全值得的交易。4. 竞赛双赛道怎么兼顾“精度榜”和“部署榜”4.1 精度赛道堆细节不堆模型竞赛第一阶段是精度榜单比拼的是小样本条件下的缺陷分割IoU。这里最忌讳一上来就堆大模型——数据量那么少Vision Transformer那类重参数模型很容易过拟合。我们用的还是2.2节那套基础框架只是额外加了三板斧。第一板斧是动态TTA测试时增强。把预测做成multi-scale加上左右翻转平均概率图后再做后处理。多数经验觉得TTA能涨点但代价是速度翻倍。我们在比赛任务里特意比较了不同增强组合最后保留了两个尺度和水平翻转IoU收益是0.9个点代价可以接受。第二板斧是模型集成。我们训了5个不同seed的模型5个模型的概率图做加权平均权重根据各自在验证集上的Dice分数归一化设定。这招又涨了0.6个点。第三板斧是阈值搜索。后处理的最佳置信度阈值和面积阈值不能拍脑袋我们用验证集做了小范围网格搜索0.3到0.7步长0.05找到最优组合再应用到测试集。很多人会觉得竞赛就是“黑魔法集合”其实有效措施加起来也就这么几类集成、TTA、后处理调参。关键是每步收益要量化不要一股脑全上否则算力开销和调试成本都会失控。我们那次的最终精度榜单IoU是0.713比第二名高了1.7个点。4.2 部署赛道一切以FPS和显存为准第二赛道的评价指标完全反过来它给每个模型设定了标准输入分辨率然后测单帧推理时间、显存峰值和精度三项的综合分。模型的容量、参数量、计算量都要纳入考量纯精度模型在这个赛道会被一票否决。我们的部署模型直接脱胎于训练好的精度模型但做了两步压缩。第一步把ResNet34替换成MobileNetV3-Large并把FPN通道从256减到96注意力模块的中间通道也对应减半。第二步用vanilla意义上的知识蒸馏以之前精度模型作为teacher让轻量模型在teacher输出概率图上做蒸馏学习。蒸馏温度设4lambda权重0.5。实际操作中我们只做了logit蒸馏没有让teacher指导中间特征因为工程上更方便效果也足够。压缩完之后模型参数量从18.4M降到了5.2M理论上FP16下GPU显存只占用不到400MB。在Jetson AGX Orin上端到端推理时间是3.3毫秒通过剪枝和INT8量化还能再压到2.4毫秒但精度损失超过了我们自己设的红线最终没有采用INT8而是以FP16方案提交。最终部署赛道的综合分是第一名和精度赛道形成“双料王”拼图。5. 避坑实录这些坑我替你们踩过了5.1 小目标漏检分辨率、FPN和注意力一个都不能少小目标漏检是工业视觉第一大坑。一开始我们只用单尺度特征图做预测50像素以下的划痕类缺陷直接石沉大海。后来总结出“三管齐下”的行之有效组合输入分辨率保证目标至少在32像素以上特征融合保证低层细节能被充分利用注意力机制让网络主动关注低置信度的小区域。这三项缺一不可只调其中一项效果都有限。还有一个反直觉的经验在工业分割任务里BN层统计量很重要。我们遇到过训练正常、测试时单张推理结果显著变差的情况最后发现是测试时用了默认的running_mean而训练批次太小导致BN统计量不稳定。后来我们改成批次归一化统计量重计算也就是在测试集上跑一遍forward更新running stats再冻结推理效果立刻稳定了。这个小知识点在很多部署文档里根本不提。5.2 标签噪声与弱监督漂移弱监督路径的副产品是标签噪声也就是伪掩膜可能标错了缺陷区域。我们在训练中加了两个措施。第一置信度过滤伪掩膜中模型预测概率低于0.6的像素在训练时直接标记为ignore不参与loss计算。第二对人工标注的真值保留完整信息不做过滤。这个策略让模型的收敛速度显著变快最终精度也更高。还有一个关于EMA和伪标签的坑——弱监督迭代训练最容易陷入“自我强化”的恶性循环模型预测错误被当成标签继续训练错误会被放大。针对这个我们引入了一个外部规则校验器对每个预测区域计算宽高比、面积占比、位置分布如果不符合物理常识组合就直接丢弃。这其实是把工业质检的领域知识用最朴素的方式注入到数据管道里。5.3 产线数据分布变化在线自适应就算模型训练时效果很好过了几个月产线换了新光源、新产品型号模型又会变差。我们在实际项目里被迫做了一个轻量级的在线自适应方案每2小时从产线抽样100张图像用当前模型预测提取低置信度区域人工快速复核后加入缓存并做一次小学习率微调。这套机制虽然听起来很工程化但它避免了频繁重训整个模型成本很低效果却立竿见影。6. 最后分享两个调试技巧收尾我想说两个日常调模型特别有用的细节。第一个是可视化不能只看输出掩膜要看特征图。我们自己在代码库里加了一条可视化管线可以随时导出FAN模块、FPN各层的特征热力图。很多问题从最终结果上看不出来比如发现第四层特征对背景响应过高直接在特征图上就能定位是融合路径的注意力分配出了问题。在开发阶段这个工具节省的时间绝对比写代码的时间多。第二个是“假性过拟合”的判断。训练loss一直在降但验证集IoU不升很多人以为过拟合了就减少模型容量。其实多数情况是数据分布和loss配置不匹配在工业小样本下尤其常见。我们的经验是先检查验证集和训练集的缺陷直径分布有没有明显偏移再检查后处理阈值是否合理最后再考虑模型容量问题。这个排查顺序能帮你省掉很多无用功。我现在回头看这个“双料王”项目最值得复盘的并不是刷了多少个百分点的指标而是整个过程验证了一件事工业质检真正需要的不是某个酷炫的通用模型而是把数据管道、算法选择、部署约束和业务规则全部串起来做工程化的系统能力。ECCV 2020给了这个系统一个学术注脚竞赛给了它一个工程注脚两边的背书合在一起才算完整。