AI工业视觉检测：如何把老师傅经验翻译成算法并接入工控系统

质检线上的老师傅往往是整个车间里最“贵”的人。他拿放大镜看一个冲压件三秒钟就能告诉你毛刺在哪个位置、压伤的痕迹是旧伤还是新伤、这个料要不要返工。这种基于十几年肌肉记忆的“手感”恰恰是最难被量化、也最难被复制的东西。我们做AI工业视觉检测说到底干的就是一件事把这套说不清道不明的经验翻译成机器能执行的算法逻辑然后把结果接进自动工控系统让产线自己动起来。这篇文章不聊虚的就讲讲我实际做过的项目里怎么把老师傅的经验“榨”出来、写进代码、跑在工控机上替你踩过的坑和绕过的弯一次性说清楚。1. 内容整体设计与思路拆解1.1 为什么要“仿人”而不是“造人”刚接触工业视觉的人最容易犯的一个错误是一上来就奔着“全自动、无人化”去设计系统恨不得用算法替代整个质检班组。但实际做过几条产线你就会明白老师傅的不可替代性恰恰藏在那些看似“非标准”的细节判断里。他看一个铸件不只是“看形状对不对”他还会用指甲去抠一下合模线用手电筒斜着照一下内腔壁甚至拿起零件掂一掂重量。这些动作背后的信息量远比一张灰度图要复杂。所以我的第一个建议是先别急着上深度学习、搞端到端模型。AI工业视觉的本质不是做一个“万能眼睛”而是把老师傅最擅长、最高频、最能标准化的那几个判断动作先用工业相机和算法复刻出来。比如外观缺陷中的划痕、脏污、缺料尺寸测量中的关键孔径、平面度装配验证中的到位检测、方向有无。把这些单点拆出来做成一个个“仿人”的检测算子再通过逻辑组合去逼近老师傅的综合判断这才是“把经验装进算法”的务实路径。1.2 从“老师傅怎么说”到“算法怎么写”这里有一个非常重要的方法论你要访谈老师傅但你不能只记录他的结论你要记录他的“判别路径”。比如老师傅说这个零件不合格你得追问是哪里不合格看到哪里先觉得不对劲如果光线斜一点看那个划痕还明不明显他会告诉你真正的裂纹是“反光的像头发丝一样”而脏污是“哑光的擦得掉”。这些描述就是你在算法里做特征提取和缺陷分类的原始需求。我做过一个刹车盘外观检测的项目老师傅给我的核心经验是“砂眼要分三个级别小于0.3毫米的不用管0.3到0.8的看位置在密封面的必须报废在非摩擦面的可以降级。”这句话直接决定了我们整套算法怎么设计。我们先用标定板的像素当量标定出物理尺寸再通过连通域分析计算每个暗点的面积再根据mask区域判断它落在哪个功能面。你看老师傅一句话我们拆成了三步算法像素当量换算、连通域提取、区域掩码判定。这就是经验翻译的全过程。1.3 技术路线选型传统视觉与深度学习的取舍不少同行喜欢一上来就上深度学习觉得卷积神经网络就是万能钥匙。但工业现场最怕的不是模型精度不够而是“不确定”。今天误杀一片明天漏放一批人都得疯。我自己的选型逻辑是凡是能用传统图像处理解决的问题比如尺寸测量、有无判断、简单的几何瑕疵坚决用传统方法因为可解释性强、调试快、稳定性高只有遇到纹理类缺陷布匹、皮革上的破洞、色差、复杂的随机缺陷电池表面的细划痕、大面积组合缺陷这类传统方法搞不定的才上深度学习。这两者的结合才是工业视觉落地的常态。就比如刚才说的刹车盘缺陷暗点类、砂眼类用灰度阈值加形态学就够了但那种“细小发丝裂纹”就得用深度学习分割模型因为它在灰度上跟正常的刀纹太接近了。在工程上我的习惯是先跑一把传统算子把能稳定判掉的缺陷先判掉剩下的疑难杂症再交给深度学习去分类这样整个系统的下限高上限也高。2. 核心细节解析与实操要点2.1 成像方案是成败的七成相机镜头光源怎么选我再强调一遍在工业视觉里算法只占三成成像占七成。很多同学跑来问我为什么深度学习模型效果那么差我一看他拍的图零件表面的反光能把整片区域都打成白色缺陷全被光晕吞了这种图换什么模型都白搭。成像方案设计的核心逻辑是让缺陷和正常区域在图像上产生最大的灰度差异。说白了就是你得让“坏的”跟“好的”长得不一样越不一样越好认。相机的选型要看你检测的是静态还是动态。静态工位一般用面阵相机分辨率根据视野和精度要求来推高速运动产线优先考虑线阵相机。镜头的选型则要算两个数工作距离和视场大小。常见做法是先定视野FOV比如要拍一个200mm乘150mm的零件工作距离大概300mm那镜头的靶面尺寸和焦距就要匹配。焦距约等于工作距离乘靶面尺寸再除以视野宽度这是一个工程估算公式实际还要看景深和畸变。镜头的畸变直接影响测量精度所以做尺寸检测时我一般倾向用远心镜头或者至少用低畸变工业镜头加标定补偿。光源这块顺序比牌子重要。先决定用什么光再定打光角度。划痕、凹凸类的缺陷用低角度环形光或同轴光让表面高低起伏在图像里形成明暗变化读码、定位用的可以用条形光剥离开背景做轮廓测量用背光源。分得细一点同轴光适合高反光表面看划痕低角度光适合金属表面看凹凸而漫射光板适合消除反光干扰。我甚至会跟光学工程师一起在相机前加偏振片去压掉金属反光。这些光学层面的微调往往比调参管用得多。2.2 精度怎么算镜头倍率、像素当量和真实公差这就是热度榜上“工业视觉精度是怎么算的需要算上镜头放大倍率吗”这个问题背后的核心。很多人以为买了1200万像素相机就能测到0.01毫米的精度这是一个巨大的误区。工业视觉的精度不是像素数决定的而是由像素当量每个像素对应的物理尺寸和稳定性共同决定。像素当量的公式很简单像素当量 单方向视野大小 ÷ 单方向像素数。举个例子你用500万像素的相机分辨率2448乘2048视野范围是50mm乘42mm那X方向的像素当量就是50除以2448约等于0.0204毫米每像素。这意思就是一个像素对应的物理尺寸是20微米你只能分辨出20微米级别的变化低于这个尺寸的任何特征在图像里连一个像素都占不满算法再强也没用。但要注意像素当量不等于检测精度。工程上要复现“测量值波动在正负0.01毫米内”的精度通常要求像素当量在产品公差的五分之一到十分之一之间。比如产品关键尺寸公差是0.05毫米那最好让像素当量做到0.005到0.01毫米每像素。这就要求你反推相机的分辨率或者缩小视野。这里必须把镜头放大倍率也算进去因为靶面尺寸不同同样焦距的镜头放大倍率就不同实际成像范围也不一样。常规做法是直接用标定板实测像素当量不要在原理图上算来算去一个棋盘格标定板拍下来所有理论误差都回到真实值了。2.3 图像标注和缺陷样本收集最容易低估的工作量做AI工业视觉项目团队最容易“崩”的环节不是算法而是数据。工业缺陷的样本往往稀缺正品一大堆次品反而难得一见。你问现场要一年的良品数据库里全是有规律的切屑纹理但那些偶发的砂眼、夹渣、裂纹可能攒半年也凑不齐100个。我的做法是先逼自己把“数据采集方案”定义清楚。第一步把变体拍全不同型号、不同批次、不同时段的光照、不同位置的缺陷都要拍第二步把“难分”的样本单独建库比如把合格但表面有轻微油污的零件单独归为一类让模型知道这是可接受的第三步利用合成数据增强生成缺陷样本比如把真实采集的缺陷图像用仿射变换、亮度扰动、粘贴的方式叠加到正常样本上。这一步很关键但要注意不要合成出“失真”的缺陷否则模型在真实产线上会乱报。标注规范上我坚持“一个缺陷多个框员独立标然后仲裁合并”。材质表面缺陷的边界本来就模糊不同人画出来的框可能差几十个像素。我们定过一条简单的仲裁规则如果两个标注员的IoU超过0.7就取并集作为标注结果如果低于0.5就拉上老师傅一起判断到底是不是缺陷。这样既减少了标注噪声也保留了“老师傅经验”中“边缘情况”的灰度判断。3. 实操过程与核心环节实现3.1 一套可落地的工控流程从采图、推理到判定有了成像方案下一步就是把整个检测流程串起来。这里说的“串起来”不是写一段Python脚本调一下相机而是要把算法嵌进自动工控系统里实打实地跟PLC握手、跟产线联动。我实际使用的流程大体如下传感器触发——光纤传感器或接近开关感应到零件到位给PLC一个输入信号PLC输出触发信号给工业相机也就是硬触发模式保证每次拍照的位置不偏不倚工业相机把图像通过GigE或Camera Link接口送到工控机工控机上的视觉软件完成图像处理与算法推理输出OK或NG结果工控机通过TCP/IP、Modbus TCP或直接I/O信号把结果发给PLCPLC根据结果控制气缸、机械臂、剔除机构做分拣动作整机记录所有检测结果和图像生成报表可追溯。你注意看这里的核心不是算法本身而是“节拍”和“握手”。产线节拍是每2秒一件那就意味着从相机采图到PLC收到判定结果必须在2秒内完成。所以算法硬件的选型要匹配传统机器视觉算法用普通工控机加独立显卡就够如果上深度学习建议用带GPU的工控机或者是AI边缘计算盒子目前主流的是Jetson系列或Intel Movidius方案按检测幅面大小选。3.2 工控对接的通信参数与联动逻辑不搞清楚要出大事先说通信。很多产线的PLC是西门子S7-1200或1500系列支持S7协议但如果我们上位机用C或C#开发可以直接用Snap7这个开源库走TCP访问DB块如果是三菱PLC一般走MC协议或走串口Modbus。硬件上我踩过一个坑原以为工控机和PLC都插在同一交换机上就能通信结果发现车间里不同工位的网络是隔离的两个VLAN视觉系统根本ping不到PLC。后来专门拉了一条独立的物理网线走视觉控制链路才把问题解决。记住一条原则自动工控里的视觉数据链路最好独立组网不要跟车间信息化网络搅在一起。联动逻辑这块有一个比通信协议更重要的点错误安全Fail-Safe。我设计判定结果时永远不只有OK和NG两种必须有第三种状态叫“未识别结果”或“系统异常”。当图像模糊、光源断连、相机掉线、算法超时这时候你要让PLC怎么处理我的做法是把所有异常统一输出为“NG-UNKNOWN”PLC收到这个信号后默认走“拦截、停机、报警”通道而不是放行。这个设计看似保守却能在光源老化、镜头脏污时帮你挡下大量漏检风险。还有一个细节是判定结果的时序。PLC在高速往复运动时如果你把结果信号保持得太短PLC根本采不到保持得太长又会干扰下一个工件的判定。一般用“结果锁存”的方式PLC发出触发信号后在固定窗口比如500毫秒内锁存视觉结果超过窗口没收到结果直接按异常处理。这个窗口时间必须在空跑节拍测试中反复掐表不能拍脑袋定。3.3 算法侧的工程化不要只调模型要调流程算法工程师最容易上手就调模型参数但实际工程里瓶颈往往在前后处理。我先说图像预处理。金属表面的图像会受环境光和油污干扰我在做预处理时固定两步一是做灰度校正/平场校正把不同区域的光照不均匀压平二是对高反光表面做一次中值滤波或频域陷波滤波把周期性的纹理或伪影去掉。这样再做阈值分割稳定性会好很多。然后是判定逻辑的结构设计。我习惯把整个视觉检测算子做成“串行流水线”第一步定位找ROI用模板匹配或几何特征定位第二步测量卡尺寸、算面积第三步缺陷检测灰度/梯度/深度学习分割第四步逻辑汇总组合各检测项得出最终结果。这种流水线的好处是任何一个算子出问题你能迅速定位到是采图还是算法还是逻辑的锅。线上日志每个步骤的耗时和中间结果都要落盘这对后面排查“误判的某个工件到底卡在哪一步”极有帮助。关于模型部署我强烈建议把深度学习模型转成TensorRT或OpenVINO的推理引擎格式。同样一个训练好的模型直接跑可能40毫秒转成TensorRT FP16之后可能只要12毫秒这对节拍压力大的产线是质的区别。而且工业现场不太建议用云端推理一条网络抖动就可能让一整批产品脱检。本地化、低延迟、确定性优先这是自动工控的底线思路。4. 常见问题与排查技巧实录4.1 误判率居高不下先从“图”找原因不从“模型”找原因AI工业视觉项目的第一个坎一定是误判率。你辛辛苦苦标了数据、训了模型一上线发现合格品被杀了5%现场工艺员脸都黑了。我的经验是只要误判率高先别急着加数据、换骨干网络而是把误判的图像一张张打开看。90%的情况下你会发现问题出在三个地方一是光源闪烁、曝光不稳定同一种表面在不同时刻拍出来亮度差异巨大二是零件本身的定位偏差大导致拍的位置跟训练时分布的差异明显三是相机镜头上溅到了切削液图像出现一块固定区域的模糊或反光。排查步骤我一般这样走先看灰度直方图确认光照是否稳定再叠加显示所有误判样本的ROI区域看缺陷位置是不是集中在图像的某个固定区域如果是大概率是成像问题而非算法问题最后才去检查训练集和测试集之间的数据分布差异。这个顺序能帮你省下一个星期的无效调参时间。4.2 现场不是实验室温度、振动、灰尘都会让精度漂移厂房的温度跟空调房完全不是一个概念。我见过一个案例早上开机时视觉检测精度正常到了下午车间温度上到36摄氏度金属构件受热膨胀相机支架产生了微米级的位移结果所有尺寸测量值集体偏大。从那以后我所有在线的项目都要求加“每日自动校标”逻辑开机时自动拍一块标准件用标定板或基准件的尺寸实测值来补偿因热胀冷缩带来的像素当量变化。这个补偿值会写进日志一旦超过阈值系统自动报警提示需要机械调整。振动是另一个隐藏在暗处的杀手。很多产线地面有叉车经过如果相机支架刚性不足拍出来的图像总会轻微抖动。对定位算法来说轻微的偏移影响不大但是对高精度的尺寸测量来说可能就是0.02毫米的偏差。我的对策是凡是测量类项目相机支架一律用铸铁或高强度铝型材杜绝使用那种细长的相机悬臂支架同时算法里加一个基准点定位每一帧图像都先找到工件上的参考圆或参考边再做测量这样能把振动带来的系统误差抵消大半。4.3 老师傅说行算法说不行算法说行老师傅说要再看一眼这是最典型的“人机博弈”场景。很多时候模型判定为NG的工件老师傅拿起来看了一眼说“这个没事是合格的”。尤其是那些表面颜色稍微不一致、但功能完全不受影响的零件。这时候不能硬杠你需要在“分级”上做文章。我在系统中引入了“三区策略”绿色区模型置信度高判定OK、红色区模型置信度高判定NG、黄色区模型置信度处于中间地带无法给出确定结论。黄色区的产品被单独分拣到一个“人工复核”料箱由老师傅拍板。这样做有三个好处第一减少误杀保住良品率第二给模型和标注提供宝贵的新样本黄色区的图像会被定期导出人工标注后重新训练第三老师傅的“经验权威感”得到了保留现场推进阻力小很多。很多工程师觉得“黄色区”是算法不行的表现但做工程不是发论文稳定可控才是第一目标。用了一段时间之后你会惊喜地发现随着模型迭代和数据积累黄色区的占比越来越小老师傅也开始认可AI的判断。这时候才是真正的“经验装进算法”完成闭环。5. 落地过程中的组织协作与经验沉淀5.1 算法工程师该怎样与老师傅对话很多AI视觉项目死在沟通上。算法工程师问老师傅“这个缺陷的特征是什么”老师傅会回答“反正我一看就看出来了”。他不是不说是那些判断本身是下意识的根本不会主动拆解。你需要用“选择法”去引导不要用“填空题”去逼问。可以这样问老师傅同样是划痕是亮白色的明显还是暗白色的明显是沿着加工刀纹方向的多还是垂直方向的多这个缺陷在黑色背景下看得清还是在白色背景下看得清这些问题每一个都对应一个成像或者算法的参数决策。我每次做需求调研必带一个相机和一支不同颜色的强光手电筒现场照着零件跟老师傅一起看他说“这边看得到”我马上拍下来这个角度基本就是打光方案的雏形。另外要请老师傅在算法模型评审会上“签字画押”。模型的测试集里挑出100个正品和100个次品让老师傅盲测记录他和模型一致的样本数。这一步好处太大模型上线后老师傅是整个产线上最配合的人因为他参与了“验证”过程AI的判定在一定程度上等同于他的授权。5.2 数据闭环每一次误判都是下一次迭代的养料AI工业视觉系统上线不代表项目结束恰恰是数据闭环的开始。我会在生产数据库中记录每一个工件的图像路径、检测结果、PLC动作、以及后续的人工复核结果。每周五自动输出一份“人机不一致报表”把“机器判NG但人工放行”和“机器判OK但人工拦截”的样本全部列出来。这些样本就是下一轮训练最有价值的增量数据。补丁数据的标注要有专门SOP。从产线捞出来的图像不能直接丢进训练集要先做同一场景下的去重因为同一个工件的不同周期可能被抓拍多次再做时间维度上的分布检查尽量覆盖早、中、晚不同光照最后再送标注。迭代频率上我习惯两周一次小迭代一个月一次大迭代每次迭代后用留存测试集回归一把防止引入新的误判。5.3 成本与收益的账怎么算给老板听最后讲一个很现实的问题这套系统到底值不值得做我一般从三个维度算账人工成本、漏检损失和产能提升。一个质检老师傅的月薪加社保大概是1到1.5万一条产线三班倒至少要3到4个质检员一年下来就是几十万的人力成本。而AI视觉系统的硬件加开发一次性投入在15到40万之间算法模型的维护成本主要是人员工资和边缘设备折旧。但比这更值钱的账是“漏检”带来的损失。如果一件不合格品流出被主机厂退货整批货可能被罚款严重还要承担停线损失。我做过一个制动器密封面检测的项目一次漏检导致的质量索赔金额就抵得上整套视觉系统的开发费。所以真正做过制造业的人都明白AI工业视觉的ROI不是省人工而是“兜住质量底线”顺便才谈效率提升。6. 最后的实操体会关于AI工业视觉和自动工控这件事我已经带过好几个项目从0到1走到量产。回头来看这个系统里最难的永远不是某一项技术而是把各种角色的隐性知识包括老师傅的“手感”、工艺的技术条件、产线的节拍约束全部翻译成代码和通信信号。现阶段很多AI项目做了个Demo发布会就没了原因不在算法而是在于没做透“工程化”这层壳。这里分享一个我最近还在用的训练技巧每次模型训练完不要只看整体准确率一定要单独看“每类缺陷的召回率”。工业缺陷的类别极不均衡划痕可能有几万个样本砂眼只有几百个模型整体准确率99%很可能砂眼的召回率只有50%。这种隐藏的性能缺口直接关系到现场的重大质量事故。我会在训练日志里单独输出每类缺陷的混淆矩阵低于阈值的缺陷类别宁可牺牲一点误杀率也要优先提升召回。最后再说一个很多人容易忽略的小细节给机器视觉系统配一个独立的UPS电源。车间里的电压波动和偶发断电如果直接掉电轻则丢失标定参数重则损坏图像数据库。配一个延时30分钟的UPS能让系统在断电时有机会保存现场状态、产生日志、平滑退出。这个几百块的投资能在关键时刻帮你避免几天的恢复时间属于花小钱办大事的那种。说到底做工业视觉真正的“老师傅”不止是那个懂算法的人更是那个懂得让系统在任何恶劣条件下都不掉链子的人。