水下管道巡检视觉全链路：图像增强、缺陷检测与轻量化部署

水下管道巡检这事视觉部分永远是最先被寄予厚望、也最先被现实打脸的那一环。岸上实验室里跑得挺欢的检测模型一下水就发现画面糊成一片绿汤标注框歪歪扭扭召回率掉得让人怀疑人生。这个项目来自一次工程训练类的水中机器人实践核心任务就一句话让搭载相机的机器人贴着管道走把裂缝、腐蚀、附着物、防护件缺失这类缺陷看出来、量出来、传回来。听上去是标准的目标检测任务实际上从光学、机械结构、标注规范到边缘算力每一环都在给你加难度。这篇文章适合三类人看刚接触水下视觉、准备参加类似工程训练项目的同学做工业缺陷检测、想了解水下场景差异的工程师以及被水下图像增强轻量化部署组合拳卡住过的开发者。下面我按自己踩坑的顺序把视觉部分的方案设计、图像处理、数据标注、模型训练、边缘部署和问题排查整条链路拆一遍参数和代码都给到能直接抄的程度。1. 视觉方案整体设计与取舍思路1.1 为什么必须先解决看得清再解决看得懂很多队伍一上手就去调检测网络换骨干、加注意力、堆数据增强折腾两周发现涨点微乎其微。问题不在模型在输入。水下成像的退化是物理性的水体对红光的吸收系数在可见光里最高10米左右红光基本被吃干净画面天然偏青绿悬浮颗粒对光散射形成类似雾化的前向散射和后向散射对比度和边缘锐度同时下降。你把一张红通道几乎为零、边缘糊成渐变的图喂给网络网络能学的特征本身就残缺了。所以我的建议是明确分两层底层是成像质量保障补光、相机参数、预处理流水线上层是语义理解检测、分割、测量。前者决定上限后者决定你能拿到上限的多少。我实际的经验是把补光和颜色校正做扎实同一套模型在浑浊水箱里的召回率能提升十几个百分点比换模型结构带来的收益大得多。这个顺序不要颠倒否则你会在错误的战场上耗掉整个训练周期。1.2 从算力与功耗倒推硬件选型水下机器人舱内空间、散热、供电都很紧张视觉硬件的选型不能从我想要什么相机出发要从我能给多少瓦、多少带宽倒推。我们当时的约束是耐压舱内可用功耗预算有限边缘计算模块只能选低功耗嵌入式平台通信是脐带缆带宽不足以回传原始视频流。由此确定的链条是全局快门低照度相机避免推进器震动导致的卷帘畸变 定焦广角镜头 独立补光与相机同轴或环形布置减少阴影 嵌入式边缘计算模块 舱内千兆网连接。镜头选广角是为了在贴管距离受限时仍能覆盖足够视场代价是边缘畸变大必须做畸变校正定焦而不是变焦是因为水下无法频繁调焦且定焦畸变模型稳定一次标定长期可用。再补一条容易被忽略的防水罩是平面光学窗还是球罩直接决定标定模型。平面窗会引入折射等效焦距发生变化陆上标定的内参直接搬下水是错的。这一点我在第4节会展开讲。1.3 把巡检任务拆成检测、分割、测量三条线不要试图用一个模型解决所有问题我试过效果很糟。合理的拆法是三条并行线任务线目标对象输出形式典型模型精度要求目标检测法兰、支架、阳极块、阀门矩形框 类别 置信度单阶段检测器中允许少量漏检语义/实例分割生物附着、沉积物覆盖、腐蚀区域像素级掩码轻量分割网络中高面积统计需要几何测量裂缝长度、宽度、开口骨架 法向宽度分割 形态学后处理高需要尺度标定三条线的数据可以共享同一批图像但标注成本差异很大检测框最便宜分割掩码贵三到五倍测量还需要额外的标尺参照。工程训练项目周期短我的建议是检测线做全分割线做一到两类重点缺陷测量线只做裂缝把有限的标注人力砸在能出成果的地方。贪多必失这是我在项目里最深的教训之一。2. 水下图像退化的成因与预处理实操2.1 吸收与散射蓝绿偏色和雾化到底从哪来水体的衰减由吸收和散射两部分组成且都与波长相关。红光衰减最快蓝绿光衰减慢所以随着距离增加画面色温整体向青绿漂移这不是白平衡没调好而是物理上红通道信息就没了。后向散射指的是补光照到水中悬浮颗粒后反射回相机叠加在目标图像上形成一层雾表现为低对比度、远处发灰。理解这一点很关键因为它决定了你的增强算法该做什么、不该做什么偏色校正是必要的但只能恢复相对色平衡不能凭空造出已经衰减掉的红通道细节去雾/对比度提升是必要的因为后向散射叠加的雾层会显著压低目标与背景的梯度不要过度增强尤其是对暗部做大幅拉升噪声会被同步放大反而让标注和检测变差。用个生活化的比喻这就像隔着毛玻璃拍照片你可以调色、可以锐化但毛玻璃本身的模糊是消不掉的只能靠缩短距离贴管飞行和加强补光来改善。2.2 预处理流水线的顺序比单个算法更重要我见过不少实现把去噪、白平衡、CLAHE、锐化随手串起来顺序全凭感觉结果同一套算法在不同图像上表现差异巨大。合理顺序应该遵循先修物理退化再做视觉增强的逻辑暗电流与固定模式噪声校正可选视相机而定有些相机内部已做降噪水下图像信噪比低先降噪避免后续增强放大噪声。用非局部均值或双边滤波但强度要克制双边滤波的 sigmaColor 别超过 30否则细裂缝直接被抹平。颜色校正基于灰度世界假设或白平衡先做全局色偏校正。对比度增强CLAHE 分段均衡或者 Retinex 类方法。轻度锐化只在前四步完成后做且用非锐化掩模USM量控制在 0.3 左右。注意降噪和锐化是一对矛盾操作中间隔着颜色校正和对比度增强。如果你的裂缝标注边缘总是对不齐先回头检查是不是降噪过强导致边缘虚化然后人工再把边缘锐化回来标出来的框自然就飘了。2.3 关键参数落地CLAHE、白平衡与 Retinex 的实际取值理论讲完说参数。CLAHE 是性价比最高的对比度增强手段两个核心参数clipLimit控制对比度放大幅度tileGridSize控制局部窗口大小。水下图像的雾化是缓慢变化的所以窗口不宜太小我实测tileGridSize(8,8)、clipLimit2.0~3.0是比较稳的区间。clipLimit 超过 4.0 在清澈水体里会明显出现块状伪影在浑浊水体里则可以适当放大到 3.5。灰度世界白平衡的改进版我用的是分通道增益 亮度约束的方式代码大致如下import cv2 import numpy as np def underwater_preprocess(img_bgr, clip2.5, grid(8, 8)): # 1. 双边滤波降噪保留边缘 denoised cv2.bilateralFilter(img_bgr, d5, sigmaColor25, sigmaSpace5) # 2. 分通道灰度世界白平衡带增益上限防止过校正 b, g, r cv2.split(denoised.astype(np.float32)) mean_b, mean_g, mean_r b.mean(), g.mean(), r.mean() gray (mean_b mean_g mean_r) / 3.0 gains [] for m in (mean_b, mean_g, mean_r): gain gray / max(m, 1e-3) gains.append(np.clip(gain, 0.6, 1.8)) # 上限很关键 b np.clip(b * gains[0], 0, 255) g np.clip(g * gains[1], 0, 255) r np.clip(r * gains[2], 0, 255) balanced cv2.merge([b, g, r]).astype(np.uint8) # 3. 转到 LAB只对亮度通道做 CLAHE避免色度失真 lab cv2.cvtColor(balanced, cv2.COLOR_BGR2LAB) l, a, bb cv2.split(lab) clahe cv2.createCLAHE(clipLimitclip, tileGridSizegrid) l clahe.apply(l) enhanced cv2.cvtColor(cv2.merge([l, a, bb]), cv2.COLOR_LAB2BGR) # 4. 轻度非锐化掩模 blur cv2.GaussianBlur(enhanced, (0, 0), 3) sharp cv2.addWeighted(enhanced, 1.3, blur, -0.3, 0) return sharp几个实操要点值得单独说只对亮度通道做 CLAHE直接在 BGR 三通道上做会导致颜色分离、出现奇怪的色斑这是最常见的错误白平衡增益必须限幅红通道衰减严重时理论增益可能到 3 以上硬拉会把噪声炸成红色噪点我一般限制在 1.8 以内Retinex 类方法可以用但不适合做在线预处理多尺度 Retinex 计算量偏大在嵌入式平台上是负担我把它用作离线数据增强的手段用来造更多训练样本而不是推理流水线的一环。2.4 用合成浑浊样本扩充训练集真实水下缺陷样本极其稀缺尤其是浑浊工况下的样本。我用的办法是物理模型合成 域随机化基于简化的水下成像模型把清晰图像按不同衰减系数与雾化强度合成到不同浑浊等级从而在有限实拍数据上翻出几倍样本。合成时随机化的参数包括蓝绿偏色强度、整体亮度、加性雾浓度、颗粒噪声密度、轻微运动模糊。这里有个坑必须提醒合成数据和真实数据必须混着训不能只用合成数据。纯合成训出来的模型在真实水下图像上泛化很差因为真实散射的空间分布不是均匀的而简化模型假设它是均匀的。我的经验配比是真实:合成大约 1:2 到 1:3且验证集必须是纯真实数据否则指标虚高你会误以为自己已经收敛了。3. 数据集构建与标注的那些坑3.1 类别体系怎么定决定了后面所有工作量类别体系是整个项目的地基定歪了后面全是返工。我在这个项目里看到过两种极端一种是把类别定得极细比如轻微表面附着中度表面附着厚重絮状附着分开标结果每类样本只有几十个模型根本学不动另一种是全都归到缺陷一个大类标起来省事但评估时完全看不出模型到底擅长什么。我的做法是两级体系一级按物理对象分结构件、缺陷、附着物、防护件二级在有足够样本的前提下再细分。具体到管道巡检场景比较实用的类别集是环焊缝、法兰、支架、阳极块、裂缝、腐蚀斑、生物附着、沉积物。其中焊缝和法兰这类结构件的作用不只是检测它们还是定位参照物——机器人在长距离管道上巡航时靠这些周期性出现的结构件做里程校正比纯靠视觉里程计稳得多。3.2 标注规范的一致性比标注数量更致命多人协作标注最容易出的问题是标准漂移。同一条裂缝A 同学只框了最明显的一段B 同学把整条走势都框上C 同学连旁边疑似渗水的阴影也标了。最后训出来的模型既学不会完整框也学不会只框核心预测结果全是中间态。我们当时的解决办法是三步走效果不错先写标注细则明确裂缝框的边界以肉眼可辨的连续暗线为准分叉处按主走向框选单条裂缝若中断超过 5 像素则拆成两条把这种模棱两可的情况提前写死交叉复核抽样随机抽 10% 的标注让第二个人盲标计算两边的 IoU低于 0.6 的样本拉出来集体讨论统一标准定期回看每标完 500 张就回看一批早期样本因为人的标准会不自觉地漂移。提示分割掩码的一致性比检测框难控制得多。如果人力有限宁可少做几类分割也要保证已做的几类掩码边缘标准统一否则面积统计结果会离谱到没法用。3.3 类别不平衡和小目标的处理顺序管道缺陷数据天然长尾焊缝、支架这类结构件一抓一大把裂缝、阳极块缺失可能只有几十个实例。处理顺序我建议是先采样策略后损失函数采样层面对稀有类别做过采样但要注意过采样会带来同一图像反复出现容易过拟合我一般控制重复倍数在 3 倍以内并配合较强的几何增强翻转、旋转、随机裁剪、亮度扰动损失层面用带类别权重或者焦点损失的检测头权重按类别频率的反比开方来设别直接按反比否则极端类别权重过大会导致训练不稳定评估层面必须看每类 AP只看 mAP 会被多数类掩盖。我踩过一次坑整体 mAP 看着挺漂亮拆开一看裂缝类 AP 只有 0.2等于这条线根本没做出来。小目标问题在贴管巡检场景其实相对缓和因为飞行距离近缺陷在画面里占比不小真正麻烦的是长条状目标裂缝、焊缝它们纵横比极端标准的水平矩形框会框进大量背景见下一节。3.4 训练验证集划分别让同一段管道跨集这是个隐蔽但杀伤力极大的错误。水下巡检数据是按管道段连续采集的同一段管道上相邻帧的图像高度相似如果你随机划分训练集和验证集很可能训练集里的第 100 帧和验证集里的第 103 帧几乎是同一张图。结果就是验证指标漂亮得不像话实际部署一塌糊涂。正确的划分方式是按采集段划分同一段管道、同一次下潜采集的数据必须整体进同一个集合。如果有多台设备、多个拍摄日、多种浑浊条件还可以做交叉验证式的划分留出一整个拍摄日作为验证集专门检验跨工况泛化。这个原则我后来在别的项目里也一直沿用凡是时序或空间连续采集的数据随机划分基本都是自欺欺人。4. 模型训练与量化指标落地4.1 检测与分割的模型选型别只看精度边缘部署的约束摆在那模型选型的第一原则是能在目标算力上跑到实时第二原则才是精度。我的选型逻辑是检测线用轻量单阶段检测器输入分辨率 640×640在嵌入式平台上 FP16 推理单帧控制在 20ms 以内留足余量给预处理和后处理分割线如果必须上就用轻量分割网络输入降到 512×512且只在关键帧上跑不必每帧都跑。需求选型方向输入尺寸精度参考mAP0.5推理耗时边缘平台 FP16结构件检测轻量单阶段检测器640×6400.80 以上12~18 ms缺陷检测含裂缝轻量单阶段检测器 旋转框640×6400.60~0.7218~25 ms区域分割附着/腐蚀轻量分割网络512×512mIoU 0.65 左右30~45 ms注意精度那一列是我们在自己数据集上的实测区间不作为通用基准。别迷信论文指标水下缺陷的形态跟常规数据集差太远任何模型都得在你自己的数据上重新验证。4.2 裂缝这类长条目标旋转框与骨架化裂缝是典型的细长目标用水平框标注会把两侧大片正常管壁包进来。模型学的时候正样本区域里有一大半是背景回归分支永远在猜框该往哪边偏学出来之后框的宽度还会随裂缝走向剧烈抖动导致宽度测量完全不可用。我的处理分两步标注端用旋转框带角度的四边形或者直接标注中心线折线模型端用带角度回归的检测头或者在分割结果上做后处理。实测下来分割 骨架化这条路径对测量的友好度最高import cv2 import numpy as np def crack_width_measure(mask, mm_per_px): mask: 单通道二值图(0/255)返回裂缝长度(mm)与平均/最大宽度(mm) # 1. 细化为单像素骨架 skeleton cv2.ximgproc.thinning(mask) # 2. 用距离变换估计每个骨架点的法向半宽 dist cv2.distanceTransform(mask, cv2.DIST_L2, 5) ys, xs np.nonzero(skeleton) if len(xs) 0: return 0.0, 0.0, 0.0 half_widths dist[ys, xs] widths_px half_widths * 2.0 # 直径近似为两倍到边缘距离 # 3. 长度沿骨架点累加 pts np.stack([xs, ys], axis1).astype(np.float64) order np.argsort(pts[:, 0] pts[:, 1]) # 简化排序实际项目按连通顺序走 pts pts[order] seg_len np.linalg.norm(np.diff(pts, axis0), axis1).sum() return seg_len * mm_per_px, widths_px.mean() * mm_per_px, widths_px.max() * mm_per_px几点实操说明distanceTransform给的是到最近背景像素的距离对细长目标来说近似就是半宽这个近似在裂缝宽度远小于长度时非常准骨架点的顺序在分叉处会乱真实项目里要按连通分量拆开每条裂缝单独算长度不然长度会被跳线累加虚增最大宽度受噪声影响大建议取宽度分布的分位数比如 95 分位比直接取 max 稳得多亚像素插值值得做在骨架点法向上做灰度抛物线拟合宽度精度能提升一档尤其是裂缝只有三五个像素宽的时候。4.3 像素到毫米水中标定为什么不能照搬陆上结果这是水下视觉最容易被低估的一步。测量任务要求把像素宽度换算成毫米换算关系来自相机内参和成像距离。问题在于加了平面光学窗之后光路在水-玻璃-空气界面发生折射等效焦距改变陆上标定的内参直接拿来用误差可能有百分之十几裂缝宽度全部系统性偏大或偏小。我的做法是水中标定把标定板棋盘格或圆点阵放进水箱里在实际工作距离附近多姿态拍摄用标准标定流程求解。如果条件不允许做完整的水下标定至少要做一次尺度因子标定在水中放已知尺寸的参照物如带刻度的标尺在固定工作距离下拍摄用像素数除以实际毫米数得到当前距离下的像素当量 mm/px。这个值对距离极其敏感必须按实际飞行距离分段标定或者结合测距传感器做动态换算。更细致的补偿方式是建立折射修正模型平面窗情况下物方焦距和像方焦距的关系会引入一个与折射率相关的修正系数水的折射率约 1.333修正后的等效焦距大约变为陆上值的 1.3 倍量级。这个结论可以用一次简单实验验证——同样标定板在空气中和水中成像量同一物理长度的像素数比值就能反推修正系数。别照抄公式自己测一遍最靠谱因为不同罩体厚度、不同窗材都会有偏差。4.4 训练策略与指标口径训练阶段我用的是分阶段策略先在高学习率下预热几轮再余弦退火增强以几何变换为主颜色扰动为辅因为颜色在水下本身就不稳定过度颜色抖动会让模型对偏色更不敏感反而伤害召回。批大小受显存限制时用小批 梯度累积别硬降分辨率分辨率一降小裂缝就没了。指标口径必须提前约定清楚我们自己看的是这三个召回率优先巡检场景漏检的代价远高于误检误检还能靠人工复核漏检就是事故隐患。所以置信度阈值我倾向调低宁可多报每类 AP 单独看尤其是稀有类尺寸分档统计按缺陷在画面中占的像素面积分小、中、大三档分别看召回这能暴露出小目标的问题。5. 边缘部署与实时性调优5.1 从训练框架到推理引擎的转换链路模型训完只是半成品落到嵌入式平台上还有一段路。我的链路是训练框架导出 ONNX → 推理引擎构建优化后的引擎文件 → 用 FP16 精度跑。转换过程中最容易出问题的是前后处理不一致训练时的归一化方式、通道顺序、letterbox 的填充值只要有一处和推理时不同精度就会莫名其妙掉几个点。我的习惯是把前后处理写成独立的、训练和推理共用的模块从代码层面杜绝不一致。# 导出 ONNX固定输入尺寸关闭动态轴以利优化 python export.py --weights best.pt --imgsz 640 640 --batch 1 --simplify # 构建 FP16 推理引擎工作区显存按板端可用量给 trtexec --onnxbest.onnx --saveEnginebest_fp16.engine \ --fp16 --workspace2048 --minShapesimages:1x3x640x640 \ --optShapesimages:1x3x640x640 --maxShapesimages:1x3x640x640几个部署期的经验FP16 通常几乎不掉点但要在自己的验证集上确认一遍个别小目标敏感的网络会掉一两个点那就只对骨干用 FP16检测头保留 FP32INT8 量化要谨慎水下图像整体偏暗、动态范围窄校准集如果选得不好量化误差会明显放大尤其是裂缝这种低对比度目标。如果一定要上校准集必须覆盖各种浑浊等级引擎构建和图像预处理放在同一个进程减少内存拷贝这一项在嵌入式平台上经常能省出几毫秒。5.2 图像处理流水线的节流设计实时性不只取决于模型。我实测过一整套预处理降噪 白平衡 CLAHE 锐化在 CPU 上跑耗时可能比模型推理还长。所以流水线要分级处理项频率说明全尺寸预处理每 N 帧一次N 取 3~5用于存档与人工复核降采样预处理每帧分辨率降到推理输入尺寸再做增强成本降一个量级分割与测量关键帧检测到疑似缺陷时才触发原图回传事件驱动只在异常时压缩回传节省带宽这个设计的关键洞察是不需要每一帧都做完整处理。巡检机器人的运动是连续的相邻帧信息高度冗余把重处理摊到时间维度上实时性和信息量都能兼顾。5.3 通信受限下的策略选择脐带缆带宽有限原始图像回传不现实。我的策略是结果优先、证据其次正常情况下只回传检测结果的结构化数据类别、置信度、位置、尺寸估计同时本地缓存全分辨率图像一旦检测到超过阈值的缺陷才把该帧的原图压缩后回传作为证据。压缩用高质量 JPEG 就够追求无损反而拖垮链路。另外还有个实用技巧在机器人端做一次粗筛。用一个极轻量的模型或简单的图像统计特征比如梯度能量、颜色偏移度判断当前帧是否值得进入完整检测流程能显著降低平均功耗。浑浊度突然上升时画面质量骤降此时强行检测只会产出大量误报不如标记为图像质量不足建议上浮复检。6. 常见问题排查实录下面这张表是我在项目里真实遇到过、并且被反复问到的现象按现象—可能原因—排查手段整理可以直接当速查表用。现象最可能的原因排查与解决模型在验证集上指标很好实船下水全面失效训练验证集随机划分造成数据泄漏验证集与实拍工况差异大改为按采集段、按拍摄日划分补采目标工况数据裂缝几乎全漏检降噪过强抹掉细边缘小目标分支特征不足置信度阈值偏高降低双边滤波 sigmaColor提高输入分辨率下调阈值并接受更多误报画面整体偏绿红通道几乎全黑距离远、红光衰减补光不足缩短工作距离增加补光功率白平衡增益限幅内做校正不强求恢复红色检测框左右抖动、宽度测不准用水平框标注细长目标骨架点排序错误改旋转框或分割骨架化按连通分量拆分再累加长度宽度测量系统性偏大用陆上内参做像素-毫米换算忽略折射做水中标定或用已知标尺实测像素当量按距离分段标定推理耗时不稳偶发卡顿预处理在 CPU 上抢资源内存拷贝频繁引擎初始化未预热预处理降采样统一进程启动时先跑几十帧预热浑浊水体中误报激增悬浮颗粒被误判为腐蚀或附着引入图像质量评估质量不足时降级为需复检扩充浑浊工况样本分割掩码边缘毛刺、面积统计跳变标注一致性差后处理缺少形态学清理复核标注标准加开闭运算面积统计前做连通域过滤再补充三个文档里不会写、但实际很有用的避坑点第一个是补光与拍摄同步。补光如果是常亮功耗和发热都受不了如果是脉冲必须和相机曝光严格同步否则会出现亮度不均的条纹。同步信号最好由相机触发输出控制别用软件延时抖动太大。第二个是镜头污染。水下作业时间一长防水罩外表面会附着细小悬浮物甚至微生物图像局部出现固定的模糊斑块。这个用算法很难解只能靠定期擦拭或加装雨刷类机构。我的建议是在训练数据里专门采集一些带污染的真实图像让模型对这类伪影产生一定的鲁棒性同时在上层逻辑里做污损告警——如果画面固定位置持续异常提示需要维护而不是硬检测。第三个是尺度的位置依赖。前面提过像素当量随距离变化实际飞行时机器人与管壁的距离是波动的。如果测量精度要求高就得结合测距信息做动态换算精度要求不高的话至少在标定时覆盖工作距离范围取中位距离的像素当量并在结果里标注误差范围——诚实地给出±2mm比给出一个看起来很精确但系统性错误的数字要有价值得多。7. 我在这个项目里沉淀下来的几点判断工程训练类项目最容易犯的错是什么都想做一点视觉部分尤其如此。我的排序建议很明确先把成像链路打通补光、标定、预处理再把检测线做扎实结构件加一到两类重点缺陷最后才考虑分割和测量。前两步做扎实项目就已经能讲清楚闭环后两步是加分项做不完也不致命但顺序颠倒就会两头空。另外一个容易被忽略的点是评估口径要和业务目标对齐。巡检任务的本质是降低人工下潜频次、提高缺陷发现率那么模型的核心指标就应该是召回率和每公里误报数而不是 mAP。我在汇报时把指标换成这两个之后讨论立刻从模型还能不能再涨点变成了哪些误报可以接受、哪些必须消灭这才是工程上真正需要回答的问题。最后留个可扩展的方向这套视觉链路其实可以反哺数据采集策略。比如把检测置信度的空间分布记下来找出机器人总是看不清的管段位置反过来指导补光角度和飞行轨迹的调整。这种闭环我在后期试过一小段效果比单纯调模型明显只是当时项目周期已经到尾声没来得及做完整验证——如果后面还有人接着做这条线值得优先试。