暗通道先验图像去雾算法详解：从物理模型到Python实现

做图像算法这几年我接过不少“雾天画面变清晰”的需求。最开始大家的思路无非是拉对比度、做直方图均衡结果看着是亮了远处建筑该糊还是糊颜色也发灰。直到我读到何恺明那篇拿到CVPR 2009最佳论文的暗通道图像去雾算法才真正转过弯来去雾不是图像增强问题而是一个物理模型的反演问题。这篇文章我会把暗通道先验为什么成立、透射率怎么估计、大气光怎么取、soft matting和导向滤波分别解决什么以及我在实际复现中踩过的坑一次性说清楚。适合刚接触图像复原的学生也适合准备把去雾做进项目的工程师。1. 雾天图像为什么需要专门算法暗通道先验诞生的背景1.1 有雾图像背后的物理模型从大气散射说起雾天拍照相机接收到的光其实来自两个部分。一部分是目标物体反射的光穿过大气衰减之后到达传感器这部分光携带了场景本身的纹理信息另一部分是太阳光、天空光被雾气中的微小粒子散射后直接进入相机的光这部分光没有场景信息只会叠加在画面上形成一层白蒙蒙的罩子。这个现象在大气散射模型里写得很清楚I(x) J(x) * t(x) A * (1 - t(x))其中 I(x) 是你拿到的带雾图像J(x) 是我们想要恢复的清晰图像A 是全局大气光可以粗略理解成天空区域或雾最浓处的亮度t(x) 是透射率表示场景反射光经过衰减后还能到达相机的比例。t(x) 和场景深度 d(x) 直接相关t(x) e^(-β * d(x))β 是大气散射系数在均匀大气中近似常数。所以透射率越小说明雾越浓、景深越深透射率越接近 1说明场景离相机越近且几乎没有雾。如果把这个模型看成一个方程未知量有 J、A、t 三个而观测只有 I 一个单张图像去雾是一个典型的欠定问题。所谓去雾本质上就是从 I 里反推出 J。没有额外假设这个方程根本解不开。1.2 当时的去雾方法为什么不够用在暗通道先验出来之前主流去雾方法大概分成几条路。一条是多图像方法比如在多个偏振方向下拍几张或者在不同天气条件下拍同一场景利用额外信息反演模型。这类方法效果不错但条件太苛刻实际场景很难满足。另一条路是单图像方法但大多依赖比较强的用户交互比如让用户标出天空区域、手动估计大气光或者假设场景中某些表面的颜色分布满足特定规律。这些方法给实际工程带来的麻烦是显而易见的第一不够自动化手动环节太多第二很多假设在小范围样本上成立换到真实场景就崩。安防监控、自动驾驶、航拍遥感这些场景里系统必须自己判断雾的浓度不可能等操作员去框选天空。所以当何恺明提出“暗通道先验”时整个 CV 圈子会这么兴奋核心原因是它把单张图像去雾变成了一个几乎全自动的问题。你只需要一张输入图不需要深度图、不需要偏振信息、不需要用户交互就能估计出透射率和大气光然后把雾去掉。这个“简单”本身就是极大的工程价值。2. 暗通道先验的核心洞察一条统计规律如何撑起一篇最佳论文2.1 什么是暗通道定义和来源何恺明论文里的暗通道定义很直白。对任意一幅无雾图像 J取图像中某个以 x 为中心的局部块 Ω(x)然后在这个块内对 RGB 三个通道分别取最小值再把三个通道的最小值再取一个最小值得到的就是 x 点的暗通道值J_dark(x) min( min( J_R(y) ), min( J_G(y) ), min( J_B(y) ) ), y∈Ω(x)换句话说把彩色图转换成一个“每个像素取邻域内最暗通道”的图。正常无雾的自然图像暗通道绝大多数像素亮度都非常低趋近于零。这个结论来自对大量户外无雾图像的统计。论文里统计了 5000 多张无雾图像在 15x15 的局部窗口下大约 75% 的像素暗通道值为 090% 以上的像素暗通道值低于一个很小的阈值在 0-255 亮度区间里大概在 25 以下。为什么自然图像普遍满足这个规律我拆开来看主要是三个来源场景里的阴影比如建筑物背光面、树荫、墙角这些区域本身亮度很低某一个通道必然很小彩色物体的单一通道鲜艳的红色物体在蓝、绿通道上反射率很低绿色物体在红、蓝通道上很低所以至少有一个通道接近 0暗色物体本身黑色石头、深色地面、深色树干整块都很暗。换句话说一个局部块里“总有一个通道、总有一些像素很暗”这是户外自然图像的强统计规律。暗通道先验的赌注就压在这条规律上。2.2 有雾图像的暗通道为什么“失效”了有雾图像和清晰图像最大的区别在于雾带来的大气光会同时影响三个通道。光线在雾里穿行时散射会往每个通道里都均匀叠加一层亮光相当于给原本很暗的像素“补了光”。所以有雾图像的暗通道不再趋近于 0而是随着雾的浓度变亮。你可以把这个过程想象成在黑纸上盖一层白纱布。纸本身是黑的但透过纱布看过去纸的暗部被纱布的白雾抬亮了。雾越厚暗部被抬得越亮。这个现象给了算法一个极其重要的信号暗通道值的大小可以直接当作该区域雾浓度的度量。雾越浓暗通道越亮几乎没雾的区域暗通道接近 0。这个定性认识是后面所有公式推导的基础。2.3 从先验到透射率估计公式的推导现在把大气散射模型和暗通道先验结合起来。把模型两边同时除以大气光 A 的每个通道I_c(x) / A_c t(x) * J_c(x) / A_c 1 - t(x)注意这里假设在局部块 Ω(x) 内透射率近似恒定记为 t~(x)。然后对两边在局部块内取最小值并对 R、G、B 三个通道也取最小值min min ( I_c(y) / A_c ) t~(x) * min min ( J_c(y) / A_c ) 1 - t~(x)由于无雾图像的暗通道趋近于 0所以右侧第一项中 min min (J_c / A_c) ≈ 0可以直接扔掉。整理一下t~(x) 1 - min min ( I_c(y) / A_c )这就是原始公式。实际使用中如果完全按照这个公式恢复远处的物体会被强行去雾去得很干净反而显得不自然而且会放大噪声。何恺明在论文里加了一个常数 ω一般取 0.95t~(x) 1 - ω * min min ( I_c(y) / A_c )ω 控制去雾强度。取 1 就是完全去除取 0 就是完全不去雾。0.95 这个值的意思是为远处场景保留一点点薄雾让画面看起来更真实也避免数值计算时分母太接近 0。这里有一个非常关键的观察整个推导只用了“暗通道趋近于 0”这一个假设不需要知道场景深度不需要训练数据。这就是这篇论文最漂亮的地方——用一条统计规律直接打开了一个看似无解的问题。3. 透射率估计的两处关键工程细节大气光与soft matting3.1 大气光 A 的估计方法透射率公式里的大气光 A 不是随便取的。很多早期方法直接取图像中最亮的像素当大气光这个做法其实很危险。如果画面里有一辆白色汽车、一扇白色墙、或者一块反光金属这些像素可能比雾层还要亮直接用它们当大气光恢复出来颜色会偏得很离谱。何恺明的方法是先从暗通道图里挑出最亮的前 0.1% 像素。前 0.1% 这个概念我解释一下比如一张 1200x800 的图像总共 96 万像素前 0.1% 就是取 960 个点。这些点在暗通道图上亮度最高说明它们是最不满足“暗通道先验”的位置也就是雾最浓或者接近天空的位置。然后再到原始彩色图像的这些位置上找出 RGB 三个通道各自的最大值作为大气光 A 的估计。这个做法聪明在哪里它先把搜索范围限制在“最可能是雾”的区域再用原图像素亮度确定大气光强度避免被场景里本身就很亮的白色物体误导。不过它也不是万能的后面我会专门讲天空区域的情况。3.2 soft matting 优化把透射率从“块状”恢复成“细腻”从公式直接求出来的透射率图有个明显问题由于我们对局部块取了最小值得到的透射率在块内是同一个值导致整张透射率图看起来像打了马赛克块状感很强。如果直接用这种透射率去恢复图像在物体边缘和深度突变处会出现一圈亮边这就是经典的 halo 效应。为了消除这种块状感何恺明把透射率估计问题转成了一个优化问题。他借鉴了图像抠图matting领域里的 matting Laplacian 矩阵假设最终的透射率在局部块内和彩色图像满足一个线性关系然后通过求解一个大型稀疏线性系统(L λU) * t λ * t~其中 t~ 是刚才公式估计出来的块状透射率t 是优化后的精细透射率L 是 matting Laplacian 矩阵λ 是正则系数U 是单位矩阵。这个方程的本质是最终透射率既要保留粗估计里“雾多还是雾少”的整体趋势又要和图像本身的颜色边缘保持对齐。我在复现时用 Python 里的 scipy.sparse 库构造这个方程矩阵规模基本等于图像像素数。对一张 600x800 的图来说求解这个稀疏线性系统可能需要几分钟内存占用也很夸张。论文里提到的 λ 取一个很小的值我复现时用 1e-4 能跑通目的就是让粗估计 t~ 不要被过度平滑。真正到了工程落地阶段soft matting 几乎没人直接用后面我会讲更快的替代方案。3.3 透射率下限防止天空区域数值爆炸公式本身还有一个隐患。在天空、强雾区域透射率估计值会非常小甚至接近 0。恢复图像时要除以透射率J(x) (I(x) - A) / t(x) A如果 t 特别小除出来的结果会非常大画面直接白掉或者出现严重噪点。所以实际实现时都会给透射率设置一个下限 t0通常取 0.1J(x) (I(x) - A) / max(t(x), t0) A这个操作等价于告诉算法所有区域的透射率最低就是 0.1不允许完全不通透。加上这个下限之后远处区域会保留一层极淡的雾感但整体已经达到了视觉上“去雾”的效果。4. 暗通道去雾的完整复现PythonOpenCV手写版4.1 项目结构和环境准备先说环境。我复现时用的是 Python 3.9 OpenCV 4.x NumPy没有依赖任何深度学习框架。整个项目只需要三个函数暗通道计算、大气光估计、透射率估计最后再加一个导向滤波和一个恢复步骤。numpy1.21 opencv-python4.54.2 暗通道与透射率计算的代码实现暗通道的计算其实就是一个最小值滤波。OpenCV 的腐蚀操作erode可以当成最小值滤波用非常快import cv2 import numpy as np def dark_channel(img, patch_size15): b, g, r cv2.split(img.astype(np.float64)) min_channel cv2.min(cv2.min(r, g), b) kernel cv2.getStructuringElement(cv2.MORPH_RECT, (patch_size, patch_size)) dark cv2.erode(min_channel, kernel) return dark这里有两点要注意。第一输入图像我统一转成 float64 再算避免 uint8 溢出问题。第二patch_size 选 15 是论文里的常用值但如果图像分辨率很大可以适当增大到 25 甚至 35暗通道的统计稳定性会更好代价是边缘细节损失更多。大气光估计用了我前面说的前 0.1% 方法def estimate_atmosphere(img, dark, top_percent0.001): h, w dark.shape n max(1, int(h * w * top_percent)) flat_dark dark.ravel() flat_img img.reshape(-1, 3) indices np.argpartition(flat_dark, -n)[-n:] A np.max(flat_img[indices], axis0) return Anp.argpartition 是 O(n) 复杂度的部分排序比 full sort 快很多在大图上能明显节省时间。透射率估计直接用公式def estimate_transmission(img, A, omega0.95, patch_size15): norm_img img.astype(np.float64) / A dark_norm dark_channel(norm_img, patch_size) t 1 - omega * dark_norm return t到这里得到的 t 还是块状的。如果直接用边缘会有一圈亮边。所以需要一个边缘保持的细化操作。4.3 用导向滤波替代soft matting何恺明后来专门写了一篇导向滤波论文就是为了替代 soft matting。导向滤波的核心假设是输出图像在局部块内和引导图像通常用原图的灰度图呈线性关系且保持边缘。它的复杂度是 O(N)一张 600x800 的图像在普通台式机上几十毫秒就能跑完。我自己实现的导向滤波简洁版如下def guided_filter(guide, src, radius40, eps1e-3): guide guide.astype(np.float64) / 255.0 src src.astype(np.float64) / 255.0 mean_g cv2.boxFilter(guide, -1, (radius, radius)) mean_s cv2.boxFilter(src, -1, (radius, radius)) mean_gg cv2.boxFilter(guide * guide, -1, (radius, radius)) mean_gs cv2.boxFilter(guide * src, -1, (radius, radius)) var_g mean_gg - mean_g * mean_g cov_gs mean_gs - mean_g * mean_s a cov_gs / (var_g eps) b mean_s - a * mean_g mean_a cv2.boxFilter(a, -1, (radius, radius)) mean_b cv2.boxFilter(b, -1, (radius, radius)) q mean_a * guide mean_b return np.clip(q * 255.0, 0, 255).astype(np.float64)使用的时候要注意引导图是原图的灰度版源图是我们刚刚算出来的透射率图。radius 我在多数场景取 40eps 取 1e-3如果发现透射率过度平滑就把 eps 调小到 1e-6 甚至 1e-8边缘保留得更锐利。最后是图像恢复def recover(img, t, A, t00.1): t np.clip(t, t0, 1.0) t t[:, :, None] recovered (img.astype(np.float64) - A) / t A return np.clip(recovered, 0, 255).astype(np.uint8)主流程串起来image cv2.imread(hazy.jpg) dark dark_channel(image) A estimate_atmosphere(image, dark) t estimate_transmission(image, A) gray cv2.cvtColor(image, cv2.COLOR_BGR2GRAY) t_fine guided_filter(gray, t) result recover(image, t_fine, A)这十几行代码就已经能得到肉眼可接受的去雾效果了。对比 soft matting输出质量和视觉平滑度其实差距不大但运行时间从“分钟级”降到了“秒级”。4.4 结果评价的几条主观标准去雾效果不像分类问题有精确的准确率指标业界通常用 PSNR、SSIM 做定量比较但那需要在有真实清晰图的合成雾图数据上评价。真实雾图没有 ground truth我一般看这几条远处建筑或山体的轮廓是不是清晰了边缘有没有白色光晕天空区域是不是平滑有没有出现明显的噪点或色斑整体颜色是不是自然有没有偏蓝、偏灰、偏红近景和远景的层次感是不是拉开了而不是整张图被暴力提亮。按我自己的经验暗通道算法的参数patch_size、omega、t0、guided filter radius对结果的影响顺序通常是 radius 最大omega 其次patch_size 再次t0 最小。所以调参时先动 radius再动 omega效率最高。5. 实战中绕不开的坑亮区、光晕、速度与偏色5.1 天空和高亮区域为什么会崩暗通道先验只是一个统计规律不是物理定律。它对“局部块里至少有一个通道很暗”的自然场景成立但天空区域恰恰违背这个假设。天空在 RGB 三个通道上的值都很高暗通道不会趋近于 0于是被算法误判成“雾很浓”。误判的直接后果是天空区域的透射率被估得过低恢复时除以一个很小的 t天空经过处理后不仅没有变蓝反而出现明显的偏色、色斑甚至灰黑块。这个问题我在项目里遇到太多次了。有几个务实的缓解思路把 omega 从 0.95 降到 0.8 左右让整体去雾强度弱一点天空区域不容易被推到极限对透射率设置更高的下限比如 t0 取 0.2减少天空区域的除数过小问题在天空区域做分割单独给这些区域用更大的透射率下限或者对天空保留更多薄雾后处理阶段对天空区域做特别降噪因为这种区域在增强后最容易放大噪声。如果雾图的天空占比很大比如晴天逆光航拍图暗通道算法的退化会非常明显。这时候我更倾向先用亮度阈值或语义分割把天空标出来再决定哪些区域采用暗通道推理、哪些区域保守一点。5.2 光晕效应的真正来源和缓解手段我刚开始复现时最容易碰到的问题就是光晕。物体边缘尤其是树和建筑交界处会出现一条亮白色的边。产生的原因很直接透射率在做窗口最小值时会把边缘以外低雾区域的透射率“污染”给边缘以内的高雾区域导致透射率在边缘附近出现突变而恢复方程对这个突变特别敏感。soft matting 能从数学上约束透射率的局部线性性所以论文里能压住光晕。导向滤波同样能压住但如果引导图的边缘不够清楚或者 radius 选得太大光晕还是会出现。我积累下来的经验是如果是合成测试图用 radius20、eps1e-6 这种偏保守参数能保证边缘锐利如果是真实雾图噪声较明显radius60、eps1e-3 更稳。不要指望一套参数通吃所有图至少准备“强雾”“薄雾”“低噪大图”三套参数。5.3 实时性优化思路纯 Python 实现的暗通道去雾在普通 CPU 上处理一张 1080p 图像大概要 200-400 毫秒主要耗时在 boxFilter 和暗通道的多次腐蚀上。做实时视频去雾的话这个速度还不够。我常用的优化手段有三个。第一降采样处理把图像缩到 1/2 甚至 1/4在低分辨率下计算透射率和大气光然后上采样回原分辨率。透射率是低频量降采样几乎不损失精度但耗时能降到原来的 1/10。第二用积分图实现boxFilter 本质上就是滑窗求和用 sum-area table 可以把任意尺寸窗口的均值降到 O(1)无论窗口多大耗时都差不多。第三在 GPU 上实现最小值滤波和 boxFilter用 CUDA 或 OpenCL 可以轻松达到实时。不过降采样会导致透射率边缘变得模糊。我通常的做法是透射率上采样之后再对原图做一次小半径的导向滤波来恢复边缘。这样速度和画质都能兼顾。5.4 薄雾场景下的过增强和噪声问题另一个容易被忽略的问题是暗通道算法在雾很淡的场景里会过度去雾。本来远处就只有一点薄雾算法却当成浓雾处理结果整张图对比度被拉得很高暗部噪声全部被放大看起来非常“脏”。判断标准其实很简单用暗通道图的均值衡量整体雾浓度。均值很高说明雾浓omega 可以设 0.95均值不高说明本身就要清爽omega 设 0.7-0.8 就够了。我建议把 omega 变成一个随雾浓度自动调整的值比如omega 0.7 0.25 * np.clip(np.mean(dark) / 128.0, 0, 1)这样比固定值稳健得多。另外恢复结果通常偏暗因为减法项 (I - A) 在暗部会变成负数。我一般会加一个全局 gamma 校正或者自动对比度拉伸让画面亮度回到正常范围。但这些后处理同样会放大噪声所以要先对图像做一个适度去噪再调亮。6. 从CVPR09最佳论文到后续十年一篇论文如何影响一个方向6.1 CVPR最佳论文的分量到底有多重CVPR 是计算机视觉领域公认的顶级会议每年收到的投稿数以千计能录用的只有几百篇。最佳论文在全部录用论文里再选出极少的一两篇评审标准不只是“方法有效”更看重问题重要性、创新性、结果震撼程度和对领域的带动作用。何恺明这篇暗通道去雾论文拿到 2009 年 CVPR 最佳论文后续引用量达到数万次几乎成了单图像去雾方向绕不开的起点。它对领域的带动是非常直接的后来几年里大量去雾论文都拿它当基线再往后基于深度学习的去雾方法也普遍把暗通道先验当作网络结构的先验知识之一。这件事给我的启发是一篇论文能不能拿奖很多时候不取决于用了多少复杂的数学工具而在于是否找到了一个足够强、足够简单的先验规律。6.2 关于CVPR论文篇幅的讨论有朋友问过“CVPR 论文一般写多少字数”这里也说一下自己的投稿经验。现在的 CVPR 正稿一般要求正文 8 页双栏排版参考文献不计入页数。以 Word 或 LaTeX 的页数估算8 页双栏正文大概在 5000-7000 个英文单词之间换算成中文字数大约是 8000-11000 字但实际投稿时大家会尽量控制篇幅因为评审不会因为你写得多就多给分。何恺明那篇 CVPR09 论文也是 8 页但正文结构非常精简一段引入一段相关背景一段暗通道先验定义一段透射率估计一段 soft matting 优化几组结果图和实验对比就结束了。你几乎看不到任何多余的修饰性文字。这也是一个很值得学习的地方——论文的内容密度比单纯字数重要得多。6.3 从暗通道到更广阔的研究路线暗通道先验之后去雾方向逐渐分化成两条路线。一条是在传统先验框架里继续做改进比如用颜色衰减先验、非局部先验、亮通道先验或者在透射率细化上做文章。另一条是深度学习路线出现了 DehazeNet、AOD-Net、FFA-Net 等一系列方法把大气散射模型嵌入卷积神经网络让网络直接学习从带雾图到清晰图或透射率的映射。从工程角度讲传统方法有一个深度学习暂时无法替代的优点可解释性强调试直观。雾浓度、透射率、大气光这些中间量都可以可视化出了问题知道该调哪个参数。深度学习方法的优点是精度高、泛化能力强但模型在真实雾图上翻车时排查问题要难得多。我自己在做实际项目时通常会把这两种思路结合先用暗通道先验或它的变体做快速分析估算雾浓度和大气光范围再用轻量级深度学习模型做精细恢复。这样做的好处是既有物理可解释性又有深度学习的表达力。回头再看这篇十多年前的论文真正值得学习的确实不是某个公式本身而是那种用一条统计规律去撬动一个经典问题的思路。后来我每接手一个新的图像复原问题都会先问一句这个问题的背后有没有类似的、隐藏在数据里的“暗通道”这是我读 CVPR09 以来收获最大的习惯。