Information Fusion 2027 | SD-CR：先判断结构与退化的“冲突”，再恢复与融合！

结构与退化协同推理Information Fusion 2027SD-CR红外可见光融合在弱光、雾霾、噪声等环境下可见光减弱但是红外目标轮廓仍然有可能比较清楚。是应该首先依靠红外结构来补充细节还是应该先修复可见光的亮度和纹理呢SD-CR通过结构域和退化域之间的显式冲突推理来协调恢复和融合并且从定量实验、消融到下游任务中去理解它是如何有效的。核心信息同一个场景中退化的可见光图像和恢复之后的图像之间的直接比较。01论文档案论文题目Structure–Degradation Co-Reasoning for Infrared–Visible Image Fusion under Asymmetric Degradation面向非对称退化红外—可见光图像融合的结构—退化协同推理作者Xiaosa Wang、Huafeng Li*、Wen Wang*、Yafei Zhang、Yu Liu、Xiangbo Shu作者单位昆明理工大学、云南大学、合肥工业大学、南京理工大学论文链接https://www.sciencedirect.com/science/article/pii/S156625352600744X代码https://github.com/bi8bo121/SD-CR02一句话理解当可见光图像遇到弱光、噪声、雾霾、模糊或者过曝的情况时SD-CR并不会直接使网络“先增强后融合””而会使得红外结构先验和可见光的恢复需求在跨域上进行判断。再确定结构补偿、退化恢复各自应该承担的比例之后最后实施红外-可见光融合。研究动机左边是传统的隐式耦合恢复和融合右边是SD-CR的显式冲突推理。01为什么是“非对称退化”呢在真实的夜晚或者恶劣的环境里两个传感器一般不会同时以同样的方式出现故障。可见光由于光照强度不够、烟雾、曝光过度或者噪音等原因而失去纹理红外仍然可以保留行人、车辆和场景轮廓等比较稳定的热响应和结构信息。02传统的方案中存在两种困难第一种方案把“图像恢复”、“跨模态融合”都分成两个互相独立的阶段。恢复的过程很难充分地利用到红外结构如果前面级的恢复出现了伪影那么后面的融合就会继承这些错误。第二种方法把恢复和融合放在同一个网络里但是结构上应该补多少、退化又该修复多少通常是由隐式的特征混合来完成的很难给每一幅图片都做出明确的判断。03真正的矛盾就是“应该相信谁”红外引导并不是越强越好如果对纹理退化的区域过度注入红外边缘可能会导致结构偏移以及不自然的视觉效果但是仅仅为了恢复可见光亮度和对比度并不能保证稳定的目标轮廓。论文由此得出结论在融合之前要先明确结构补偿和退化恢复的优先级。关键创新SD-CR 完整框架包含双域建模、冲突推理、推理引导恢复和轻量融合头。01创新一两种信息、两个推理域方法是从红外图像中提取出紧凑的结构域Structure DomainSD来表示稳定的轮廓和明显的反应从退化可见光提取退化域Degradation DomainDD来描述恢复亮度、抑制噪声、调整对比度等连续的需求。它并不是简单的对“这张图片是雾图”进行预测而是在于表达出“目前的图片需要怎样的修复”。02创新二用明确的方式表示出竞争的关系SD-CM可以比较出可见光特征分别和结构域、退化域之间的匹配程度从而得到样本级别的通道冲突向量SD-CROCross-Reasoning Operator进一步聚合两个域的信息并用冲突感知门控得到统一恢复决策。03创新三使推理的结果真正地作用于恢复RGR-Net把推理向量映射成两个显式的强度系数分别控制结构补偿分支、退化感知恢复分支。恢复之后的可见光特征和红外浅层特征再次进入轻量融合头从而实现“先判断、再恢复、后融合”的闭环。论文中默认使用K16个结构原子以及K16个退化原子方法拆解01红外结构域由空间响应发展到结构原子红外编码器首先提取出特征然后用深度卷积、逐点卷积以及Sigmoid构造结构来增强响应。K 个可以被学习到的查询通过注意力来聚合整个图结构的信息每一个原子并不对应固定的像素点而是表示一类比较稳定的轮廓、边缘或者区域级别的结构模式。可以学习到查询和红外结构特征的注意力匹配。02退化域不作硬性划分学习连续的需求退化感知网络可以从可见光图像中提取出描述向量然后将其映射到K个退化原子上。不同的原子可以表示出可以组合起来的恢复方向并不需要针对低照度、模糊、噪声等问题在推理阶段进行离散专家分支的切换所以更加注重连续的恢复需求表达。03SD-CM 和 SD-CRO冲突判断怎么算SD-CM 用结构匹配分数和退化匹配分数之间的差值经过Sigmoid函数得到cSD-CRO分别计算结构域置信聚合Rₛ和退化域策略聚合Rᵈ然后由c产生两个门控权重把两种判断融合成一个统一决策R。令 mₛ、mᵈ 分别为两个匹配项然后求差并映射为冲突向量c。冲突感知门控融合结构推理和退化推理。04RGR-Net做决定的同时也要作用到特征上R 用两组可以学习的向量来得到 αₛ 和 αᵈ前者负责从红外结构原子中重建出补偿特征后者则负责由退化原子重建出恢复特征两组特征用残差的方式参与到可见光特征的更新中去。全局的标量强度负责样本级别的选择分支内部的注意力则负责空间的变化。两种恢复强度都为样本级标量。结构补偿、退化恢复以及对原始可见特征的残差修正。05融合头和训练使复原服从于融合的目标恢复之后的特征经过RCAB细化和浅层红外特征进入低维融合头。训练分为三个阶段首先是训练红外结构引导下的可见光恢复再对大部分恢复模块进行冻结并且进行适配和融合最后用的是差异化学习率端到端渐进微调。损失在YCbCr空间中定义了强度、梯度和颜色限制来减少直接在RGB上施加约束所引起的色彩失真。强度、梯度、颜色三者结合形成融合损失。融合损失和恢复损失的阶段性的联合训练目标。具体的训练采用的是320×320的统一尺寸然后裁剪成256×256来进行增强。Stage I 使用 AdamW初始学习率为 5×10⁻⁵训练 150 个 epoch采用退化类型的均衡采样Stage II 使用学习率为10⁻⁴、训练轮数为150次的参数来训练模型在此之前恢复损失系数为0.5Stage III 用不同的学习率做渐进式的联合微调把损失系数恢复到2.0。该训练计划的设计没有使融合目标直接破坏已经形成的恢复能力。恢复预训练、融合适配、渐进式联合微调。实验结果模糊、雾霾、弱光、噪声和过曝五种退化条件下定性的比较。01实验方案五种退化的场景以及三种真实的场景训练用DDL-12作为基础模型只在可见光图像上进行退化处理而红外输入部分则保持不变。训练包括Blur、Haze、Low-light、Noise、Over-exposure五种退化其中每个退化的程度有四个等级。真实的场景评价使用FMB、LLVIP、RoadScene等并且在MSRS和M3FD上检验一般的融合能力。对于融合专用的方法本文使用了“先恢复、后融合”两阶段对照协议。02合成退化低光照、雾天等情况表现得更加明显以低照度为例SD-CR的MUSIQ为44.365、BRISQUE为35.214、SF为13.899MUSIQ 在雾天的时候是44.524而AG则是4.171。五种退化的部分指标整体性能比较均匀。五种合成退化之后完整的量化的结果可以放大图片来查看各个基线。03真实的场景是LLVIP上五项指标都处于领先地位根据LLVIP表2中的数据SD-CR取得MUSIQ54.687、BRISQUE20.667、EN7.418、SF16.346、AG5.562。FMB上BRISQUE、EN、SF、AG最优在RoadScene 上MUSIQ和AG最优。FMB、LLVIP、RoadScene等退化图像融合的效果。真实的场景FMB/LLVIP/RoadScene指标对比。04恢复质量、常规融合质量恢复分支后的PSNR由原来的21.756dB提高到了现在的26.316dBSSIM也由原来的0.725提高到现在的0.871LPIPS 由原来的 0.239 下降到现在的0.166。在常规融合测试中MSRS的MI为4.895M3FD的VIFF为0.806。MSRS、LLVIP和M3FD的通用融合指标。可见光恢复前后PSNR、SSIM和LPIPS的变化情况。05除了看图片之外还要看检测、分割作者使用了统一YOLOv8检测器并且对比了不同的融合图像对于下游目标检测所起到的作用。SD-CR 和 Text-IF 都检测到了7 个行人的信息比其他的对照结果要好。下游目标检测的效果和指标示意。语义分割定量结果SD-CR的mIoU是66.68。消融与机制在雾天场景中移除各个组件之后融合的结果进行比较。01把双域、冲突、推理和恢复分开进行验证论文把结构域SD、退化域DD、冲突向量SD-CM、交叉推理算子SD-CRO、恢复强度映射RSM、结构补偿SCB和退化感知恢复DRB等一一去除。以Haze为例完整的模型MUSIQ是44.524去掉SD-CRO之后降到41.574去掉SCB之后降到41.337去掉DRB之后降到40.928。对比可以看出提高并不是依靠一个普通的增强模块来实现的。根据论文Table 5原表中“变体Haze”的那一列02比较的是冲突并不是随便拼接作者也替换了SD-CM的具体设计方案。Table 6中完整的SD-CR在该组比较中得到MUSIQ42.714、BRISQUE32.089经过匹配强度比较之后MUSIQ 降低到 39.823、BRISQUE 升高到 35.048。直接相加、拼接或者标准注意力都没有达到所列出的各项指标之上。冲突比较和Add/Concat/Standard Attention等设计做对比。03“机制在起作用”的证据是观察到α的分布Fig.13 将αₛ、αᵈ在不同的退化类型上进行统计分布的可视化。不同退化条件下的结构补偿系数αₛ、退化恢复系数αᵈ 的箱线图。04效率和可靠性之间的界限除了组件消融之外该文还对结构原子数和损失权重的关系进行了测试。在噪声场景下K8、12、16、24、32 的对照显示在MUSIQ、BRISQUE、EN、SF、AG五个指标中K16取得该组最好的成绩。K 的取值会影响到噪声场景融合的质量。论文Table 7报告了16.96M参数、1287.43GFLOPS和0.047秒单张图片推理的时间它的比较方式里时间最短。参数量、计算量和推理时间之间的对比。总结与展望01本文的主要价值体现在哪里呢SD-CR的价值并不是创造出了“图像恢复图像融合”的任务组合而是在于把跨模态结构约束和退化恢复需求之间取舍从隐式特征混合提升为显式可解释的推理环节。并且通过两个可控制的分支落到了实际恢复特征上面。双域建模、冲突门控、分支强度映射以及相应的消融都属于其双域建模、冲突门控、分支强度映射和相应消融的内容。02给以后的研究以启示由原来的“给网络增加更多的模块”转为现在的“明确建模信息可靠性的任务需求”这是一条可以进行研究的道路。将来还可以继续发问冲突向量是否能够更精确地定位到具体的地理位置上呢如果红外也出现了失真的情况的话那么结构域是否仍然可靠呢跨任务融合能否共享同一个推理框架往期推荐