首页/新闻资讯/正文详情

[高光谱]Any-Diff物理约束的的HSI图像生成

发布时间:2026/11/5 3:55:29 来源:云帆数科 栏目:资讯中心
[高光谱]Any-Diff物理约束的的HSI图像生成
一、概述本文的特点是将物理先验融入扩散模型利用少量已知光谱波段生成具有合理空间结构和光谱物理特征的完整高光谱图像。不同于简单图像修复高光谱图像必须满足空间合理性建筑物、植被、道路等结构应当保持一致。光谱合理性不同波段之间应具有真实的相关关系。观测一致性生成结果应与已知观测数据相符。物理合理性植被指数、辐射特征等不能出现明显不合理的结果。为了实现上面的要求本文提出了Any-Diff模型包含三个组件MCD掩码条件扩散、MSPL多尺度物理损失、PGS物理引导采样。三个模块的分工分别是MCD让模型学会从任意波段子集恢复完整光谱PGS利用物理损失梯度修正扩散去噪轨迹MSPL通过多尺度物理损失训练出更合理的光谱分布。可以理解为MCD 决定模型能接收什么条件MSPL 决定模型学到什么分布PGS 决定生成过程往什么方向走。二、方法2.1MCD掩码条件扩散2.1.1模拟传感器观测本文首先构建了一个光谱响应函数库SRF这些光谱响应函数均来自真实的传感器Sentinel-2、Landsat-8/9、EO-1 Hyperion 等。每次训练时会随机选择一个传感器对整个高光谱图像进行观测变换对于单个辐射波段来说可以描述为。假设目标高光谱图像有103个波段Sentinel-2 某个宽光谱波段观测到的并不是103个波段中的某一个而是多个波长处反射率的加权积分。物理传感器模拟比简单地选择某几个波段更加接近真实跨传感器观测过程。2.1.2随机掩码完成2.1观测模拟后模型进一步采用随机掩码模拟缺失上式中表示稀疏观测数据。表示哪些位置、哪些波段具有有效观测。表示随机丢弃概率0.1~0.72.1.3通过CAM注入扩散U-Net不同于普通条件扩散AnyBand-Diff不仅将条件作为输入而是让条件信息动态改变U-Net中间状态的分布。首先使用轻量化编码器为U-Net不同层生成调制参数再进行特征调制。它本质上是一种条件仿射调制相较于传统拼接主要在输入层引入观测信息CAM 可以在多个特征层持续影响网络使中间特征随输入波段集合变化。在真正的实现中可以将其拆成三个组件Condition Encoder对编码CAM Generator将条件特征映射为各层的Diffusion U-Net在各层 ResNet 后应用调制。2.1.4MCD的训练目标MCD采用的是标准噪声预测框架。关键在于随机掩码作用于条件输入而非直接改变目标图像的前向扩散定义。2.2 PGS 物理引导生成2.2.1可微物理算子可微物理算子用于把生成的高光谱图像转换为具有物理意义的描述。如NDVI植被指数NDWI水体指数RTM Emulator辐射传输模型的可微替代模型。设存在目标物理观测那么构造物理一致性损失。这意味着在每个去噪步骤都要检查当前预测结果是否满足物理条件。假如使用NDVI如果存在可信的 NDVI 参考图那么模型就可以比较当前重建结果与参考图之间的差异。但要注意推理阶段不能默认使用真实完整高光谱图像计算目标 NDVI否则会造成真实目标信息泄漏。对于只给出部分波段的场景需要从已观测数据、独立先验或物理可行域构造目标约束。2.2.2当前扩散状态的物理梯度针对这个问题本文提出了公式。注意梯度并不是对网络参数求导而是对当前扩散状态求导。计算图如下所示在PyTorch实现中意味着推理过程中不需要通过优化器更新 U-Net 权重。物理先验通过梯度影响采样状态而不是通过反向传播反复训练网络。2.2.3DDPM的梯度注入可以描述为公式其中表示物理引导强度是当前物理损失噪声的梯度是噪声水平相关的缩放因子。修正后的即可代替正常预测噪声执行DDPM的反向更新。需要注意的是物理引导强度并非越大越好实验结果表明物理引导强度在超过一定限度会让结果出现劣化。2.3MSPL多尺度物理损失如果说 PGS 是在推理时修正结果那么 MSPL 就是在训练时让网络提前学习合理的光谱物理结构。论文将其分成三个层次像素层区域层图像层描述为数学公式原文中权重参数分别为。2.3.1像素层像素层主要负责光谱相关性约束实际约束的是跨空间像元统计得到的波段相关矩阵。对于输入高光谱图像首相将其变形为。对每两个波段计算Pearsib相关系数构建函数然后与物理先验相关矩阵比较但原文并未给出先验矩阵的来源可能是通过训练数据统计、材质类别统计还是从外部光谱库获得。直观上这要求生成的各个波段之间保持合理的统计依赖关系。2.3.2区域层由于HSI存在同物异谱的特性单纯进行波段约束难以保证生成数据的质量。本文还在局部patch上进行物理计算具体流程为提取局部patch-计算NDVI/NDWI-计算KDEKL散度。对应的损失函数为其中是真实图像patch是生成图像patch是第个物理指数算子KDE是核密度估计。2.3.3图像层图像层的作用主要是负责辐射传输的一致性使用RTM代理模型来对整体辐射特性施加约束。可以描述为公式其目的不是让像素值简单接近而是让生成图像和真实图像在物理代理模型的特征空间中接近。2.4最终损失函数正文分别给出了 MCD 与 MSPL 的损失但没有明确写出完整的联合训练总损失以及所有权重。可以描述为其中需要进行调优。

相关推荐

顶刊论文学习笔记
顶刊论文学习笔记

今日学习的论文:Genome architecture shapes transcriptional responses to topoisomerase depletion in C. elegans中文大意:基因组结构(基因排列方式)塑造了秀丽隐杆线虫对拓扑异构酶耗竭的转录响应。基础知识:基因表达的中心法… · 2026/11/5 3:55:29

会务管理系统后台:多角色权限与数据隔离方案设计
会务管理系统后台:多角色权限与数据隔离方案设计

做会务管理后台时,权限是绕不开的模块。很多新手开发会简单理解权限 按钮显隐:有角色就展示菜单,没有就隐藏。 但会务系统有个典型特征:一套系统里会并行跑多个不同的学术会议、论坛活动。同一个 “签到管理” 菜单,A… · 2026/11/5 3:55:29

ADB 实战教程(AOSP/ROM 开发版)
ADB 实战教程(AOSP/ROM 开发版)

面向 AOSP/ROM 开发者。按使用主线组织:连接 → 操作 App → 观测系统 → 模拟控制 → 性能诊断 → ROM 专属 → 实战速查。0. ADB 架构(30 秒理解) 三件套:PC 端 adb 客户端 → adb server(PC 常驻进程)→… · 2026/11/5 3:54:29

数据湖存储架构与性能优化实战指南
数据湖存储架构与性能优化实战指南

1. 数据湖存储架构深度解析数据湖作为大数据领域的核心基础设施,其存储架构与传统数据仓库有着本质区别。我曾在金融和电商行业主导过多个PB级数据湖建设项目,发现最关键的差异在于数据湖采用"先存储后处理"的范式。这种设计允许我们以原始格式… · 2026/11/5 4:42:54

实时语音转文字工具开发:技术选型与优化实践
实时语音转文字工具开发:技术选型与优化实践

1. 项目概述:语音转文字工具的核心价值在会议室里手忙脚乱记笔记的日子我受够了。去年参加一场产品需求讨论会时,我尝试用手机录音后转文字,结果发现三个致命问题:专业术语识别错误、多人对话分不清说话者、实时性差到需要等待处理… · 2026/11/5 4:42:54

TDengine时序数据库TSMA与RSMA机制解析与应用指南
TDengine时序数据库TSMA与RSMA机制解析与应用指南

1. TSMA与RSMA概念解析在TDengine时序数据库的实际应用中,TSMA(Time Series Merge Append)和RSMA(Rollup Summary Merge Append)是两种核心的数据合并机制。作为TDengine的深度使用者,我经常遇到开发者混淆… · 2026/11/5 4:42:54

scRNA-seq数据分析:高变基因筛选优化scTenifoldKnk计算效率
scRNA-seq数据分析:高变基因筛选优化scTenifoldKnk计算效率

1. 项目背景与核心问题单细胞RNA测序(scRNA-seq)数据分析中,scTenifoldKnk是一种常用的基因调控网络(GRN)构建和差异分析工具。但在处理大规模数据集时,计算资源消耗成为显著瓶颈。一个典型的10x Genomics数… · 2026/11/5 4:42:54

Maestro自动化测试工具:低代码YAML脚本实践指南
Maestro自动化测试工具:低代码YAML脚本实践指南

1. Maestro自动化测试工具概述 Maestro是一款新兴的跨平台自动化测试框架,专为现代应用测试需求设计。作为一名长期从事测试自动化的工程师,我发现它最大的优势在于用YAML这种人类可读的格式来描述测试流程,这比传统基于代码的测试脚本要直观… · 2026/11/5 4:42:54

量子神经混合计算:72维超智能系统架构解析
量子神经混合计算:72维超智能系统架构解析

1. 项目概述:量子-神经混合超智能生态系统的诞生背景在当代科技发展的最前沿,量子计算与神经科学的交叉融合正在催生新一代智能系统架构。7FLOOR Seventy-Two-Pointed Star(72星)超维工程系统正是这一趋势下的代表性产物。这个系统… · 2026/11/5 4:41:54

双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试
双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/4 3:16:49

STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析
STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/4 6:59:29

DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案
DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/4 7:02:38

多智能体协作系统架构设计与实践优化
多智能体协作系统架构设计与实践优化

1. 多智能体协作系统的时代背景2017年Transformer架构的诞生彻底改变了人工智能的发展轨迹。当行业还沉浸在单一大模型带来的性能突破时,Anthropic的研究团队已经将目光投向了更前沿的领域——如何让多个智能体通过协作产生超越单体能力的系统智能。这就像交响乐团中… · 2026/11/5 0:00:39

大模型系统性入门实战指南:从原理到部署微调的全链路路线
大模型系统性入门实战指南:从原理到部署微调的全链路路线

提到大模型的系统性入门,我先说个结论:这事真不难,难的是资料太散、路线太多,今天这个框架明天那个工具,新人很容易在“收藏夹吃灰”和“教程看到一半放弃”之间反复横跳。市面上关于大模型的内容少说有几十万篇&#… · 2026/11/5 0:00:39

鸿蒙文件系统沙箱机制解析与开发实践
鸿蒙文件系统沙箱机制解析与开发实践

1. 鸿蒙文件系统沙箱机制深度解析作为一名从Android转向鸿蒙开发的工程师,我深刻体会到文件系统访问是迁移过程中最先遇到的"拦路虎"。在Android上运行良好的文件读写代码,在鸿蒙真机环境却频频出现文件写入后神秘消失或直接抛出权限拒绝错误的… · 2026/11/5 0:00:39

双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试
双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/4 3:16:49

STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析
STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/4 6:59:29

DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案
DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/4 7:02:38

了解更多?预约专属演示

我们的顾问将为您一对一讲解产品与方案

企业微信二维码