上海交大邹丹平团队：DiffDreamer 融合世界模型与可微仿真，四旋翼敏捷控制新思路

「动态门穿越 高速目标跟踪」目录01 先看难点一条 rollout 塞两种动力学两边都不讨好02 DiffDreamer 怎么做双通道同步 rollout2.1 隐式 显式双状态共享一个动作序列2.2 奖励拆两条通路各自优化2.3 位置既给模型基RL减负又给可微RL补盲03 实验跟踪更紧、过门更多、还上了真机3.1 训练收敛与最终性能3.2 跟踪与过门的定量成绩3.3 消融两条通路缺一不可3.4 真机概念验证04 总结动态门穿越、高速目标跟踪这类四旋翼任务既要在高频下做精确控制又得预判外部世界怎么动。世界模型RL擅长学外部动态可微RL擅长算自身物理但两条路各有硬伤。上海交大邹丹平团队提出的DiffDreamer把两者拆开再焊起来学习的世界模型只负责想象外部动态可微仿真负责精确传播机器人的物理状态。在激进跟踪和动态门穿越两个基准上收敛速度和最终性能全面超过DreamerV3、PPO、BPTT以及Elastic Tracker、MPC等方法跟踪距离误差降到0.381m最强基线0.793m并完成真机概念验证已被RAL 2026接收。01 先看难点一条 rollout 塞两种动力学两边都不讨好纯世界模型 RLDreamerV3用学到的高频刚体动力学去 roll out既要捕捉外部演化又要精确算自己的机身运动模型偏差在高精度控制下尤其致命而且像过门成功这种奖励是离散、不可微的学起来稀疏。纯可微 RLBPTT直接在可微仿真里反传奖励梯度梯度干净、样本高效但假设动力学和奖励都可微且显式——移动目标没给未来轨迹、外部动态部分可观测这套就不成立。两条路线各自的短板正好是对方的强项世界模型擅长学看不全的外部动态可微仿真擅长算自己怎么飞。DiffDreamer 的思路就是——不要二选一让它们各管一摊。图 | 外部运动预测与内部控制的耦合。左接住飞来的球需要既想象球的轨迹、又规划身体运动。右DiffDreamer 把潜在世界模型特征与显式物理状态结合用于策略优化——用学习的世界模型想象未来外部运动用可微仿真传播机器人的物理状态02 DiffDreamer 怎么做双通道同步 rollout2.1 隐式 显式双状态共享一个动作序列策略的输入是联合状态隐式潜状态RSSM 编码的历史依赖外部动态 目标/门运动模式和显式物理状态位置、速度、姿态、角速度拼接而成。每一步同一个策略采样出的动作同时喂给世界模型更新潜状态和可微仿真更新物理状态两条 rollout 严格同步。这里有个细节潜状态输入带 stop-gradient切断反传不让梯度回流污染潜状态但显式物理输入保持可微让运动奖励的梯度能顺着物理 rollout 流回策略。2.2 奖励拆两条通路各自优化不再让一个 critic 去近似整个回报。DiffDreamer 把奖励拆成可微运动奖励如朝门靠近加分、远离扣分、控流控角速度直接通过可微仿真反传解析梯度优化不需要 critic不可微任务奖励如成功过门给大分仍由 critic 估值走标准的价值函数通路。一句话连续的运动细节交给物理梯度精修离散的任务里程碑交给 critic 兜底。2.3 位置既给模型基RL减负又给可微RL补盲对模型基 RL 而言把刚体动力学从潜想象里剥出来大大减轻了世界模型的学习负担对可微 RL 而言用学到的潜状态补上物理 rollout把一阶梯度优化扩展到部分可观测 不可微任务事件的场景。两条路互相补这正是它的差异化价值。03 实验跟踪更紧、过门更多、还上了真机3.1 训练收敛与最终性能图 | 训练奖励曲线。激进跟踪上与动态门穿越下。在 VisFly 高保真可微仿真里对比 DreamerV3、PPO、BPTT过时间的可微反传DiffDreamer 收敛更快、最终奖励更高动态门穿越增益更大。3.2 跟踪与过门的定量成绩表 | 激进跟踪误差。|e_h|、|e_v| 为目标投影到图像中心的归一化水平、垂直距离无量纲|e_d| 为距离误差米。数值为随机轨迹与时步上的均值±标准差越低越好加粗为最优跟踪上 DiffDreamer 在三个指标全部最低距离误差 0.381m对比 Elastic Tracker 0.793m、BPTT 0.835m、DreamerV3 1.003m。热图显示其目标空间分布更集中尤其在 XZ 平面说明对目标突然的垂直机动更稳。表 | 动态门穿越性能。条目为 512 个仿真步内穿过的门数均值±标准差v 为门最大平移速度m/s。越高越好加粗为最优门穿越按三种门速1.0/1.5/2.0 m/s测DiffDreamer 过门数 16/12/8MPC 为 12/4/1速度越快领先越大鲁棒性突出。DreamerV3 和 BPTT 表现偏弱——前者败在学到物理转换稀疏过门奖励的双重难度后者缺未来运动预测、门一快就崩。指标边界说明跟踪误差是均值±标准差且基于运动捕捉给的外部状态反馈门穿越数是在 512 步内的累计衡量的是能过几个门而非最优时间。两者都依赖标定过的可微仿真和外部真值不能等同于有噪声感知下的开放场景表现。这也解释了为什么论文真机部分只称概念验证。图 | 实验结果。(A) 激进跟踪中目标在 2 秒时域上的预测轨迹散点为想象的轨迹样本(B) 目标在四旋翼体坐标系中的空间分布热图颜色越深密度越高蓝色射线包络为相机实际 FOV(C) 动态门穿越中后两个门在 2 秒时域上的预测轨迹(D) 动态门穿越中平均成功穿过的门数3.3 消融两条通路缺一不可图 | 消融实验。左/中里程计与表示消融——绝对/相对世界模型的重构误差密度与目标在 XY/XZ 平面的分布与 Elastic Tracker 对比蓝色射线为相机 FOV。右奖励消融——512 步内穿过的门数 vs 最大门速用完整奖励、去掉离散过门奖励或可微运动奖励奖励分解去掉离散过门奖励过门数从 16/12/8 掉到 2/2/0去掉可微运动奖励掉到 7/4/2。两条通路各自都不可省且价值不同——离散奖励决定有没有过门可微奖励决定飞得精不精准。里程计相对表示把目标绝对位置给世界模型重建去掉里程计会拉宽重构误差分布、让跟踪分布更散证明里程计 相对状态的表示更稳。3.4 真机概念验证图 | DiffDreamer 真机实验——激进跟踪与动态门穿越。左飞行轨迹与连续帧截图显示紧致的目标跟踪。右动态门穿越四旋翼预判移动门的未来位置在 3.5 寸桨自研四旋翼、机载 Jetson Orin NX Betaflight 飞控上策略以超 100Hz 跑在板载输出集总推力机体角速度CTBR指令。通过系统辨识把物理参数标定进可微仿真来压 sim2real 差距配合运动捕捉外部状态反馈完成了两类任务的真机飞行——论文明确只把它定义为概念验证。04 总结DiffDreamer 的启发意义在于一个常被忽略的视角世界模型不一定要什么都学。 在外部动态看不全、自身动力学又得精算的任务里硬让一个模型同时扛两件事只会两头不讨好。它把动力学按来源拆开——学得到的外部演化交给潜想象算得准的自身刚体交给可微物理——再用共享动作序列同步配上可微奖励走物理梯度、不可微奖励走 critic的奖励拆解一举解决了两条既有路线的核心短板。当然对运动捕捉的依赖、板载感知的空白、以及四旋翼单平台的局限决定了它现阶段更像一个在受控环境下证明了思路成立的方案距离真正可靠的户外敏捷飞行还有感知与鲁棒性这块硬骨头要啃。Ref论文标题DiffDreamer: Coupling World Models with Differentiable Simulation for Agile Quadrotor Control论文链接https://arxiv.org/pdf/2610.31617论文来源RAL2026