RMBench: Memory-Dependent Robotic Manipulation Benchmarkwith Insights into Policy Design

研究背景现有机器人操纵策略如 π0.6、RDT2已经具备较强的精细操作能力但大多面向短时任务并依赖当前观测或固定长度的历史窗口这实际上近似假设任务是马尔可夫任务当前状态已经包含做下一步决策所需的全部信息即当前或最近观测足以决定下一步动作抓红色杯子。核心问题现实中大量机器人任务是memory-dependent / non-Markovian的当前观测不足以完成决策机器人必须利用过去的信息。典型情况包括遮挡之前看到目标在 A 箱子中后来箱子关闭。状态变化机器人之前已经打开抽屉但当前视角无法判断需要记住之前完成的操作。顺序依赖之前观察到红→蓝→绿之后要求按照相反顺序操作。因此机器人需要具备保存、检索和利用历史信息。现有研究不足MemoryVLA、MemER、CronusVLA、SAM2Act 等已经开始加入显式 Memory但目前仍缺少系统评测机器人 Memory 能力的 benchmark对不同 Memory 设计为何有效的机制分析。现有 benchmark 的局限MemoryBench任务较少部分任务难以稳定复现缺少明确的任务设计原则。MIKASA包含较多 memory-related tasks但主要面向 reinforcement learning。LIBERO-Long虽然任务很长但任务相关信息始终可见因此不一定真正需要 Memory。最关键的观点是Long-horizon不等于Memory-dependent​任务执行时间长不代表必须依赖历史信息真正的 Memory-dependent task 是当前观测无法决定正确动作必须利用过去的任务相关信息​比如“把桌上 10 个积木依次放进盒子。”可能需要 500 步是 long-horizon。但如果机器人随时都能看到剩下哪些积木那么它并不是真正 memory-dependent。反过来“看一下哪个盒子里有目标然后盒子全部关闭再去取目标。”可能只需要几十步但是这才是真正的 memory-dependent task。方法部分Task Memory Complexity (TMC)现有基准通常通过特定的策略体系结构来评估memory但缺乏以任务为中心的标准来表征随时间推移必须保留多少与任务相关的信息。为了弥补这一差距作者引入了任务记忆复杂性(TMC)它衡量的是最优决策所需的最少过去信息。Setup.作者将一个操纵任务建模为一个部分可观测的马尔可夫决策过程其潜态为st∈S观察点为∈O动作点为∈A。作者不是假设可以访问完整的历史记录而是考虑一种总结过去观察到的与任务相关的信息的记忆状态。设Mt表示由ht构造的记忆表示M(K)t表示对来自最多k个与任务相关的过去观察的信息进行编码的记忆状态。Definition.假设一个最优机器人原本可以利用全部历史 ht做出正确动作。如果我们只给它 Memory Mt(m)它仍然能够做出同样的最优决策那么这 m 个历史信息就已经足够了。作者寻找最小的m这个最小值就是 Task Memory Complexity​Interpretation.M(0)不需要 MemoryM(1)需要记住一个关键历史 observationM(n)需要多个历史 observationRMBench Benchmark Tasks作者一共设计了9 个任务分成两类5 个 M(1)​4 个 M(n)​Mem-0 PolicyPlanning ModulePlanning Module 的作用是根据任务目标和之前已经完成的子任务决定机器人下一步应该执行什么子任务。作者定义o0任务开始时的初始图像g全局任务指令Mt−1之前已经完成的子任务记忆st当前需要生成的下一子任务可以理解成初始场景任务目标历史记忆→下一子任务si第 i 个已经完成的子任务oi^{end}第 i 个子任务完成时的图像可以理解成M{完成的子任务,该子任务结束时的画面}Memory既保存文字又保存图像si​ 告诉模型“我计划并完成了什么。” 而 oi^{end}告诉模型“完成之后环境实际变成了什么样。”Execution ModulePlanning Module 决定“下一步要做什么”Execution Module 负责把这个子任务真正转换成连续的机械臂动作。它的核心不是再做高层规划而是解决一个更具体的问题当前该怎么动机械臂才能把这个 subtask 做完而作者认为仅看当前画面还不够所以在执行阶段又加入了两种 MemoryAnchor MemorySliding Memory分别负责“记住子任务开始时的重要参照”和“记住最近几步发生了什么”。作者先用一个 VLM 对当前图像和当前子任务进行编码之后作者对 token 做 mean poolingAnchor Memory记住“子任务开始时是什么样”每个 subtask 开始时把第一帧视觉特征保存下来这个 A 就是 Anchor Memory。它在整个 subtask 中都保持不变。Sliding Memory记住“最近几步发生了什么”它不是固定不变而是不断保存最近的视觉特征。每个 timestep 之后。意思是先把当前视觉表示加入 Memory然后只保留最近 K 个。所以 Sliding Memory 相当于它是一段短期动态历史。Memory 使用Cross-Attention和当前图像融合会分别做两次以及直观理解就是用“当前画面”去查询 Anchor 和 Sliding Memory 中哪些历史信息对当前动作有用。最终模型得到两种增强后的视觉表示和最后拼接生成ct即长期参照短期动态当前任务语义​。这个 ct 就是最终提供给 Action Model 的 conditioning。最终使用 DiT 生成 action chunk其中at:tH−1加噪声后的 action sequencext当前机器人 statect前面得到的 memory-conditioned 表示a^t:tH−1去噪得到的一段未来动作。作者固定H30,也就是说一次生成未来 30 步的 action chunk。但不会一定把 30 步全部执行完而是执行其中前 a^t:tΔ−1,1≤Δ≤H,然后再重新获取 observation再继续预测。Subtask 结束后,Execution Module 里的两个 Memory 都会清空然后下一 subtask 开始时再重新建立新的 Anchor 和 Sliding Memory。所以这两种 Memory 都是subtask-level memory而不是跨整个 episode 永久保存。Subtask End ClassifierSubtask End Classifier 判断当前 subtask 是否已经完成并连接 Planning Module 与 Execution Module控制什么时候结束执行并重新规划。Classifier 使用 Execution Module 的 conditioning vector通过一个轻量 MLP 输出0subtask ongoing 1subtask finished为避免单帧噪声造成提前结束作者采用 temporal consistency只有连续 L8 个 timestep 都预测为完成才真正结束。