RoboRSI详解：机器人自进化为什么需要任务结构和技能边界

写在前面【从零走向AGI】旨在深入了解通用人工智能AGI的发展路径从最基础的概念起逐步构建完整的知识体系。项目地址https://github.com/AI-mzq/From-Zero-to-AGI.git魔方AI空间猫先生从零走向AGI面试面经AIGC算法岗/开发岗面试面经交流社群涵盖AI Agent、AIGC图像创作、AI视频、LLM大模型、AI多模态、数字人、传统深度学习、具身智能等AIGC面试干货资源欢迎大家加入https://t.zsxq.com/YtJ09RoboRSI详解机器人自进化为什么需要任务结构和技能边界导读RoboRSI 是一个机器人自我改进系统面向复杂真实环境中的持续能力积累。它处理 code-as-policy 的典型问题执行反馈可以把程序修好一次但经验未必能变成后续任务可复用的能力局部修补容易偏离目标失败原因也可能被误归因到表面位置而不是产生问题的技能分支。论文提出 Top-Down Skill RefinementTSR。系统把任务组织为 task family、atomic task、compound skill 和 atomic/base skill 的层次每个节点有明确接口、职责和执行记录。失败后Reviewer 沿执行路径检查 postcondition找到最早失败节点并把修改限制在该节点拥有的子层级内通过验证的更新进入下一轮稳定分支固化为 compound skill。在 Manager、Planner、Engineer、Reviewer 的协作下RoboRSI 在一台 WheelSingleArm M1 移动操作机器人上完成 104 轮家庭地面清理开发。仿真中它在 LIBERO、LIBERO-PRO、LIBERO-Plus 和 RoboTwin 上均取得最高成功率比最强基线高 2.7–11.0 个百分点。猫先生认为RoboRSI 的关键不是“会修代码”而是给执行经验一个可归因、可验证、可复用的组织方式。没有责任边界修补会漂移成针对最新失败的记忆TSR 把修改绑定到技能节点和历史回放能力才能沉淀。论文标题RoboRSI: Stable, Efficient, and Reusable Robot Self-Evolution in Complex Real-World Environments论文地址https://arxiv.org/abs/2610.12424项目主页https://lab.noematrix.ai/blog/2-roborsi-research-preview/GitHubhttps://github.com/nssmd/RoboRSI论文 HTMLhttps://arxiv.org/html/2610.12424原文脉络论文先说明执行经验要成为可复用能力必须绑定到任务结构方法部分介绍总体框架、TSR 和多智能体分工实验给出 104 轮真机开发和仿真主结果再分析失败类型、技能复用和关键消融最后讨论人工知识如何沉淀为技能约束。1-2. 背景与相关工作修一次不等于学会一项能力Code as Policies 让基础模型能组合感知和控制原语OpenETA、ASPIRE、ENPIRE 等进一步把执行反馈引入修复循环。但这类系统常把失败修补在观察位置。例如末端释放失败可能源于感知、导航或运动控制只在 release 步骤加 retry修复既不稳定也不可复用。RoboRSI 认为可复用经验需要两个抽象human-friendly steering 让用户表达目标、约束、领域知识和纠偏agent-friendly structure 给 agent 提供任务上下文、明确接口和有限职责。二者的交点是任务-技能层次。3. 方法TSR 与多智能体自改进循环3.1 任务-技能层次RoboRSI 的层次包含四类节点task family 聚合共享目标的任务atomic task 是有可观测结果的局部目标atomic skill 对应 atomic task 并声明 postconditionbase skill 是工具级感知和控制原语。稳定技能序列固化为 compound skill以参数化代码策略形式单个调用。每个技能声明输入、输出和职责并可被多个分支共享。人类纠偏会变成对应技能上的 runtime check、测试或维护指导。图 1RoboRSI 的多智能体自改进循环、真机移动操作结果和仿真结果。来源论文 Figure 1。3.2 Top-Down Skill RefinementTSR 将第t tt轮的已发布层次写成图G t ( V t , E t ) , G_t(V_t,E_t),Gt​(Vt​,Et​),节点包含 implementation 或 guidancec v c_vcv​以及 postconditionϕ v \phi_vϕv​。执行记录τ t \tau_tτt​保存观测和工具调用按返回顺序得到执行节点序列π t ( v 1 , … , v m ) \pi_t(v_1,\ldots,v_m)πt​(v1​,…,vm​)。Reviewer 沿该路径评估 postcondition找到最早失败节点v t ⋆ v k ⋆ , k ⋆ min ⁡ { k : ϕ v k ( τ t ) 0 } . v_t^\starv_{k^\star}, \qquad k^\star\min\{k:\phi_{v_k}(\tau_t)0\}.vt⋆​vk⋆​,k⋆min{k:ϕvk​​(τt​)0}.修改范围S t S_tSt​是v t ⋆ v_t^\starvt⋆​拥有的子层级∂ S t \partial S_t∂St​是它对外暴露的接口。一轮修订为Δ t R ( G t ∣ S t , ∂ S t , τ t ) , G t 1 G t ⊕ V ( Δ t ; H t ) . \Delta_t\mathcal{R}(G_t|_{S_t},\partial S_t,\tau_t), \qquad G_{t1}G_t\oplus\mathcal{V}(\Delta_t;\mathcal{H}_t).Δt​R(Gt​∣St​​,∂St​,τt​),Gt1​Gt​⊕V(Δt​;Ht​).R \mathcal{R}R是 Reviewer 的 patch proposal只能修改S t S_tSt​内节点若接口需要变化则先扩展到 caller。H t \mathcal{H}_tHt​是近期执行历史V \mathcal{V}V只有在 review、功能测试和 replay 无回归时才接受 patch。图 2Manager 组织技能层次Planner 生成计划Engineer 执行Reviewer 从观测和工具轨迹中定位失败并提交 TSR-guided revision通过验证的更新进入下一轮。来源论文 Figure 2。猫先生认为TSR 的价值在于三重限制责任树限制归因范围接口限制修改边界回放历史限制回归风险。没有这三层限制代码修复很容易变成对最新场景的过拟合。3.3 多智能体分工Manager 分解目标、维护版本、审查修订并决定发布Planner 根据 atomic task、当前观测和技能接口生成计划Engineer 执行计划并实现缺失技能Reviewer 根据观测和工具轨迹判断结果失败时定位最早分歧点并提交 patch。每个 agent 只看到与当前步骤相关的层级部分因此上下文较短修改也能追溯到明确诊断。稳定分支变成 compound skill 后在线推理从逐步选择工具变为选择和监控技能。4. 实验与结果4.1 真机104 轮家庭地面清理平台为 WheelSingleArm M1任务是搜索、接近、抓取并搬运垃圾到指定容器。104 轮开发累计运行 24 小时每轮恢复基础布局物体和容器位置部分随机。早期运行可能放置 0 个物体后期能放置多个并返回 dock但进步不是单调的。图 3物理清理任务中的技能结构变化以及第 25、33 轮两个局部技能修订案例。来源论文 Figure 3。第 25 轮中机器人到正确垃圾桶上方但没有释放原因是观察运动容差未满足且 fallback 耗尽。TSR 将失败归因到 Place Object 的观察运动只修改该分支并执行完整释放序列。第 33 轮中底盘视角只看到目标桶边缘in-hand 视角能看到完整桶修订保持 identity 由 producer 判断并优先完整视角。两个修订均通过离线回放和回归测试。图 4两场景物理移动清理。物体和容器重排后agent 配置不变机器人重复搜索、接近、抓取、搬运和放置。来源论文 Figure 5。在两场景演示中机器人分别放置 5/5 和 4/4 个指定物体场景切换不需要修改技能代码、prompt 或策略配置。4.2 仿真主结果基线包括 CaP-X、Maestro 和 OpenETA均使用相同 backbone、工具接口、交互预算和仿真判定。LIBERO、LIBERO-PRO 和 RoboTwin 上RoboRSI 在线自改进LIBERO-Plus 固定 LIBERO 库测试扰动迁移。RoboRSI 在四个 benchmark 上均为最高LIBERO 56.0%OpenETA 50.7%、LIBERO-PRO 49.5%OpenETA 38.5%、LIBERO-Plus 42.1%OpenETA 36.4%、RoboTwin 24.0%OpenETA 21.3%。相比最强基线增益分别为 5.3、11.0、5.7 和 2.7 个百分点。LIBERO-PRO 的优势覆盖所有 suite 和扰动类型Object suite 提升 16.5 个百分点Object 扰动提升 15.3 个百分点说明技能库在重新识别当前场景目标时更稳。LIBERO-Plus 中固定库仍解决 30 个任务中 28 个的至少一个扰动实例。4.3 为什么基线失败OpenETA 和 Maestro 在 LIBERO-PRO 上约三分之二失败为 premature completion工具返回 release 成功后 agent 声称完成但仿真判定未完成RoboRSI 对应比例为 10% 和 14%。差异来自完成规则RoboRSI 的 atomic task 要用新观测检查 postcondition而不是把工具返回值当作成功。图 5相同初始状态下 RoboRSI 与基线的执行对比。RoboRSI 的优势来自任务完成检查、技能修订和复用。来源论文 Figure 9。在发生过执行失败的 episode 中RoboRSI 仍有 67.0% 在 LIBERO-PRO、63.2% 在 LIBERO-Plus 上完成OpenETA 分别为 55.0% 和 51.6%。4.4 技能复用论文展示了在单一任务上修订的grasp_object被用于三个开发集外任务。三个任务在早期 frozen evaluation 中均失败复用修订技能后成功局部修改不是绑定原失败场景而是转成可调用能力。图 6在单一任务上修订的 grasp_object 被用于三个开发集外任务均从早期失败变为成功。来源论文 Figure 8。4.5 消融自改进为什么有效单 agent 在 50 个 RoboTwin 任务中只解决 9 个多智能体解决 36 个。独立 Reviewer 让失败在下一次尝试前获得外部诊断而不是由执行者评判自己。TSR 对比 flat revision 时二者从同一代码和同一失败轨迹开始。TSR 将失败归因到两个节点只修改这两个节点并在两个 development seed 上成功发布flat revision 改写了 placement policy只在一个 seed 上成功另一个 seed 中 agent 在物体未到目标时宣称成功最终未发布。Compound skill 消融显示开启代码固化后600 个匹配 episode 的成功率从 21.5% 升至 29.0%解决任务数从 58/120 升至 71/120token、模型调用和耗时分别下降 29.4%、27.2% 和 17.0%。固定调用顺序和检查步骤减少了长工具序列中的累积错误。Backbone 消融比较 GPT-5.6-SOL、GPT-5.5 和 GPT-5.4。GPT-5.5 在 LIBERO-PRO 最高48.6%GPT-5.6-SOL 在 RoboTwin 最好中位模型调用数为 115–124差异主要来自预算耗尽次数。成功执行也可训练小型策略。用 10 个 click_bell 和 7 个 click_alarmclock 执行训练 ACT绝对 joint target 全部失败chunk-relative target 后 bell 达到 4/10alarm clock 在训练布局 6/7、非训练布局 2/3。少量示范更适合学习相对动作而不是完整绝对关节配置。5. 局限与未来工作主要局限是仿真到物理的经验迁移仍待加强未来还要跨机器人和跨平台共享技能。真机开发中53 个分类修订触发里有 4 个需要人类提供系统无法从记录中获得的知识例如误放置后必须由人重置场景、指定 0.02 m/s 安全抓取速度、判断包装掉落属于失败以及终止后持物保护策略。这些人工干预没有被简单丢弃而是沉淀为责任技能上的 contract、checkpoint 或 test。这个设计值得注意人类不负责反复修补而是提供一次可复用的规则。总结自进化的单位不是轨迹而是技能RoboRSI 的路线可以收在三点用任务-技能层次承载目标和职责用 TSR 找到最早失败节点并限制修订范围用 review、功能测试和回放验证更新稳定后固化为 compound skill。最值得带走的是机器人自进化的关键不是保存更多轨迹而是把经验绑定到可验证、可复用、有责任边界的技能单元上。这才是从“修好一次”走向“下次自动会用”的必要条件。推荐阅读► 技术资讯 魔方 AI 新视界► 项目应用开源视界► 技术专栏 多模态大模型最新技术解读专栏 | AI 视频最新技术解读专栏 | 大模型基础入门系列专栏 | 视频内容理解技术专栏 | 从零走向 AGI 系列