启元具身智能技术观察：REMAC 论文解读，机器人如何实现边走边算？

给机器人算下一段动作花了200毫秒。这200毫秒里机器人是停着等还是沿上一段动作继续走停着等交接容易安排却会把推理时间变成动作间的停顿。继续走动作看上去连贯了新结果回来时却多出一个问题原本排在开头的那两步时间已经过去还执行不执行REMAC研究的就是这种异步执行。论文的处理不只涉及跳过几个动作索引它还要让新计划知道等待期间执行的是旧计划里的动作。这两件事差在哪里用八步动作就能说明白。依据 Real-Time Robot Execution with Masked Action ChunkingarXiv:2601.20130v1。下文编号与毫秒数为教学推演实验成绩引自论文。1. 为什么要边执行边重新计算许多机器人策略会一次预测未来一段动作称为动作块。它让模型能够表达连续运动也减少“每走一步都重新推理”的开销。但环境不会等模型。杯子可能被挪动夹爪可能偏离目标机器人自己的位置也在变化。如果预测八步就不看环境地全部执行完后半段可能已经不合适。因此系统通常执行一段后重新获取观测再计算下一块动作。预测窗口与重新规划的节奏由此成了两个不同的参数。同步方式最容易理解当前动作执行到约定位置停下来等新结果再开始下一段。这样交接关系清楚但推理时间会变成等待。异步方式则在算新动作时继续消耗旧块中的剩余动作让运动与计算重叠。等待被旧动作填上了机器人却也在这段时间里走到了新的位置。下一块动作必须接住这段变化。图 1依据论文Figure 1重绘。异步执行以旧块仍有足够缓存为前提REMAC通过训练适配与前缀保留缓解交接错位。2. 这一轮实际执行的是A4、A5、B2、B3现在给动作编号。设预测窗口P8每经过h4个动作步重新规划推理等待d2步。为便于心算教学场景中每步100毫秒。在时刻t上一块A的前四步已执行缓存中还有A4、A5、A6、A7。系统此时获取新观测并开始生成下一块B。B0原本对应t开始的第一个时间槽B1对应下一个以此类推。模型需要200毫秒才能给出B。等待期间机器人不能使用还没算出来的B0、B1只能按旧计划执行A4、A5。到t200毫秒时B0、B1对应的时间已经过去新的执行只能从B2接上。这一轮到t400毫秒再次发起推理之前实际执行的四步便是A4 → A5 → B2 → B3而不是从B0开始把新块再走一遍。图 2P8、h4、d2的教学时间线。A/B表示动作所属的计划及时间位置不表示其数值必定不同。训练损失覆盖新块后缀也不意味着本周期会把后缀一次全部执行完。图里有两个长度后面会反复用到旧块还剩P−h4步可以提供A4到A7这次等待只消耗d2步即A4、A5。记住“还剩四步实际先走两步”采样时就不容易把初始化和固定前缀混在一起。B看到的画面仍拍于t时刻。结果刚算完输入已经旧了200毫秒。后面的错位就从这里开始。3. 接得平滑也可能走错方向第一种是块间不连续。单独看A和B每段动作都可能平滑接在一起时A5与B2却可能位置相差过大或速度方向突然改变。前一块打算从杯子左侧绕行后一块倾向右侧交界处就可能不自然。这类问题在同步执行中也可能存在异步等待又让交接更复杂。时序集成、双向解码和RTC等方法从不同角度处理动作块之间的关系论文将它们作为相关方法讨论。第二种是块内不一致。在t开始的这个执行周期里前两步来自较早观测对应的A后两步来自当前观测对应的B。若B按照自己设想的B0、B1推演后续却没有适应实际走出的A4、A5那么即使交接点看起来平滑之后的动作仍可能偏离需要的轨迹。用前面的绕杯子场景说A可能已经把夹爪往左带了一点B的后续动作却建立在另一条前进路线之上。单纯把交界处抹平不一定能消除这种“后续计划与已发生前缀不一致”的问题。因此检查A5到B2是否平滑只覆盖了第一个问题。还得看B2往后的计划是否适应前面实际执行的A4、A5。REMAC把后一个问题也放进了训练。4. 来不及执行的前两项还要照常训练吗REMAC首先改变训练时计算误差的位置。在P8、d2的例子里掩码就是时间位置 0 1 2 3 4 5 6 7 损失掩码 0 0 1 1 1 1 1 10表示忽略该位置的误差1表示计入。前两个位置已有旧计划覆盖监督便集中到后面仍能影响执行的部分。这里改变的是损失的计算范围前两步动作仍会发生。论文使用flow-matching策略具体监督量是生成过程的流场对应论文式(2)、(3)。部署时新模型要解决的是“已经走了这两步后面怎么办”。把监督重点移到后缀训练目标就更贴近它实际要负责的部分。论文还会改变掩码长度并用课程调整训练过程让模型接触不同等待条件。单独把损失前缀遮住仍有一个现实落差部署时那段旧动作来自模型自己的预测可能有误差训练时若总给它完美答案后续衔接依然容易过于乐观。5. 旧计划有误差训练时也要见过REMAC的第二个做法是逐渐改变训练动作输入的来源。早期更多使用真实动作后期逐步改用预训练策略生成的动作仍要求微调后的策略给出正确结果。论文用伯努利采样在两种来源中选择并随训练降低采用真实动作的概率。同样等两步前缀可能很准也可能已经偏了一点。只改变等待长度没有覆盖这个差别。逐步换用预训练策略的预测就是让训练输入也带上模型可能产生的误差。论文另加入残差对齐目标完整设置在实验中进一步提高了成绩。但论文式(5)里的两个预训练预测若为同一张量残差之差便会抵消这两项在二值掩码下得到与直接误差相同的数值形式。仅凭显示公式还不足以独立解释这部分增益仍需核对实现中的梯度路径、输入与损失配置。6. 初始化拿四步真正固定的是两步训练完成后生成动作的过程也要与之配合。在已有上一块动作时REMAC把旧块最后P−h个动作放到新采样初始化序列的开头其余位置置零。回到例子A4到A7可以用于初始化新块的前四项。但初始化不等于四项都必须永远固定。采样迭代中由延迟掩码指定的前缀保持为旧动作其余位置可以由模型更新。d2时关键是前两项与等待期间实际采用的A4、A5一致后面的动作在这个条件下继续生成。这样执行器等待时走的是A4、A5模型生成后缀时也以A4、A5为前缀。两边终于用上了同一段动作而不再各自假设一套开头。训练和采样由此连在一起训练时见过这种延迟和前缀质量采样时又把旧前缀固定下来。接下来要看的是这套安排在任务里到底有没有收益。适配采用LoRA增加的参数量至多为原模型的1.5%权重可合并回主干。也就是说多做的工作主要发生在训练阶段运行时省去了RTC一类额外修正计算。对于本来就来不及更新动作的系统这种成本放在哪里的区别很实际。7. d4这一列比总成绩更值得拆开看论文先在Kinetix仿真器的12个高动态任务上测试。预测窗口P8延迟d从0增加到4每个延迟下还评估多个执行窗口Table 1报告的是相应设置的平均成功率。图 3依据REMAC v1 Table 1重绘。各曲线对应逐步增加组件的设置纵轴是仿真任务成功率不是后文真机实验的完成进度也不是本项目重新训练所得。先看d4这一列。朴素异步的平均成功率为0.451只加LoRA、没有相应训练策略时为0.428。参数多一点并没有在这个设置里自然解决问题。加入前缀掩码后升到0.636再加入自条件课程到0.710完整方法到0.779。随着训练目标与输入条件逐步贴近异步执行成绩也在这条实验路径上持续上升。完整方法比朴素异步高32.8个百分点。只加LoRA那一项却没有提高说明在这组实验里多一点适配参数还不够。损失算在哪些位置、输入里出现什么质量的旧预测才是需要一起改的训练条件。这是论文特定设置下的累加消融各增量依赖此前已加入的组件不能视为单个组件的独立贡献。8. 真机表里的0.812是什么成绩真实机器人实验使用Franka Research 3机械臂控制频率15 Hz执行窗口h8端到端延迟约122—140毫秒论文报告有效延迟为2或3步。每个任务、每种方法进行30次评估每次上限300步。方法Grasp-EasyGrasp-MediumGrasp-Hard同步推理0.8050.7180.670朴素异步0.8250.8250.460时序集成0.8250.8680.717RTC0.8230.8480.753REMAC0.9030.9430.812论文Table 3指标为平均完成进度。任务分为接近、抓握、移动、放置四个阶段再对多次试验的归一化进度取平均。REMAC在三个难度的平均进度上均领先。阅读时应保留“进度”这个单位0.812汇总的是多次试验推进的程度完整成功的试验占比还需要单独的统计。Hard任务中朴素异步从同步的0.670降到0.460尤其能说明“不断运动”不是唯一目标。减少空等的安排若带来更严重的感知与执行错位也可能使任务走得更差。REMAC在该项达到0.812表明论文的适配在这一条件下有效。论文这一实现中RTC额外增加55—64毫秒延迟REMAC没有同类推理时修正。这让它的优势更具体了成绩提高的同时没把额外修正工作继续堆到推理阶段。代价是前面的任务数据和训练适配采用它之前要把这部分投入算进去。9. 接到Q1先别把200毫秒算成100步Q1公开接口文档建议HAL关节指令以500—1000 Hz下发但论文里的d是策略动作时间步。把这两个频率混用会把同一段推理延迟算成完全不同的前缀长度。例如教学配置中的策略动作频率是10 Hz200毫秒对应2个策略步HAL如果按500 Hz运行同一段时间覆盖100个下发周期。这100帧可能由插值或低层控制器生成不能直接拿100作为策略动作块的掩码长度。接入前先把几个时刻记全观测形成、模型拿到输入、推理结束、结果进入控制器。旧缓存还能维持多久也放在同一张时间线上。GPU耗时只是其中一段输入排队、传输和结果交接都可能继续吃掉旧缓存。有了这些记录就能先离线回放索引结果延迟返回时是不是按A4、A5、B2、B3推进旧位置有没有重放缓存耗尽后做什么这一步值得放在模型适配之前。新块若接错了位置后面比较策略成绩也很难判断究竟是哪一层出了问题。索引与交接成立之后再用任务数据判断是否需要REMAC式适配。Q1输出层还要满足时间戳严格递增和单帧位置增量约束观测字段stamp、meas_stamp的生产端含义也要先核实才能把整条时间线接起来。适用范围本文未在Q1部署REMAC也未审查训练源码。主实验围绕π₀附录包含ACT适配。论文§4.3说明掩码超参数不是延迟硬上限附录G仍提醒超出预设延迟范围时可能失败采用时应按任务核实延迟与微调数据需求。新块返回后跳到B2是时间已经过去的结果让B2适应A4、A5则是策略需要学习的事。REMAC把这两个问题接起来靠前缀掩码、自条件训练和采样约束共同处理。实际部署时也可以照这个顺序检查先确认哪两步已经执行再确认新计划依据什么续上。能把这一次交接说清楚才知道下一步该改调度还是该改模型。资料REMAC v1论文、作者项目页、公开代码仓库、启元SDK下载。方法解读对应论文§4仿真及真机数据分别引自Table 1与Table 3。欢迎在启元开发者社区交流策略部署问题。