RTC实时动作分块：VLA模型真机部署的块间平滑衔接机制

1. 从动作分块到实时响应RTC 要解决的真问题如果你最近在关注具身智能或者机器人操作模型大概率会频繁刷到 Physical Intelligence 这家公司的技术动态。他们从 pi-zero 开始一路把 VLAVision-Language-Action模型往通用机器人控制的方向推而到了第六篇技术路线梳理焦点落在了 RTC 上。RTC 这个词在不同圈子里含义完全不同——做通信的人第一反应是 Real-Time Communication做电路的人想到的是实时时钟Real-Time Clock但在 Physical Intelligence 的语境里它指的是Real-Time Chunking也就是实时动作分块。这个概念的提出直接回应了 VLA 模型落地到真实机器人上最要命的一个矛盾模型推理太慢但机器人控制要求很快。先把问题摆清楚。一个典型的 VLA 模型比如基于 Flow Matching 训练出来的策略网络参数量动辄几十亿跑一次前向推理在高端 GPU 上可能也要几十到上百毫秒。而机器人底层控制回路尤其是涉及力控、抓取、动态避障的场景往往需要 50Hz 甚至 100Hz 以上的控制频率也就是每 10 到 20 毫秒就得给出一个新的动作指令。这两者之间的时间尺度差了一个数量级。早期大家用的办法是动作分块Action Chunking模型一次推理输出未来若干步的动作序列比如一次吐出 16 步或 32 步机器人按顺序执行执行完再推理下一批。这个思路在 ACTAction Chunking Transformer那篇工作里已经被验证有效但它有个天然的缺陷——块与块之间的衔接是断裂的。你可以想象一下开车如果每 0.5 秒才重新规划一次方向盘角度而且每次规划都是基于当前观测从零开始那车开起来一定是顿挫的。动作分块的问题就在这儿。当机器人执行完当前块的最后一步需要切换到下一个块的第一步时如果两次推理之间观测发生了变化或者模型输出的动作分布有抖动接缝处就会出现明显的跳变。在精细操作任务里这种跳变轻则导致轨迹不平滑重则直接让抓取失败。Physical Intelligence 在 RTC 里要解决的核心就是让动作分块在时间维度上接得上同时还要保证推理延迟不会拖垮整体响应。这里必须提一下 Flow Matching。很多人第一次看到这个词会懵它和扩散模型Diffusion是什么关系简单说Flow Matching 是一种生成式建模方法它学习的是一个从噪声分布到目标动作分布的连续变换流flow而不是像扩散模型那样通过多步去噪来采样。它的优势在于训练更稳定、采样步数可以更少在 VLA 里用来建模动作序列的分布特别合适。pi-zero 系列模型的动作头基本都建立在 Flow Matching 之上。但 Flow Matching 采样本身也是迭代的哪怕只采 10 步累积起来的时间开销也不小。RTC 要做的是在这个采样过程之上再叠一层实时性保障机制。所以 RTC 的本质不是单纯地加速推理而是在推理延迟客观存在的前提下设计一套让动作块之间平滑过渡、并且能对外部观测变化做出及时响应的调度策略。它涉及三个层面的问题第一块内动作怎么生成才能保证时间一致性第二块与块之间怎么对齐才能不跳变第三当新观测到来时如何在不破坏已执行动作的前提下修正后续动作。这三个问题环环相扣任何一个处理不好实时性就是空谈。我个人的判断是RTC 这个方向之所以重要是因为它把 VLA 从实验室里能跑推向了真机上能用。很多 VLA 论文在仿真里指标漂亮一到真机就露馅核心原因就是推理频率跟不上控制频率而动作分块又带来了接缝问题。RTC 是正面硬刚这个工程难题的。接下来我会从动作分块的时间结构、Flow Matching 在其中的角色、RTC 的衔接机制、以及实际部署时的参数取舍几个角度把这条技术路线拆开讲清楚。2. 动作分块的时间结构为什么块是必要的也是危险的2.1 块大小与推理频率的数学关系动作分块的核心参数是块大小chunk size记作 K。假设模型单次推理耗时 T_infer机器人控制周期为 T_ctrl那么一个块能覆盖的时间长度是 K × T_ctrl。为了让机器人不停顿必须满足 K × T_ctrl ≥ T_infer也就是块执行的时间要大于等于下一次推理的时间。如果 T_infer 是 80msT_ctrl 是 10ms那 K 至少得是 8。但实际中不会卡得这么死因为推理时间会有波动而且观测采集、通信、后处理都要占时间所以通常 K 会取 16 或 32留出足够的余量。但 K 不是越大越好。K 越大意味着模型一次要预测更远的未来预测误差会累积而且块内动作是开环执行的——在执行这个块的过程中机器人不会根据新观测调整动作。如果环境是动态的比如有个移动的障碍物或者操作对象在滑动那大块就会导致机器人闭着眼睛走完一长段等下一个块再修正这时候可能已经晚了。所以 K 的选取是一个典型的延迟与响应性的权衡K 太小推理频率要求高算力扛不住K 太大响应迟钝动态场景下容易出问题。Physical Intelligence 在 RTC 里的处理方式不是简单地固定 K而是引入了一个重叠的概念。也就是说相邻两个块之间不是首尾相接而是有一部分时间重叠。比如块长度是 32 步但每次只推进 16 步就触发下一次推理新块的前 16 步和旧块的后 16 步在时间上重叠。这样做的目的是给块间衔接留出融合的空间而不是硬切。2.2 块间跳变的来源分析要理解 RTC 的衔接机制得先搞清楚跳变到底从哪来。我把它归为三类第一类是观测偏移。旧块是基于时刻 t 的观测生成的当执行到块末尾时实际时刻已经是 t K×T_ctrl机器人状态和环境都变了。如果新块基于新观测从零生成它的起始动作和旧块的末尾动作很可能不在一个动作流形上接起来就会抖。第二类是采样随机性。Flow Matching 或扩散模型每次采样都带有随机性即使观测完全一样两次推理输出的动作序列也会有细微差异。这种差异在块内部可能看不出来但在接缝处会被放大。第三类是分布外偏移。如果执行过程中遇到了训练数据里没见过的状态模型输出的动作分布会偏移旧块末尾和新块开头可能分别落在两个不同的模式上切换时就会产生突变。这三类问题里第一类和第三类是本质性的第二类可以通过固定随机种子或确定性采样来缓解但会牺牲多样性。RTC 的设计思路是不试图消除跳变而是在重叠区域做动作融合让新旧块在重叠时间段内平滑过渡。2.3 重叠融合的基本形式最直观的融合方式是线性插值。假设旧块在重叠区间的动作序列是 a_old[0..M-1]新块在同样时间区间的动作是 a_new[0..M-1]那么实际执行的动作可以写成a_exec[i] (1 - α_i) × a_old[i] α_i × a_new[i]其中 α_i 从 0 逐渐增加到 1i 是重叠区间内的步数索引。这样在重叠开始时主要用旧块的动作保证连续性到重叠结束时完全切换到新块保证新观测的信息被采纳。α_i 可以是线性的也可以用余弦或平滑曲线后者在两端的变化率更小过渡更自然。但线性插值有个问题它是在动作空间直接做加权平均如果两个动作序列在语义上差异很大比如一个在向左转一个在向右转平均出来的动作可能是原地不动这显然不对。所以更稳妥的做法是在动作的隐空间或速度空间做融合或者对融合后的动作做一次投影确保它落在合理的动作范围内。Physical Intelligence 的具体实现细节没有完全公开但从他们放出的技术描述看融合是在 Flow Matching 的采样轨迹上做的而不是在最终动作上做这样能保留更多的分布信息。提示如果你自己在复现类似机制建议先在仿真里对比硬切和重叠融合的轨迹平滑度用关节加速度的均方根作为指标差异会非常明显。3. Flow Matching 在 RTC 里的角色不只是生成动作3.1 Flow Matching 与扩散模型的取舍在 VLA 里建模动作分布主流有两类方法扩散模型和 Flow Matching。扩散模型通过逐步去噪从纯噪声恢复出动作优点是表达能力强、训练稳定缺点是采样步数多通常要 50 到 100 步才能出好结果。Flow Matching 则是直接学习一个从噪声到数据的连续流训练目标是让流场匹配一个预设的概率路径采样时用常微分方程求解器积分若干步即可。它的采样步数可以压到 10 步甚至更少这对实时性要求高的场景非常关键。Physical Intelligence 选择 Flow Matching 作为动作头的基础我认为核心原因就是采样效率。在 RTC 的框架下模型需要频繁推理每次推理的采样开销直接决定了块大小和控制频率的上限。如果用扩散模型哪怕用 DDIM 加速采样步数也很难压到 10 步以下而不损失质量。Flow Matching 在这方面有天然优势而且它的流场是确定性的给定初始噪声和条件输出唯一这对块间一致性也有帮助——至少消除了采样随机性带来的跳变。但 Flow Matching 也不是没有代价。它的训练需要构造概率路径常见的有线性路径和高斯路径路径的选择会影响模型的收敛速度和最终质量。另外Flow Matching 的采样是数值积分步长和求解器的选择会影响精度步长太大动作会粗糙步长太小又失去速度优势。实际部署时这个平衡点需要根据任务精度要求来调。3.2 条件流与观测编码Flow Matching 在 VLA 里是条件生成条件包括视觉观测、语言指令、机器人本体状态等。这些条件通过一个编码器通常是 Transformer 或 CNNTransformer 的混合结构变成条件向量然后注入到流场的计算中。注入方式有几种一种是拼接concatenation把条件向量和噪声向量拼在一起送进网络一种是交叉注意力cross-attention让噪声特征去查询条件特征还有一种是自适应归一化AdaGN用条件调制网络中间层的归一化参数。Physical Intelligence 的模型里视觉和语言条件大概率是通过交叉注意力注入的因为这种方式对多模态条件的扩展性最好。机器人本体状态关节角、末端位姿、夹爪开合等则可能通过拼接或 AdaGN 注入因为它是低维的连续量不需要太复杂的交互。这些条件编码的质量直接决定了动作生成的准确性如果视觉编码器对操作对象的位姿估计不准后面 Flow Matching 再强也救不回来。在 RTC 的语境下条件编码还有一个特殊要求时间对齐。因为动作块是跨时间的条件里的观测必须和动作块的时间戳对应上。如果观测有延迟比如相机采集比本体状态慢 20ms那条件里就存在时间错位生成的动作会有系统性偏差。Physical Intelligence 在系统里应该做了时间同步处理把不同传感器的数据对齐到统一的时间基准上这一步在真机部署时极其关键很多团队就是栽在时间同步上。3.3 采样步数与实时性的硬约束假设 Flow Matching 采样用 10 步欧拉积分每步需要一次网络前向。如果网络前向耗时 8ms那采样总耗时就是 80ms。加上条件编码的耗时假设 10ms单次推理就是 90ms。如果控制周期是 10ms那 K 至少是 9取整到 16 比较稳妥。这就是为什么 RTC 必须和模型压缩、推理优化配合使用——光靠算法层面的块调度解决不了根本的算力瓶颈。我实测过类似的流程在消费级 GPU 上一个 3B 参数的 VLA 模型用 FP16 推理单次前向大概 15 到 25ms10 步采样就是 150 到 250ms这个延迟在动态任务里基本不可接受。所以 Physical Intelligence 大概率用了更激进的优化可能是模型量化到 INT8可能是用了更小的动作头网络也可能是把条件编码缓存起来复用。这些工程手段和 RTC 的算法设计是相辅相成的缺一不可。注意不要只盯着采样步数优化条件编码的耗时经常被低估。视觉编码器如果用的是 ViT-L 这种大模型单次前向可能比动作头还慢。实际优化时先 profile 整个推理链路找到真正的瓶颈再动手。4. RTC 的衔接机制拆解从硬切到软融合4.1 块边界的状态传递RTC 最核心的设计是在块与块之间传递状态而不是让每个块独立生成。这个状态可以理解为动作生成的上下文包括上一块末尾的隐状态、动作速度、以及观测的历史信息。当新块开始生成时它不是从纯噪声开始而是从旧块末尾的状态出发继续演化。这样新旧块在时间上就是连续的而不是两个独立的片段拼接。具体实现上一种做法是把旧块末尾的隐状态作为新块采样的初始条件。在 Flow Matching 里这意味着新块的流场起点不是标准高斯噪声而是一个带有旧块信息的分布。这样做的好处是新块的动作天然会延续旧块的运动趋势不会突然反向或停顿。但风险是如果旧块末尾的状态本身就有偏差比如因为观测延迟导致的错误动作这个偏差会被传递到新块形成误差累积。所以状态传递需要配合一个修正机制在新观测到来时对传递的状态做一次校正。另一种做法是动作速度的连续性约束。机器人的动作通常用位置或速度表示如果是位置表示那连续性要求位置和速度都连续如果是速度表示那要求速度连续即可。RTC 在生成新块时会把旧块末尾的速度作为约束让新块的起始速度与之匹配。这个约束可以加在损失函数里训练也可以在采样时通过投影实现。Physical Intelligence 的做法更可能是后者因为训练时无法预知部署时的块边界情况。4.2 重叠区间的融合策略对比前面提到了线性插值融合但实际可选的策略不止一种。我把常见的几种列出来对比融合策略实现方式优点缺点适用场景硬切直接切换到新块实现简单无额外计算接缝处跳变明显静态、低速任务线性插值动作空间加权平均平滑计算量小语义冲突时平均结果不合理动作分布单峰场景余弦插值权重按余弦曲线变化两端变化率小更自然中间段过渡偏慢对平滑度要求高的任务隐空间融合在隐状态上插值再解码保留分布信息语义一致需要访问隐空间实现复杂高精度操作任务速度投影约束速度连续位置由积分得到物理意义明确需要速度表示位置可能漂移力控、动态任务从 Physical Intelligence 的技术路线看他们大概率用的是隐空间融合加速度约束的组合。因为纯动作空间的插值在复杂任务里容易出问题而隐空间融合能更好地保持动作的语义一致性。速度约束则保证了物理上的可行性避免出现加速度突变。4.3 新观测的注入时机与方式RTC 要解决的另一个问题是新观测什么时候注入如果等旧块完全执行完再注入那响应就慢了一个块的时间如果在块执行中途注入那已经执行的动作无法更改只能影响后续动作。Physical Intelligence 的做法应该是在重叠区间内逐步注入新观测的信息通过融合权重 α_i 来控制注入强度。在重叠开始时新观测的影响很小主要保持旧块的连续性随着重叠推进新观测的影响逐渐增大到重叠结束时完全由新观测主导。这个机制的关键参数是重叠长度 M 和融合曲线。M 太短融合不充分跳变依然存在M 太长新观测的响应被延迟动态性能下降。经验上M 取 K 的 1/4 到 1/2 比较合适。如果 K32M 取 8 到 16。融合曲线用余弦或 smoothstep 都可以关键是两端的一阶导数要接近零避免加速度突变。还有一个细节新观测注入时如果观测本身有噪声直接融合会把噪声引入动作。所以通常会对观测做一次滤波或者用观测编码器的隐状态而不是原始观测来融合后者因为编码器本身有降噪能力效果更好。Physical Intelligence 的模型里观测编码器是训练好的它的隐状态比原始像素稳定得多用隐状态融合是更合理的选择。5. 真机部署时的参数取舍与踩坑记录5.1 块大小、重叠长度、控制频率的三角关系真机部署时这三个参数必须一起调单独调任何一个都会出问题。我总结了一个调参顺序供参考先定控制频率。这由机器人硬件和底层控制器决定通常是固定的比如 100Hz 或 50Hz。不要试图为了迁就模型而降低控制频率底层控制不稳上层再好的策略也白搭。再测单次推理耗时。在目标硬件上跑完整的推理链路包括条件编码、Flow Matching 采样、后处理测出平均耗时和 P99 耗时。用 P99 而不是平均值来算块大小因为推理耗时的长尾会直接导致控制停顿。算最小块大小。K_min ceil(T_infer_P99 / T_ctrl) 安全余量。安全余量取 2 到 4 步应对偶发的系统调度延迟。定重叠长度。M 取 K 的 1/4 到 1/2先在仿真里扫一遍看轨迹平滑度和任务成功率的变化曲线选拐点。联合微调。如果模型支持在线微调可以用实际执行数据对块边界附近的动作做微调让模型自己学会生成更容易衔接的动作。这个顺序的逻辑是控制频率是硬约束推理耗时是客观测量块大小是算出来的重叠长度是调出来的。反过来先定块大小再想办法降推理耗时往往会陷入被动。5.2 观测延迟的补偿真机上观测延迟是绕不开的。相机采集有曝光和传输延迟本体状态有通信延迟不同传感器的延迟还不一样。如果不做补偿模型看到的是过去的世界生成的动作自然滞后。补偿的方法有两种一种是硬件层面同步用统一的触发信号让所有传感器同时采样另一种是软件层面预测用状态估计器把观测外推到当前时刻。Physical Intelligence 的系统里应该两种都用了。硬件同步保证了基础对齐软件预测则补偿了残余延迟。预测的方法可以用简单的线性外推也可以用卡尔曼滤波。对于视觉观测外推比较困难通常是接受一定延迟靠 RTC 的重叠融合来吸收。这也是为什么重叠融合在视觉延迟大的场景下更重要——它给了模型一个缓冲区间让延迟的影响在融合过程中被平滑掉。提示如果你的相机延迟超过 30ms建议在观测编码器前面加一个轻量的预测网络用历史帧预测当前帧的特征比直接外推像素更稳定。5.3 我踩过的几个坑第一个坑是块边界处的动作饱和。早期我用硬切的时候发现机器人关节在块切换时经常撞到限位。原因是旧块末尾的动作已经接近限位新块开头如果继续往同方向走就会超限。后来加了重叠融合并且对融合后的动作做了限幅问题才解决。教训是融合不能只看平滑度还要看物理约束。第二个坑是Flow Matching 采样步数太少导致动作粗糙。为了压延迟我把采样步数从 10 降到 5结果动作抖动明显精细抓取成功率掉了 20 多个点。后来改成自适应步数在接近目标时用 10 步保证精度在自由移动时用 5 步保证速度。这个策略在 RTC 框架下很容易实现因为块边界本来就是切换点可以在切换时调整采样参数。第三个坑是重叠区间的融合权重没有归一化。我一开始用线性权重但忘了保证权重和为 1导致融合后的动作幅值偏大机器人动作过冲。后来改成归一化的余弦权重问题消失。这个坑很低级但在快速迭代时很容易忽略。第四个坑是忽略了推理耗时的方差。我用平均耗时算的块大小结果在系统负载高的时候推理耗时偶尔会翻倍导致控制停顿。后来改用 P99 耗时并且加了动态块大小调整当检测到推理耗时上升时自动增大下一个块的执行步数给推理留更多时间。这个机制在 RTC 里应该是标配但很多复现者会漏掉。6. RTC 与 VLA 整体架构的耦合关系6.1 RTC 不是独立模块很多人把 RTC 理解成一个独立的调度器插在模型和机器人之间。但从 Physical Intelligence 的技术描述看RTC 是深度耦合在 VLA 模型里的它影响的不只是推理调度还包括训练时的数据构造和损失设计。比如训练时如果只让模型学会生成独立的动作块那部署时再怎么融合也有限如果训练时就模拟块边界的场景让模型学会生成容易衔接的动作那部署时的融合就会轻松很多。具体来说训练时可以构造重叠样本取一段连续的动作序列切成两个有重叠的块让模型同时学习生成这两个块并约束它们在重叠区间内一致。这个约束可以加在动作空间也可以加在隐空间。Physical Intelligence 的模型大概率用了类似的训练策略否则光靠推理时的融合很难达到他们展示的那种平滑度。6.2 与语言条件的交互VLA 模型的语言条件在 RTC 里也有特殊作用。当任务切换或指令变化时动作块的内容会发生根本性变化这时候重叠融合就不适用了——你不能把向左抓和向右放两个动作融合在一起。所以 RTC 需要检测任务切换在切换点做硬切而不是融合。检测的方法可以是语言指令的变化也可以是模型输出的动作分布发生了多模态跳变。Physical Intelligence 的处理方式可能是在语言条件变化时重置动作块的上下文从新条件重新生成并且把重叠长度临时设为 0等新任务稳定后再恢复融合。这个逻辑在工程上不难实现但需要模型能可靠地检测到任务切换。如果检测延迟了机器人可能会在新任务开始后还执行旧任务的动作那就危险了。6.3 多任务下的块调度当机器人需要连续执行多个任务时块调度会变得更复杂。比如拿起杯子放到桌上再按下按钮这三个任务的动作分布差异很大块边界处的融合需要更谨慎。一种做法是每个任务单独维护一个动作块队列任务切换时清空队列重新开始。另一种做法是用一个统一的大模型生成所有任务的动作靠语言条件来区分块边界处用任务相似度来决定融合权重。从 Physical Intelligence 展示的 demo 看他们更倾向于后者——一个统一的 VLA 模型处理多任务RTC 在块边界处根据语言条件的相似度动态调整融合策略。语言条件相似度高比如都是抓取类任务融合权重可以大一些相似度低比如从抓取切到放置融合权重趋近于零接近硬切。这个策略比一刀切的融合更合理但实现起来需要模型能输出语言条件的相似度度量或者用一个额外的分类器来判断。7. 从 RTC 看 VLA 落地的工程化趋势RTC 这个技术点表面上看是解决动作块衔接的问题往深了看它反映的是 VLA 从论文走向产品的必经之路——算法必须向工程妥协但妥协的方式要有理论依据。纯算法研究可以假设推理无限快、观测无延迟、动作无约束但真机部署把这些假设全部打破。RTC 的价值在于它在这些约束下找到了一个可用的平衡点并且这个平衡点是有数学形式支撑的不是拍脑袋调出来的。我观察到的几个趋势第一VLA 模型的推理优化会越来越重要模型压缩、量化、蒸馏这些技术会和 RTC 深度结合形成端到端的实时方案。第二动作分块的时间结构会成为模型设计的一等公民而不是事后补丁未来的 VLA 模型可能在训练阶段就把块边界纳入考虑。第三观测延迟和噪声的处理会从预处理变成模型内建能力模型自己学会在延迟和噪声下生成鲁棒动作。对于想跟进这个方向的人我的建议是不要只盯着模型结构多花时间在推理链路优化和时间同步上。我见过太多团队模型指标漂亮但真机跑不起来问题都出在这些脏活上。RTC 的思路值得借鉴但具体参数和融合策略要根据自己的硬件和任务来调没有万能配置。先在仿真里把机制跑通再上真机调参每一步都记录数据这样出了问题才能定位。最后分享一个我在调 RTC 类机制时的小技巧把块边界处的动作误差和观测延迟做成可视化曲线叠加在一起看。很多时候你会发现动作跳变和观测延迟的峰值是对齐的这说明问题不在融合策略而在观测同步。先解决同步再调融合事半功倍。