VioLA详解：让通用策略预测“人的运动”，而不是机器关节

写在前面【从零走向AGI】旨在深入了解通用人工智能AGI的发展路径从最基础的概念起逐步构建完整的知识体系。项目地址https://github.com/AI-mzq/From-Zero-to-AGI.git魔方AI空间猫先生从零走向AGI面试面经AIGC算法岗/开发岗面试面经交流社群涵盖AI Agent、AIGC图像创作、AI视频、LLM大模型、AI多模态、数字人、传统深度学习、具身智能等AIGC面试干货资源欢迎大家加入https://t.zsxq.com/YtJ09VioLA详解让通用策略预测“人的运动”而不是机器关节导读VioLA 研究 Unitree G1 上的通用控制策略。全身控制要在腿、躯干、手臂和手指之间保持协调直接预测 joint command 会让策略同时学习“做什么动作”和“如何稳定执行”人形机器人示范又稀缺逐任务遥操作成本高。VioLA 不预测机器人关节命令而是预测 64 维身体 motion latent 和 64 维手部 motion latent。人类运动和机器人运动被冻结 encoder 映射到同一 latent 空间冻结 controller 再把 latent 转换成全身和手指命令。通用策略只需根据图像、指令和本体状态选择动作具体关节协调交给预训练控制器。人类视频虽没有机器人命令但冻结的人类 encoder 能把标注动作转成与机器人相同的 latent target。训练池包含 140.6 million 帧93.2% 来自人类数据。真机 G1 上VioLA 在六个运动/姿态任务中完成 30/30七个主要操作任务中完成 31/35且没有任务特定微调。猫先生认为VioLA 把“任务决策”和“全身协调”拆开策略选择什么动作、什么时候做控制器在不破坏平衡的前提下执行动作。共享 motion latent 让人类视频成为动作监督而不只是视觉表征预训练。论文标题VioLA: Learning Generalist Humanoid Control Policies from Human Data论文地址https://arxiv.org/abs/2610.12435项目主页https://viola.is.tue.mpg.de/论文 HTMLhttps://arxiv.org/html/2610.12435代码项目页标注 coming soon原文脉络论文先指出动作空间耦合和示范不足两个瓶颈方法部分介绍共享 motion latent 空间、示范如何变成同一目标、latent 如何连续执行实验依次验证零样本运动、零样本操作、motion token、人类数据贡献、backbone 和 chunk 连续性。1-2. 背景与相关工作全身协调和数据稀缺是同一个瓶颈VLAs 和 world-action models 在机械臂上进展明显但人形机器人更复杂伸手改变重心迈步改变手能到达的位置。若直接预测 joint command策略必须同时学习任务语义和全身协调。whole-body controller 已能根据期望运动在保持平衡时输出关节命令latent motion controller 进一步接受紧凑 motion latent。VioLA 由此提出让通用策略预测 motion latent。人类视频远多于机器人示范。VioLA 利用 SONIC 中人类和机器人运动共享的 latent 空间让人类 encoder 输出的 latent 成为机器人 controller 可执行的 target。3. VioLA共享 latent action space 的通用策略3.1 身体和手部共享 latent 空间身体部分使用 SONIC 的预训练 encoder 和 whole-body controller。人类与机器人 encoder 把短运动窗口映射到同一 64 维身体 latentcontroller 根据当前状态和历史本体状态输出腿、躯干和手臂命令。SONIC 不控制手指论文单独预训练了手部 encoder-decoder 模块人类和机器人手部同样共享 64 维 latent。VioLA 将两者拼接为 128 维动作z t [ z t b o d y ; z t h a n d ] . \mathbf{z}_t[\mathbf{z}_t^{\mathrm{body}};\mathbf{z}_t^{\mathrm{hand}}].zt​[ztbody​;zthand​].给定第一视角图像I t I_tIt​、指令ℓ \ellℓ和本体状态s t \mathbf{s}_tst​策略预测H HH步动作 chunkZ ^ t ∼ p θ ( Z t ∣ I t , ℓ , s t ) , Z t [ z t , … , z t H − 1 ] T . \hat{\mathbf{Z}}_t\sim p_{\theta}(\mathbf{Z}_t\mid I_t,\ell,\mathbf{s}_t), \qquad \mathbf{Z}_t[\mathbf{z}_t,\ldots,\mathbf{z}_{tH-1}]^{\mathsf{T}}.Z^t​∼pθ​(Zt​∣It​,ℓ,st​),Zt​[zt​,…,ztH−1​]T.图 1人类和机器人运动 encoder 输出共享 latent target通用策略预测这些 latent冻结 controller 负责执行。来源论文 Figure 1。3.2 人类示范与机器人示范进入同一训练目标对示范者e ∈ { h u m a n , r o b o t } e\in\{\mathrm{human},\mathrm{robot}\}e∈{human,robot}时刻t tt的 target 由冻结 encoder 生成z t [ E b o d y e ( m t b o d y ; γ t ) ; E h a n d e ( m t h a n d ) ] . \mathbf{z}_t \left[ E_{\mathrm{body}}^e(\mathbf{m}_t^{\mathrm{body}};\gamma_t); E_{\mathrm{hand}}^e(\mathbf{m}_t^{\mathrm{hand}}) \right].zt​[Ebodye​(mtbody​;γt​);Ehande​(mthand​)].人类数据缺少机器人本体状态。论文在仿真中用冻结身体 controller 跟踪人类运动获得对齐的机器人状态和 heading-dependent body target手部 target 直接由标注运动编码。没有手部标注的示范只监督身体预测。VioLA 以 GR00T N1.7 为 backbone将 action expert 改为每步预测 128 个 latent 坐标并保留 flow-matching 目标。图 2冻结 motion encoder 构造 target通用策略是唯一训练组件冻结身体 controller 和手部 decoder 将预测转成关节命令。来源论文 Figure 2。猫先生认为这里的训练数据处理是关键人类视频保留原始图像、指令和运动标注再通过共享 latent 变成与机器人动作同构的监督目标。3.3 从 motion latent 到连续执行部署时身体 controller 和手部 decoder 以 50Hz 更新u t b o d y D b o d y ( z ^ t b o d y , h t ) , u t h a n d D h a n d r o b o t ( z ^ t h a n d ) . \mathbf{u}_t^{\mathrm{body}}D_{\mathrm{body}}(\hat{\mathbf{z}}_t^{\mathrm{body}},\mathbf{h}_t), \qquad \mathbf{u}_t^{\mathrm{hand}}D_{\mathrm{hand}}^{\mathrm{robot}}(\hat{\mathbf{z}}_t^{\mathrm{hand}}).utbody​Dbody​(z^tbody​,ht​),uthand​Dhandrobot​(z^thand​).身体 controller 每步读取当前状态因此即使策略正在计算下一个 chunk关节协调仍在更新。手部 decoder 从每个 hand latent 重建十帧选择第 5 帧并做五 tick 移动平均。连续执行的另一问题是 chunk 替换新 chunk 生成时机器人正在执行旧 chunk 尾部独立生成的预测可能在切换处跳跃。VioLA 使用 Real-Time ChunkingRTC让下一个预测以推理期间已提交执行的 latent 为条件。4. 实验与结果4.1 设置任务族见过场景和物体未见过实验在 Unitree G1 和五指 Inspire 手上进行。六个运动/姿态任务来自 LeVERB七个操作任务来自 Humanoid Everyday任务族参与训练但 episode、实验室环境和物体实例 held out。论文中的 zero-shot 指没有任务特定微调。训练池包含 EgoSuite 人类数据和四个机器人数据集共 140.6 million 帧人类数据占 93.2%。主模型先在人类示范上训练 150k steps再在五个 corpus 上均匀采样训练 50k steps。4.2 零样本运动30/30六个任务包括站立、抬臂、弯腰、行走、坐下和起身。VioLA 完成 30/30发布的 GR00T N1.7 为 5/30Ψ₀ 为 0/30。图 3六个运动/姿态任务上VioLA 完成 30/30显著高于发布的 GR00T N1.7 和 Ψ₀。来源论文 Figure 3 上半部分。4.3 零样本操作31/35但抓取和保持仍难七个主要操作任务覆盖旋转椅子、合上笔记本、放置玩具、合上水壶、推鸭子、挂外套和收纳洗发水。VioLA 完成 31/3588.6%前五个任务全部成功挂外套 4/5收纳洗发水 2/5GR00T N1.7 为 0/35Ψ₀ 为 3/35。图 4七个主要操作任务中VioLA 完成 31/35失败集中在获取和保持物体。来源论文 Figure 3 下半部分。失败集中在物体获取和保持Store Shampoo 中机器人伸手时碰倒瓶子Hang Coat 中拿到外套后在折叠和返回前掉落。额外 bottle-carrying 任务 0/5失败覆盖抓取时机、抓取到行走的过渡和保持直立释放。计入后操作成功率从 88.6% 降至 77.5%。图 5从弯腰、合上笔记本到放置玩具的执行过程以及一次抓到外套后掉落的失败案例。来源论文 Figure 4。4.4 预测 motion而不是 joint论文将相近 latent 预测分组统计完整执行中的 distinct motion token。椅子旋转平均使用 60 个身体 token 和 31 个手部 token合上笔记本为 82 和 43行走需要 182 个身体 token站立约 20 个抬臂约 36 个。图 6复杂全身操作可以用少量 distinct motion token 描述控制器在每个 20ms 控制步继续生成关节命令。来源论文 Figure 5。这说明预测问题被改变了通用策略只需选择和时序化少量运动语义冻结 controller 负责把每个 latent 展开为随状态更新的连续关节协调。4.5 人类数据到底贡献了什么只用人类数据训练的变体在 locomotion 上完成 12/30包括弯腰 4/5、行走 3/5、坐下 2/5、起身 3/5说明编码人类运动可以直接监督真机行为但还不足以覆盖全部指令。在有机器人数据时human-then-mixed 完成 locomotion 30/30robot-only 为 24/30差距主要来自弯腰操作上相反robot-only 完成 33/35human-then-mixed 为 31/35主要差异是洗发水瓶抓取。图 7human-only、robot-only 和 human-then-mixed 的 locomotion 对比。人类数据提升身体运动但机器人数据在细粒度抓取上仍更重要。来源论文 Figure 6。猫先生认为这组消融比总成功率更有信息量人类数据主要补充身体运动的覆盖和语义机器人数据仍承担接触细节和可执行性。两者不是替代关系而是在不同任务族上互补。4.6 同一动作空间下的 backbone 比较论文用相同数据和训练预算比较 GR00T N1.7、π₀.5 和 DiT4DiT 三个 backbone。GR00T 和 DiT4DiT 都完成 30/30 locomotionπ₀.5 为 20/30。操作差异更大GR00T 31/35π₀.5 16/35DiT4DiT 9/35。延迟方面GR00T 为 160.2msπ₀.5 为 208.6msDiT4DiT 为 248.5ms。在 50Hz 控制下一次预测约占 8–12 个控制步这使得 chunk 切换连续性成为必要问题。4.7 RTC 减少 chunk 切换跳跃论文比较 RTC 开关时相邻 20ms 步之间身体 latent 的 L2 变化。没有 RTC 时chunk 切换处出现尖峰开启 RTC 后切换处变化接近正常步间变化。展示记录中Stand Still 的最大步变化从 0.332 降至 0.064Raise Arm 从 0.455 降至 0.070。5. 局限与结论局限集中在三处评测是单台 Unitree G1、13 个主任务、每任务 5 次覆盖范围有限细粒度抓取和物体保持仍不稳定尤其是抓取与行走组合任务能力上限受冻结 motion interface 限制手部 decoder 没有力反馈人类数据依赖运动标注。VioLA 的贡献收在三点用共享 motion latent 替代 joint command让人类示范通过同一 latent 变成机器人动作监督用冻结 controller 保证全身协调和 50Hz 连续执行。最值得带走的是人形通用策略不必直接学习全部关节协调选择“人的运动”并交给稳定控制器执行是一条可行的数据扩展路线。推荐阅读► 技术资讯 魔方 AI 新视界► 项目应用开源视界► 技术专栏 多模态大模型最新技术解读专栏 | AI 视频最新技术解读专栏 | 大模型基础入门系列专栏 | 视频内容理解技术专栏 | 从零走向 AGI 系列