揭秘Universal Token架构GR00T-WholeBodyControl如何用单解码器统一4种运动输入【免费下载链接】GR00T-WholeBodyControlWelcome to GR00T Whole-Body Control (WBC)! This is a unified platform for developing and deploying advanced humanoid controllers. This includes: Decoupled WBC models used in NVIDIA Isaac-Gr00t, Gr00t N1.5 and N1.6 and GEAR-SONIC项目地址: https://gitcode.com/gh_mirrors/gr/GR00T-WholeBodyControlGR00T-WholeBodyControl 是 NVIDIA 推出的人形机器人全身控制WBC统一开发平台其核心亮点 GEAR-SONIC 控制器用一套Universal Token通用令牌架构把 G1 动作参考、SMPL 人体动作、SOMA 人体骨架、VR 遥操作这 4 种异构运动输入压缩成统一的 64 维运动令牌最终由一个解码器直接输出关节动作。本文将用通俗语言拆解这套架构的设计奥秘。 先搞懂问题为什么需要统一运动输入人形机器人想学会各种运动参考信号来源往往各不相同机器人自身的动作库如 G1 的关节序列人类动作捕捉数据SMPL 人体模型、SOMA 骨架VR 头显/手柄的实时遥操作信号3 点追踪传统做法是给每种输入训练一个独立控制器维护成本高、能力无法迁移。SONIC 的思路是只要能把所有输入映射到同一个运动语义空间一个策略网络就能通用所有输入。 4 种编码器把异构输入翻译成同一种语言在配置 gear_sonic/config/actor_critic/universal_token/all_mlp_v1_soma.yaml 中可以看到 4 个编码器并行挂载编码器输入内容配置文件g1G1 机器人多帧未来关节指令encoders/g1_mf_mlp.yamlteleopVR 3 点位置/姿态目标encoders/teleop_mlp.yamlsmplSMPL 人体关节未来序列encoders/smpl_mlp.yamlsomaSOMA 骨架关节 手腕位置encoders/soma_mlp.yaml每个编码器本质上是一个 MLP 网络隐层 [2048, 1024, 512, 512]SiLU 激活把各自形态不同的输入向量投影到同一个潜在空间。 FSQ 量化64 维令牌是压缩的语义编码结果并不是直接传给解码器中间还夹了一道FSQFinite Scalar Quantization有限标量量化量化器配置见 gear_sonic/config/actor_critic/quantizers/fsq.yaml参数num_fsq_levels: 32、max_num_tokens: 2即2 个令牌 × 32 维 64 维运动令牌这道瓶颈有两个妙处强制信息压缩不同输入源只有表达出语义一致的潜在表示才能通过量化天然促使 4 种输入对齐到同一空间预留扩展接口代码支持latent_residual潜在残差注入上层交互策略可以在不重训基础模型的情况下修改令牌、干预动作见 universal_token_modules.py 中encode()与forward()的 residual 逻辑。 单一解码器为什么一个出口是灵魂所有编码器输出的令牌汇入同一个批次张量后assemble_all_tokens按编码器掩码拼批统一送入解码器g1_dyn令牌 本体感知 → 关节空间动作配置见 decoders/g1_dyn_mlp.yamlg1_kin令牌 → 重建未来运动指令用于重建辅助损失配置见 decoders/g1_kin_mf_mlp.yaml单一解码器带来的收益很直接参数高效动力学知识只学一遍4 种输入共享迁移免费VR 遥操作中练到的平衡能力自动惠及动作跟踪场景部署简单推理时只需编码器选一个 解码器一个官方 ONNX 模型也只拆成model_encoder.onnx/model_decoder.onnx两件套。 核心代码与配置地图想深入阅读按这条链路走即可核心模块编码 → 量化 → 解码全流程gear_sonic/trl/modules/universal_token_modules.py完整架构配置含 4 编码器 2 解码器universal_token/all_mlp_v1_soma.yaml训练入口gear_sonic/train_agent_trl.py部署端 C 推理TensorRTgear_sonic_deploy/src/TRTInference/官方部署说明docs/source/references/deployment_code.md 小结这套架构教会我们的三件事先统一表示再谈通用——异构输入的价值在于共享潜在空间而非堆模型量化瓶颈是隐式的对齐器——FSQ 让不同编码器的输出被迫说同一种语言单解码器 知识复用——运动技能只学一次任何新输入接入编码器即可使用。正是这多编码器 单一解码器的 Universal Token 设计让 GR00T-WholeBodyControl 用一个 50 Hz 控制器同时支撑动作跟踪、VR 遥操作与 VLA 数据收集成为其人形机器人控制器生态的基石。【免费下载链接】GR00T-WholeBodyControlWelcome to GR00T Whole-Body Control (WBC)! This is a unified platform for developing and deploying advanced humanoid controllers. This includes: Decoupled WBC models used in NVIDIA Isaac-Gr00t, Gr00t N1.5 and N1.6 and GEAR-SONIC项目地址: https://gitcode.com/gh_mirrors/gr/GR00T-WholeBodyControl创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
企业数字化 ERP 产品动态
相关推荐
C++跨平台获取系统版本：Windows/Linux/macOS源码与避坑指南 先说一个我真实遇到过的事。早些年做内部工具时，一个模块在 Windows 7 测试机上跑得好好的，搬到 Windows 10 用户机器上就报驱动加载错误。排查的第一步永远是问用户系统版本，但很多用户自己都说不清楚。后来我干脆在日志里打印系统版本&… · 2026/9/26 5:23:58
第22届双车协同竞速赛题构想 第22届双车协同赛题构思01 【双车协同赛题】 卓老师您好！我是刚打完21届智能小车走马观碑组的队员， 向您提交22届双车协同竞速赛题构想： 赛题参考野外无人侦察编队， 复用21届走马观碑三轮、雁过留痕四轮两套成熟硬件平台&#x… · 2026/9/26 5:23:58
X-AnyLabeling：面向YOLO与UNet的高精度本地标注工具 1. 为什么我放弃Label Studio和CVAT，最终把X-AnyLabeling设为团队标注主工具去年带一个遥感图像地物识别项目时，我们团队在标注环节卡了整整三周。最初用的是Label Studio——界面漂亮、支持多人协作，但实际跑起来问题一堆：标注员… · 2026/9/26 5:23:52
让AI Agent读懂你的代码库：zvec-grep接入Claude Code、Codex与Cursor完整教程 让AI Agent读懂你的代码库：zvec-grep接入Claude Code、Codex与Cursor完整教程 【免费下载链接】zvec-grep Local-first search across your workspace, built for humans and AI agents. 项目地址: https://gitcode.com/gh_mirrors/zv/zvec-grep
zvec-grep&a… · 2026/9/26 5:56:56
安全带检测数据集实战：8400张YOLO格式标注与YOLOv8训练指南 1. 为什么安全带检测值得单独做一个数据集1.1 从一张卡口图说起前阵子帮一个做智慧交通的朋友看他们新上线的高空卡口相机，画面里一辆白色轿车前排两个人，驾驶员系了安全带，副驾没系。人眼一眼就能分辨，但后台的算法模型给出的结果… · 2026/9/26 5:56:49
MySQL输入密码后闪退的根因排查与解决思路 你是不是也遇到过这种场景：在终端敲下mysql -u root -p，回车，MySQL 提示输入密码，等你把密码敲完，程序一句话都不说就退回 shell。在 Windows 上甚至更夸张，整个命令窗口直接一闪而过，连个 ERRO… · 2026/9/26 5:56:49
2026项目管理软件选型实测：10款主流工具对比与避坑指南 2026年开年这两个月，我前前后后替七八个团队做过项目管理软件选型评估，有小创业公司，有上市公司的产品部门，也有刚做完数字化改造的传统工厂。大家问的方式大同小异：市面上这么多项目管理软件，到底哪款最好… · 2026/9/26 5:56:49
YOLO安全带检测数据集：8400张标注图像与训练全流程实战 1. 为什么安全带检测值得单独做一个数据集做过智慧交通项目的人都有一个共识：车牌识别、车辆检测这些任务，开源数据集一抓一大把，但涉及到车内驾驶员行为、乘客是否系安全带这类细粒度识别，公开可用的高质量数据就非常稀缺了。我前… · 2026/9/26 5:56:49
MySQL输入密码后闪退？排查服务、端口与路径的完整指南 很多人第一次在Windows上装MySQL，都会撞上一个让人抓狂的场景：双击桌面上的MySQL Command Line Client，输入密码，再一按回车，窗口啪地一下就没了，跟没来过一样。重新打开再输一遍，还是闪退&… · 2026/9/26 5:56:49
数据库课后习题答案别硬背：当测试用例集刷，效率翻倍 简介：万常选版《数据库原理与设计》课后习题答案资源，覆盖第2至6章及第9章，适合正在学习关系模型、数据库建模、关系数据理论与模式求精的本科生、自学者作为复习与自测材料。压缩包共7个文件，含3个doc参考答案、2个sql示例脚本、… · 2026/9/26 0:00:21
OpenClaw 替代品？Hermes Agent 踩坑实录：macOS 飞书接入 TaoToken 配置 /* MD / 富文本中的 .toc（含博客园搬家等嵌套结构）；.toc-box 在侧栏，不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p（:empty 仍占 20px），一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/26 0:00:40
向下兼容与向上兼容：接口设计中的兼容性策略与工程实践 一次版本升级事故，是很多团队绕不过去的坎。线上环境里，服务端明明已经上线了新版接口，老的移动端还在照着旧文档传参数。请求一到网关，校验直接拒绝，用户操作失败，客服群炸了锅，开发群里开始互… · 2026/9/26 0:00:46
