首页/新闻资讯/正文详情

15000 FPS的实时运动生成:GR00T-WholeBodyControl中MotionBricks潜空间生成模型抢先体验

发布时间:2026/9/26 15:07:03 来源:云帆数科 栏目:资讯中心
15000 FPS的实时运动生成:GR00T-WholeBodyControl中MotionBricks潜空间生成模型抢先体验
15000 FPS的实时运动生成GR00T-WholeBodyControl中MotionBricks潜空间生成模型抢先体验【免费下载链接】GR00T-WholeBodyControlWelcome to GR00T Whole-Body Control (WBC)! This is a unified platform for developing and deploying advanced humanoid controllers. This includes: Decoupled WBC models used in NVIDIA Isaac-Gr00t, Gr00t N1.5 and N1.6 and GEAR-SONIC项目地址: https://gitcode.com/gh_mirrors/gr/GR00T-WholeBodyControlGR00T-WholeBodyControl 中的MotionBricks是一个实时运动生成框架它用大规模潜空间latent生成主干 直观的智能原语smart primitives在 Unitree G1 人形机器人上实现 15,000 FPS 的高质量零样本运动合成让你像搭积木一样快速构建复杂动画与机器人动作。本文带你快速上手这个模块的交互演示、模型架构和训练管线。一、MotionBricks 是什么为什么值得关注MotionBricks 是 GR00T-WholeBodyControl 仓库中的一个子项目位于motionbricks/目录主打两点模块化潜空间生成架构由 VQVAE 运动分词器 Pose 模型 Root 模型三部分组成把连续运动离散化、模块化推理极快️智能原语控制用 WASD 风格键即可实时切换僵尸步受伤走拳击行走手撑爬行等风格还能做捡剑、跳长椅、坐下等物体交互动作。它面向动画创作与机器人控制两个场景——上面的 teaser 图上半部分是游戏引擎中的人形动画下半部分就是 G1 真机同款骨骼上的实时生成结果。二、三大模型组件VQVAE 分词器、Pose 模型与 Root 模型MotionBricks 的核心思想是根运动root与身体姿态pose解耦 离散 token 化三个组件各司其职组件作用源码位置VQVAE运动分词器把 413 维的每帧运动特征编码为离散 codebook token支持重建与条件生成motionbricks/vqvae/models/motion_vqvae.pyPose 模型给定根轨迹与稀疏姿态约束预测离散 pose tokenmotionbricks/motion_backbone/models/pose_model.pyRoot 模型从稀疏约束出发预测连续的全局根轨迹位置 朝向motionbricks/motion_backbone/models/root_model.py运动表示方面当前配置使用DualRootGlobalJoints表示法跑在G1Skeleton34Unitree G1 的 34 关节骨骼上每帧特征向量共 418 维拆分为 414 维全局子集供 Root 模型和 413 维局部子集供 Pose/分词器两者通过无损失转换互转。详细推导可阅读官方文档运动表示与坐标系规范docs/motion_representation.md双根表示实现dual_root_global_joints.py三、快速上手一键运行 15000 FPS 交互演示1. 环境要求Python 3.10、CUDA GPU、Git LFS2. 克隆仓库并安装依赖git lfs install git clone https://gitcode.com/gh_mirrors/gr/GR00T-WholeBodyControl cd GR00T-WholeBodyControl/motionbricks conda create -n motionbricks python3.10 -y conda activate motionbricks pip install -e . # Linux 键盘输入需要 pip install pynput python-xlib 预训练 checkpoint约 2.2 GB默认不随普通克隆下载需要时可执行git lfs pull --includemotionbricks/out/**从仓库根目录拉取。文件校验命令见 motionbricks/README.md 的 Setup 章节。3. 启动交互式演示DISPLAY:1 python scripts/interactive_demo_g1.py启动后会弹出 MuJoCo 视图用键盘即可实时驱动 G1 机器人左键拖拽可改变相机视角。演示入口在 scripts/interactive_demo_g1.py其中还包含了一个禁用 MuJoCo 快捷键冲突的 X11 键捕获技巧。四、键盘控制清单方向键 10 种运动风格移动控制方向相对相机W前进 /A左移 /S后退 /D右移运动风格原语键风格V慢走Z/B手撑爬行 / 肘撑爬行X拳击行走R/C潜行 / 蹲伏潜行T受伤行走E欢快舞蹈行走F/G/Q僵尸步 / 持枪走 / 受惊走不按风格键时默认行为是不动 待机按 WASD 行走。风格可实时混合切换演示控制器每隔 8 帧重新生成一次 token 序列保证画面流畅衔接。五、从动画到真机智能原语的更多玩法除了行走类原语MotionBricks 还支持物体交互原语捡剑、跳跃翻越、坐下、跌倒等。下面这个演示中机器人实时生成了拾起并挥动剑的动作——注意这不是播放预录动画而是每帧由潜空间模型在线推理出来的。这些智能原语的意义在于上层应用游戏引擎、遥操作、GR00T N1.5/N1.6 等只需发出风格 意图底层就能输出连续、自然、零样本的关节轨迹极大降低了人形机器人动作设计的门槛。六、训练自己的模型三步训练管线仓库为三个组件都提供了训练脚本默认使用合成数据 synthetic_dataset.py无需真实数据集即可跑通全流程python scripts/train_vqvae.py # 训练 VQVAE 运动分词器 python scripts/train_pose.py # 训练 Pose 模型需先有 VQVAE 权重 python scripts/train_root.py # 训练 Root 模型独立想在自己的动作数据或其他机器人上训练官方给了两条路径建议复用 MotionBricks 的运动表示G1Skeleton34只需替换数据加载器自建数据管线仅把 VQVAE/Pose/Root 的建模结构当参考官方更推荐因为 tokenizer 对运动表示没有强限制。详细指南见docs/adding_your_own_dataset.md关键代码入口包括特征计算的 motion_features.py 和最小数据集接口 synthetic_dataset.py。七、写在最后它在整个仓库里的位置MotionBricks 与 GEAR-SONIC 一起构成了 NVIDIA GR00T 全身控制计划的两大支柱前者提供实时生成任意运动的能力后者提供把运动落到真机的全身控制策略。按照路线图MotionBricks 将更深地嵌入 GEAR-SONIC 的训练管线中形成完整的生成 → 跟踪 → 部署闭环。上手建议 想快速看效果先跑interactive_demo_g1.py10 分钟体验 15,000 FPS 实时生成 想理解原理精读 motion_representation.md 中的特征维度表️ 想二次开发从 train_vqvae.py 的合成数据路径切入替换为自己的 Dataset 即可。【免费下载链接】GR00T-WholeBodyControlWelcome to GR00T Whole-Body Control (WBC)! This is a unified platform for developing and deploying advanced humanoid controllers. This includes: Decoupled WBC models used in NVIDIA Isaac-Gr00t, Gr00t N1.5 and N1.6 and GEAR-SONIC项目地址: https://gitcode.com/gh_mirrors/gr/GR00T-WholeBodyControl创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

相关推荐

Ruckus 胖 AP 配置全攻略:从模式判断到 SSID 广播与固件升级
Ruckus 胖 AP 配置全攻略:从模式判断到 SSID 广播与固件升级

简介:这份PPT文档面向无线网络运维人员与网络工程师,系统讲解Ruckus胖AP的配置方法,帮助解决设备初次上线、信道规划与安全加密等实际问题。内容涵盖管理界面HTTPS访问与SSL/TLS启用、SSID密钥必须采用AES加密、固定使用1/6/11等信道、通过CL… · 2026/9/26 15:06:57

旋转编码器+LED视觉反馈系统设计与实现
旋转编码器+LED视觉反馈系统设计与实现

1. 项目本质与核心价值:这不是一个“旋钮LED”的简单组合,而是一套精密的人机交互信号链EC12D1564402 和 R7KA8T2LFLCAC 这两个型号,乍看像一串随机字符,但拆开来看,它们各自承载着明确的工程语义。EC12D1564402 是欧姆… · 2026/9/26 15:06:57

从免费CRM到私有化部署:DeskcommCRM实现数据自主与永久在线
从免费CRM到私有化部署:DeskcommCRM实现数据自主与永久在线

做CRM选型这几年,我见过太多团队在“免费CRM”和“自建系统”之间反复横跳。免费SaaS CRM看着香,用起来却发现数据不归自己、字段改不动、导出还受限;自建系统自由度是高了,但没点技术底子又根本撑不起来。直到后来我围绕Deskcomm… · 2026/9/26 15:06:57

BK7238单芯片双模架构:Wi-Fi与BLE硬件级共生设计
BK7238单芯片双模架构:Wi-Fi与BLE硬件级共生设计

1. BK7238不是“又一个Wi-FiBLE芯片”,而是架构级重构的产物你可能已经见过太多标着“Wi-Fi BLE双模”的SoC宣传页——参数表里堆满“支持802.11b/g/n”“BLE 5.0/5.1/5.2”“内置PA/LNA”之类的标准话术,点开 datasheet 却发现:Wi-Fi和BLE模… · 2026/9/26 15:37:36

Obsidian + Claude Code + 微信AI 三系统缝合:TaoToken 统一 Key 配置与联调验证
Obsidian + Claude Code + 微信AI 三系统缝合:TaoToken 统一 Key 配置与联调验证

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/26 15:37:36

Windows命令提示符权限模型深度解析:启动方式决定操作成败
Windows命令提示符权限模型深度解析:启动方式决定操作成败

1. 这不是“点开一个窗口”那么简单:命令提示符背后的真实价值与使用误区很多人看到“如何打开命令提示符”这个标题,第一反应是:“不就是按个WinR,输cmd回车吗?”——这话没错,但只说对了0.1%。真正决定你… · 2026/9/26 15:37:36

客房部绩效考核管理制度与绩效提升策略
客房部绩效考核管理制度与绩效提升策略

客房部作为酒店服务质量的前线窗口,其员工绩效直接关系到客户体验与经营成效。为了保证服务标准与团队效率,科学的绩效考核机制成为日常管理的核心抓手。传统评分方式面临主观性强、数据价值未被充分利用等问题,推动考核机制升级成为必然趋势。 本文聚焦客房部绩效考核制度… · 2026/9/26 15:37:30

大堂经理绩效考核指标量表与提升路径
大堂经理绩效考核指标量表与提升路径

在高竞争的酒店行业中,前厅部作为客户接触最直接的核心区域,其管理质量直接决定了客户的第一印象和整体满意度。大堂副理作为前厅管理的关键岗位,既承担着运营执行责任,也代表着服务质量标准。 本文围绕大堂副理的绩效考核体系,详解各项KPI指标的设置与应用,并通过统计分… · 2026/9/26 15:37:24

【运维监控】Prometheus+grafana监控spring boot 3运行情况
【运维监控】Prometheus+grafana监控spring boot 3运行情况

运维监控系列文章入口:【运维监控】系列文章汇总索引 最近在研究 AI BI(智能数据分析) 的落地实践。 敬请期待后续专题实战系列:《从零手把手教你搭建 AI 驱动的 BI 系统》,将覆盖 Text2SQL、多轮对话、语义层、权限… · 2026/9/26 15:37:24

数据库课后习题答案别硬背:当测试用例集刷,效率翻倍
数据库课后习题答案别硬背:当测试用例集刷,效率翻倍

简介:万常选版《数据库原理与设计》课后习题答案资源,覆盖第2至6章及第9章,适合正在学习关系模型、数据库建模、关系数据理论与模式求精的本科生、自学者作为复习与自测材料。压缩包共7个文件,含3个doc参考答案、2个sql示例脚本、… · 2026/9/26 0:00:21

OpenClaw 替代品?Hermes Agent 踩坑实录:macOS 飞书接入 TaoToken 配置
OpenClaw 替代品?Hermes Agent 踩坑实录:macOS 飞书接入 TaoToken 配置

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/26 0:00:40

向下兼容与向上兼容:接口设计中的兼容性策略与工程实践
向下兼容与向上兼容:接口设计中的兼容性策略与工程实践

一次版本升级事故,是很多团队绕不过去的坎。线上环境里,服务端明明已经上线了新版接口,老的移动端还在照着旧文档传参数。请求一到网关,校验直接拒绝,用户操作失败,客服群炸了锅,开发群里开始互… · 2026/9/26 0:00:46

了解更多?预约专属演示

我们的顾问将为您一对一讲解产品与方案

企业微信二维码