首页/新闻资讯/正文详情

VR全身遥操作实战:GR00T-WholeBodyControl配PICO实现跪地、跳跃、双手协作等8种高难度动作

发布时间:2026/9/25 20:35:14 来源:云帆数科 栏目:资讯中心
VR全身遥操作实战:GR00T-WholeBodyControl配PICO实现跪地、跳跃、双手协作等8种高难度动作
VR全身遥操作实战GR00T-WholeBodyControl配PICO实现跪地、跳跃、双手协作等8种高难度动作【免费下载链接】GR00T-WholeBodyControlWelcome to GR00T Whole-Body Control (WBC)! This is a unified platform for developing and deploying advanced humanoid controllers. This includes: Decoupled WBC models used in NVIDIA Isaac-Gr00t, Gr00t N1.5 and N1.6 and GEAR-SONIC项目地址: https://gitcode.com/gh_mirrors/gr/GR00T-WholeBodyControlGR00T-WholeBodyControl是 NVIDIA 开源的人形机器人全身控制Whole-Body Control, WBC统一平台支持 Decoupled WBCGR00T N1.5/N1.6 所用控制器与最新的 GEAR-SONIC 全身行为基础模型。本教程带你用PICO VR 头显 全身动捕完成一次真人动作 → 机器人动作的低延迟全身遥操作让 Unitree G1 人形机器人跟随你完成跪地、下蹲、前跳、爬行、双手协作搬运等高难度动作。全程只需 3 个终端命令即可在 MuJoCo 仿真中跑通。️ 效果预览3点/全身 VR 遥操作下方演示使用 SONIC Low-Latency 检查点约 80 ms 参考前瞻完成全身追踪与地面拾取动作响应明显更快遥操作脚本位于 gear_sonic/scripts/pico_manager_thread_server.py完整操作文档见 docs/source/tutorials/vr_wholebody_teleop.md。 开始前的硬件清单设备数量说明PICO 4 / PICO 4 Pro 头显1负责头部与双手追踪PICO 手柄2按键控制 手部追踪PICO 动作追踪器2绑在左右脚踝实现下半身追踪高速低延迟 Wi-Fi1 套头显与工作站同网段网络质量直接决定体验⚠️ 安全提示务必穿紧身裤或打底裤保证脚踝追踪器对头显摄像头无遮挡全身遥操作涉及快速敏捷动作请始终保持安全空域并安排一名安全员待命。 一次性配置4 步装好 PICO 遥操作环境完整图文版见 docs/source/getting_started/vr_teleop_setup.md这里只列关键步骤。第 1 步安装 XRoboToolkitPC 服务 PICO 端 AppXRoboToolkit 由两部分组成运行在工作站上的 PC 服务和运行在头显里的 PICO App后者负责把全身追踪数据流式推送给 PC。仓库已内置 Jetson 平台安装包 gear_sonic_deploy/thirdparty/roboticsservice_1.0.0.0_arm64.debSDK 源码在 external_dependencies/XRoboToolkit-PC-Service-Pybind_X86_and_ARM64/。第 2 步绑脚踝追踪器并配对校准将两个追踪器分别绑在左右脚踝指示灯一侧朝上并在 PICO 设置中关闭 Safeguard、重新配对追踪器最后按住蓝色Calibrate按钮完成两段校准站立静止 → 低头对准脚踝追踪器第 3 步一条命令装好 Python 环境在仓库根目录执行详见 install_scripts/install_pico.shbash install_scripts/install_pico.sh source .venv_teleop/bin/activate # 提示符变为 (gear_sonic_teleop)该脚本自动创建.venv_teleop虚拟环境Python 3.10包含 ZMQ、Pinocchio、MuJoCo、XRoboToolkit SDK 与 Unitree SDK2 绑定无需手动装依赖。第 4 步连接 PICO 到工作站确认头显与 PC 在同一 Wi-Fi 网段在 PICO 控制中心查看本机 IPv4 地址然后在头显内的 XRoboToolKit App 中填入工作站 IP状态显示WORKING即连接成功勾选 Head、Controller 追踪开启Send并选择Full body模式 三步跑通仿真中的全身遥操作确认已按 docs/source/getting_started/quickstart.md 完成部署安装与模型下载python download_from_hf.py遥操作更跟手可选--low-latency然后开3 个终端终端命令作用1python gear_sonic/scripts/run_sim_loop.pyMuJoCo 中的虚拟 G1 机器人2cd gear_sonic_deploy source scripts/setup_env.sh ./deploy.sh --input-type zmq_manager simC/TensorRT 控制主循环等出现 Init done3python gear_sonic/scripts/pico_manager_thread_server.py --manager --vis_vr3pt --vis_smplPICO 遥操作流带可视化窗口--input-type zmq_manager会在规划器模式ZMQ 运动指令与全身动作流模式PICO 的 SMPL 姿态间自动切换。部署入口为 gear_sonic_deploy/deploy.shC 推理栈源码在 gear_sonic_deploy/src/g1/。首次操控会话4 个按键走天下摆校准姿势直立并脚站立、上臂下垂、前臂向前弯 90°肘部呈 L 形、掌心朝内按ABXY启动策略并完成全身全零校准CALIB_FULL手臂与机器人当前姿态对齐后按AX进入POSE全身遥操作模式——你动它就动再按AX回到PLANNER空闲模式按ABXY急停关机。常用按键速查表操作按键说明启动/急停策略ABXY首次按下启动全身校准再按紧急停止POSE 全身遥操作AXPLANNER ↔ POSE 切换上身冻结行走BYPOSE ↔ PLANNER_FROZEN_UPPER3点 VR 控制左摇杆按下进入 VR_3PT头双手触发腕部重校准手部抓握扳机键控制对应手部开合实现双手协作移动方向 / 转向左摇杆 / 右摇杆前进、后退、横移 / 偏航切换运动模式AB / XY循环切换 20 种运动技能⚠️ 每次切入 POSE 或 VR_3PT 前先让身体姿态与机器人当前姿态对齐否则机器人会出现猛烈的补偿动作。 8 种高难度动作实战在规划模式下用AB / XY循环运动模式用AX随时切到 POSE 模式用你的身体直接演给机器人。下表是本教程主角ID动作玩法提示4下蹲 Squat下蹲后保持POSS 模式下双手可自由操作5 / 6双膝跪 / 单膝跪低姿态近地作业入口7俯卧与爬行衔接8爬行 Crawling肘爬/手爬组合配合左右横移17前跳 Forward Jump低延迟检查点下起跳时机更准18潜行 Stealth Walk压低重心的快走19受伤跛行 Injured Walk单腿支撑的失衡步态POSE 双手协作双手抓握 地面拾取扳机开合双手演示视频中有完整下蹲拾取流程对应的技能视频资产在 docs/source/_static/kinematic_planner/遥操作全流程录像在 docs/source/_static/teleop/含进阶动作、双手操作与自然运动示例。️ 安全与故障排查紧急停止PICO 手柄按ABXY或在 C 终端直接按键盘O立即停机追踪飘忽优先排查网络5 GHz 优先、脚踝追踪器是否被衣物遮挡、Safeguard 是否已关闭VR_3PT 校准失败左摇杆冻结上身 → 重新对齐手臂 → 按 AX 切回 POSE 复位真机部署前请先关掉仿真进程run_sim_loop.py两者同时运行会冲突。 延伸模块路径VR 遥操作教程docs/source/tutorials/vr_wholebody_teleop.mdPICO 硬件安装docs/source/getting_started/vr_teleop_setup.mdPICO 环境一键安装脚本install_scripts/install_pico.shPICO 数据流服务含模式状态机gear_sonic/scripts/pico_manager_thread_server.pyC 推理与 ZMQ 协议gear_sonic_deploy/src/仿真主循环gear_sonic/scripts/run_sim_loop.py遥操作数据导出用于 VLA 训练gear_sonic/scripts/run_data_exporter.py低延迟检查点观测配置gear_sonic_deploy/policy/release/observation_config_low_latency.yaml掌握以上流程后你还可以把遥操作数据导出为 VLA 训练集见 docs/source/tutorials/data_collection.md让 G1 在 SONIC 全身控制之上学会真正的自主操作技能。祝你操控愉快【免费下载链接】GR00T-WholeBodyControlWelcome to GR00T Whole-Body Control (WBC)! This is a unified platform for developing and deploying advanced humanoid controllers. This includes: Decoupled WBC models used in NVIDIA Isaac-Gr00t, Gr00t N1.5 and N1.6 and GEAR-SONIC项目地址: https://gitcode.com/gh_mirrors/gr/GR00T-WholeBodyControl创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

相关推荐

【含视频】官方WorkBuddy应用师认证教程02高 效 对 话 技 巧
【含视频】官方WorkBuddy应用师认证教程02高 效 对 话 技 巧

视频教程地址: WorkBuddy应用师认证教程02高效对话技巧0101LLM工作原理基础-CSDN直播 WorkBuddy应用师认证教程02高效对话技巧02Prompt工程基础-CSDN直播 WorkBuddy应用师认证教程02高效对话技巧03Prompt实践-CSDN直播 第 二 章 高 效 对 话 技 巧 围绕提问方式… · 2026/9/25 20:35:08

自托管云开发平台Coder接入AI编码代理:部署实践与踩坑指南
自托管云开发平台Coder接入AI编码代理:部署实践与踩坑指南

如果你正在寻找一套能自己控制的云开发环境,Coder 这个名字应该不陌生。它是一个自托管云开发平台的典型代表,我最近把 Coder 和 AI 编码代理接在一起用了一轮,整体跑下来感受很深:环境管理可以像资源调度一样干净利落&#xff0c… · 2026/9/25 20:34:30

光伏电池发电原理:从光子到电子的能量转换之旅
光伏电池发电原理:从光子到电子的能量转换之旅

1. 引言 随着全球对清洁能源需求的日益增长,光伏发电作为最具代表性的可再生能源技术之一,正走进千家万户。从屋顶的分布式光伏板到广袤的沙漠光伏电站,光伏电池将太阳光直接转化为电能,为人类提供源源不断的绿色电力。那么&#… · 2026/9/25 20:34:18

Kettle 结果集跨转换传递:作业变量与循环落地实战
Kettle 结果集跨转换传递:作业变量与循环落地实战

简介:这份资源面向使用Kettle(Pentaho Data Integration)进行数据集成开发的工程师,聚焦「循环获取结果集并传入转换」这一典型场景,解决作业与转换之间变量传递、结果集逐行迭代处理的问题。包内共1个PDF文件&#xf… · 2026/9/25 23:39:46

多智能体架构如何让AI代码审查从提示词走向产线
多智能体架构如何让AI代码审查从提示词走向产线

做 AI 代码审查这件事,几乎每个团队都走过同一条路:先拿大模型写个提示词,把 MR 的 diff 贴进去,让模型“看看有什么问题”,demo 效果惊艳得不行,觉得上线只是时间问题;可真把它挂到 CI 上&… · 2026/9/25 23:39:46

Codex CLI用户专属:My-Brain-Is-Full-Crew在Windows/WSL环境部署实战指南
Codex CLI用户专属:My-Brain-Is-Full-Crew在Windows/WSL环境部署实战指南

Codex CLI用户专属:My-Brain-Is-Full-Crew在Windows/WSL环境部署实战指南 【免费下载链接】My-Brain-Is-Full-Crew Built by a PhD whose memory was failing, whose diet was a mess, and whose anxiety had its own agenda. Most second brain tools ignore the f… · 2026/9/25 23:39:34

Docker-Compose部署灯塔ARL资产侦察系统V2.6.2实战指南
Docker-Compose部署灯塔ARL资产侦察系统V2.6.2实战指南

简介:灯塔ARL资产侦察系统V2.6.2是一套面向安全团队与渗透测试人员的互联网资产侦察工具,用于快速发现与目标关联的域名、IP及服务资产,构建基础资产信息库,从而定位薄弱点与攻击面。资源以保姆级部署教程形式呈现,重点… · 2026/9/25 23:39:28

MinIO Java分片上传与断点续传实战:从5MB硬限制到生产级容错
MinIO Java分片上传与断点续传实战:从5MB硬限制到生产级容错

简介:本资源是一套面向Java后端开发者与云存储集成工程师的MinIO高性能文件上传实战示例,聚焦分片上传与断点续传两大核心场景,解决大文件稳定上传、网络中断恢复及服务端资源优化等实际问题。压缩包共13个文件,含7个Java后端类&a… · 2026/9/25 23:39:02

传统机器学习图像分类实战:小样本、低算力、高可解释性方案
传统机器学习图像分类实战:小样本、低算力、高可解释性方案

简介:本资源是一套面向机器学习初学者与图像处理开发者的实践型工具包,聚焦SVM与贝叶斯算法在图像分类任务中的工程实现,解决传统方法中特征提取、模型训练与效果对比等关键环节的落地难题。压缩包共216个文件,含102幅BMP格式样本… · 2026/9/25 23:37:45

数值优化(Numerical Optimization)学习系列-03-共轭梯度方法(Conjugate Gradient)
数值优化(Numerical Optimization)学习系列-03-共轭梯度方法(Conjugate Gradient)

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/25 1:00:31

创维E900V22D刷机全攻略:S905L3SB芯片兼容性解析与救砖实战
创维E900V22D刷机全攻略:S905L3SB芯片兼容性解析与救砖实战

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/25 1:00:31

MQTT协议原理与Broker服务器搭建实战:从Mosquitto到EMQX
MQTT协议原理与Broker服务器搭建实战:从Mosquitto到EMQX

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/25 1:00:37

了解更多?预约专属演示

我们的顾问将为您一对一讲解产品与方案

企业微信二维码