GR00T-WholeBodyControl数据采集教程：从VR遥操作到LeRobot数据集的完整路径

GR00T-WholeBodyControl数据采集教程从VR遥操作到LeRobot数据集的完整路径【免费下载链接】GR00T-WholeBodyControlWelcome to GR00T Whole-Body Control (WBC)! This is a unified platform for developing and deploying advanced humanoid controllers. This includes: Decoupled WBC models used in NVIDIA Isaac-Gr00t, Gr00t N1.5 and N1.6 and GEAR-SONIC项目地址: https://gitcode.com/gh_mirrors/gr/GR00T-WholeBodyControlGR00T-WholeBodyControl 是 NVIDIA 开源的人形机器人全身控制WBC统一平台覆盖 GR00T N1.5/N1.6 的 Decoupled WBC 控制器与 GEAR-SONIC 系列策略。本文是一份数据采集教程带你用 PICO VR 遥操作 Unitree G1 人形机器人把示教演示一键录制为 LeRobot 数据集为后续用 Isaac-GR00T 微调 VLA视觉-语言-动作模型做好准备。先记住一个核心架构后面所有步骤都围绕它展开除摄像头服务运行在机器人本体上外其余组件C 部署、PICO 遥操作流、数据导出器全部跑在工作站上摄像头服务通过 ZMQ 把 JPEG 图像帧推送到工作站。为什么需要 VR 遥操作数据采集机器人学会做任务最可靠的途径之一是让人通过 VR 头显实时带动机器人完成操作系统同步记录机器人状态、人体姿态和相机画面。GR00T-WholeBodyControl 内置了完整的采集链路数据源运行位置提供内容C 部署5557 端口工作站关节位置/速度、IMU 姿态PICO 遥操作流5556 端口工作站SMPL 人体姿态遥操作目标动作摄像头服务5555 端口机器人本体第一视角 可选腕部相机画面三路数据最终被数据导出器汇聚按 LeRobot v2.1 格式写成parquet mp4数据集可直接喂给下游训练流程。官方完整文档见 docs/source/tutorials/data_collection.md。第 0 步一键安装数据采集环境所有脚本都从仓库根目录执行。仓库使用 Git LFS 管理大文件网格、ONNX 模型克隆前先安装git-lfs并执行git lfs pull。git clone https://gitcode.com/gh_mirrors/gr/GR00T-WholeBodyControl cd GR00T-WholeBodyControl git lfs pull然后在工作站运行安装脚本# 数据采集环境.venv_data_collectionLeRobot、PyAV、OpenCV 等 bash install_scripts/install_data_collection.sh # VR 遥操作环境.venv_teleopZMQ、Pinocchio、XRoboToolkit SDK 等 bash install_scripts/install_pico.sh脚本基于uv自动创建 Python 3.10 虚拟环境并顺带安装espeak用于录制时的语音反馈。两个环境与仿真环境.venv_sim相互独立互不污染。对应脚本install_scripts/install_data_collection.sh、install_scripts/install_pico.sh。 如果暂时没有真机可先跑仿真环境bash install_scripts/install_mujoco_sim.sh整条采集链路在 MuJoCo 里就能完整走通。第 1 步PICO VR 遥操作硬件准备清单 硬件清单缺一不可PICO 4 / PICO 4 Pro 头显2 × PICO 手柄2 × PICO 动作追踪器绑在脚踝上用于全身追踪高速低延迟 Wi-Fi遥操作体验强依赖网络质量1.1 安装 XRoboToolkitPC 服务 PICO 端 AppXRoboToolkit 负责把头显的全身追踪数据流式传到工作站PC 服务装在工作站PICO 端 App 装进头显。在 PICO 自带浏览器中搜索 xrobotoolkit找到 APK 下载入口并安装1.2 穿戴脚踝追踪器并校准把两个追踪器分别绑在左右脚踝指示灯面朝向外、不被裤腿遮挡然后按Calibrate完成两段式校准站立摆臂 → 低头识别脚部追踪器1.3 连接工作站网络确认 PICO 与工作站处于同一 Wi-Fi记下工作站 IPv4 地址如 192.168.x.x打开 PICO 上的 XRoboToolkit App输入工作站 IP看到WORKING即连接成功同时确认 Tracking 勾选 Head/Controller、PICO Motion Tracker 选 Full body、Data/Control 勾选 Send详细步骤见 docs/source/getting_started/vr_teleop_setup.md。第 2 步机器人端配置摄像头服务摄像头是采集链路上唯一需要装在机器人上如 Jetson Orin的组件它负责把 OAK 相机第一视角 OAK-D W 可选双腕相机的画面通过 ZMQ 推给工作站。# 在机器人上克隆仓库后执行 bash install_scripts/install_camera_server.sh脚本会自动创建.venv_camera环境含 DepthAI SDK→ 探测所有 OAK 相机的 MxID → 询问每台相机的安装位置ego / 左腕 / 右腕→ 询问是否注册为systemd 服务推荐开机自启。手动配置模板在 systemd/composed_camera_server.service。 官方还提供 OAK-D W 头载相机的 3D 打印支架图纸打印参数与安装方式见 hardware/camera_mount/README.md。验证服务sudo systemctl status composed_camera_server.service。此时数据导出器和相机查看器只需把--camera-host指向机器人 IPG1 默认192.168.123.164即可收到画面。第 3 步一键启动 tmux 数据采集推荐一切就绪后只需一条命令启动整套采集栈需先sudo apt install tmux# 仿真模式自动附带 MuJoCo 仿真窗口无需真机与摄像头服务 python gear_sonic/scripts/launch_data_collection.py --sim # 真机模式连接机器人摄像头服务并标注任务 python gear_sonic/scripts/launch_data_collection.py \ --camera-host 192.168.123.164 \ --task-prompt pick up the cup启动器会自动拉起一个 4 窗格 tmux 会话C 部署 / PICO 遥操作 / 数据导出器 / 相机查看器支持鼠标点选与滚轮无需手动激活虚拟环境。常用参数参数默认值说明--task-promptdemo本批次数据的语言任务描述写入数据集标注--dataset-name时间戳自动命名指定已有名称可向同一数据集追加 episode--data-exporter-frequency50录制频率Hz--record-wrist-cameras关闭同时录制左右腕部相机流--no-text-to-speech开启语音禁用 espeak 语音反馈录制控制戴上头显直接按操作效果左 Grip A开始 / 结束并保存一个 episode左 Grip B丢弃当前 episode落盘但标记删除后处理时自动清理键盘c/x同上经 ZMQ 5580 端口发送 低延迟模式下遥操作手感与抓取效果如下演示第 4 步LeRobot 数据集输出格式录制完成后数据集按LeRobot v2.1格式保存在outputs/数据集名/下outputs/2026-04-03-14-30-00-G1-robot01/ ├── data/ │ └── train-00000.parquet # 关节状态、动作、任务标注表格数据 ├── videos/ │ ├── observation.images.ego_view/ │ │ └── episode_000000.mp4 # H264 编码的第一视角视频 │ ├── observation.images.left_wrist/ # 仅 --record-wrist-cameras 时存在 │ └── observation.images.right_wrist/ └── meta/ ├── info.json # fps、特征、规模等元数据 ├── episodes.jsonl # 逐 episode 元数据 └── tasks.jsonl # 任务提示词定义每帧包含关节位置/速度、机身 6D 朝向与重力方向、第一视角图像、遥操作目标关节与朝向action 通道、任务描述标注——与 Isaac-GR00T 后训练所需模态一一对应。数据后处理清理与合并遥操作数据集录完数据别急着训练先用官方处理脚本做两件事移除被丢弃的 episode、剔除遥操作暂停/丢帧产生的SMPL 全零脏帧source .venv_data_collection/bin/activate # 清理单个数据集输出到新目录不破坏原始数据 python gear_sonic/scripts/process_dataset.py \ --dataset-path outputs/my_dataset \ --output-path outputs/my_dataset_cleaned # 合并多个录制会话为一个数据集自动校验机器人配置一致 python gear_sonic/scripts/process_dataset.py \ --dataset-path outputs/session1 outputs/session2 \ --output-path outputs/merged_dataset⚠️ 注意如果你用的是VR 三点追踪模式VR_3PTteleop.smpl_pose列天然全零清理时必须加--no-remove-stale-smpl否则会误删全部帧。脚本源码见 gear_sonic/scripts/process_dataset.py。常见问题与下一步没有机器人也能练用--sim走仿真链路MuJoCo 环会自动向 5555 端口发布相机画面gear_sonic/scripts/run_sim_loop.py其余流程与真机完全一致。画面看不到先用相机查看器单独验证链路python gear_sonic/scripts/run_camera_viewer.py --camera-host 机器人IPgear_sonic/scripts/run_camera_viewer.py。遥操作流断了检查 XRoboToolkit 状态是否为 WORKING、PICO 与工作站是否同网。数据集怎么用输出的 LeRobot 数据集可直接进入 Isaac-GR00T 后训练流程微调 VLA 模型并用 SONIC 控制器部署到 G1完整工作流见 docs/source/tutorials/vla_workflow.md。关键文件速查数据采集总文档 docs/source/tutorials/data_collection.md 一键启动器 gear_sonic/scripts/launch_data_collection.py 数据导出器 gear_sonic/scripts/run_data_exporter.py PICO 流服务 gear_sonic/scripts/pico_manager_thread_server.py从戴上 PICO 头显的第一秒到outputs/目录里可训练的数据集整条链路只需三个脚本install_data_collection.sh装环境、install_camera_server.sh配摄像头、launch_data_collection.py开录。现在就可以按下左 Grip A开始你的第一个 episode 了 【免费下载链接】GR00T-WholeBodyControlWelcome to GR00T Whole-Body Control (WBC)! This is a unified platform for developing and deploying advanced humanoid controllers. This includes: Decoupled WBC models used in NVIDIA Isaac-Gr00t, Gr00t N1.5 and N1.6 and GEAR-SONIC项目地址: https://gitcode.com/gh_mirrors/gr/GR00T-WholeBodyControl创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考