具身智能数据采集方案对比：Ego、UMI与多模态平台选型指南

具身智能这两年从论文里的概念一路烧到了工程落地但凡真上手做过数据采集的人都有一个共同感受模型结构可以复现数据管线却各有各的泥潭。我前后搭过三套采集系统从最早用手机加云台的土办法到后来上Ego这类第一人称采集方案再到UMI这种手持夹爪式的低成本路线最后折腾了一套多模态采集平台做横向对比。这篇文章不聊虚的就把这三种方案在真实项目里的表现、踩过的坑、以及选型时到底该看哪些指标一次性讲透。如果你正在纠结我到底该用哪种方案采数据或者已经买了设备但发现采出来的数据根本没法训练那这篇内容应该能帮你省下不少试错成本。我会从采集原理、硬件同步、数据质量、成本结构、适用场景几个维度逐一拆解每个结论都附带实测数据和操作细节。1. 三种采集路线的本质差异先搞清楚你在采什么1.1 Ego方案的核心逻辑贴着人类视角走Ego这个词在具身智能语境下指的是一类以第一人称视角为核心的采集范式。它的基本假设很朴素人类在日常操作中积累了大量手眼协调经验如果能把这些经验以接近机器人感知的方式记录下来就能直接用于策略学习。具体实现上Ego通常依赖头戴式或胸挂式设备搭载广角相机、深度传感器和IMU有的方案还会加腕部相机做手部特写。采集时人正常做任务设备全程记录第一人称视频流和头部运动轨迹。它的优势在于数据天然带有任务语义——你看到的就是操作者看到的动作和视觉是强耦合的。但这里有个容易被忽略的问题人类头部运动频率和机器人云台完全不同。人转头可以很快机器人不行。所以Ego采出来的数据在训练时往往需要做视角对齐和运动重定向否则策略网络学到的头部运动模式在真机上根本执行不了。我实测下来Ego数据在模仿学习任务上的可用率大概在60%到70%剩下的要么是视角抖动太大要么是手部遮挡严重。1.2 UMI框架的切入点把采集成本压到最低UMIUniversal Manipulation Interface的思路和Ego完全相反。它不追求第一人称沉浸感而是用一个手持夹爪加鱼眼相机让操作者像拿工具一样去完成任务。夹爪上装相机记录的是夹爪末端和环境的相对关系而不是人的视角。这个设计的精妙之处在于硬件和机器人末端执行器高度对齐。你手持夹爪做的动作和机器人夹爪要做的动作在运动学上非常接近省掉了大量重定向工作。而且UMI的硬件成本极低一套下来可能只有Ego方案的十分之一。不过UMI也有明显短板。它采的是局部视角缺乏全局场景理解。如果你的任务需要机器人理解桌子在哪、障碍物在哪、目标物体和周围环境的关系UMI的数据就不够用。另外手持夹爪的位姿估计依赖视觉标记标记遮挡时位姿会跳变这个在实测中非常常见。1.3 多模态采集平台的定位什么都要但什么都要调多模态采集平台通常不是单一设备而是一套集成系统多个RGB相机、深度相机、力觉传感器、IMU、有时还有触觉阵列全部通过硬同步触发统一时间戳。它的目标是提供最完整的环境感知数据适合做多传感器融合研究或复杂操作任务。但什么都要的代价是复杂度飙升。硬同步触发、时间戳对齐、标定流程、数据吞吐每一个环节都可能出问题。我搭的那套平台光相机标定就花了两天同步触发调试又花了一天。而且多模态数据的数据量极大一小时采集可能产生几百GB存储和预处理成本必须提前算清楚。维度Ego方案UMI框架多模态平台视角类型第一人称全局末端局部多视角全局局部硬件成本中高低高数据语义任务级动作级环境级重定向难度高低中同步复杂度中低高适合任务导航、长程操作精细抓取、短程操作多传感器融合研究2. 硬同步触发多模态采集里最容易翻车的一环2.1 为什么软同步在具身智能里不够用很多人一开始会觉得软件时间戳对齐就够了——每个传感器各自记录时间后期按时间戳匹配。这个做法在低速场景下勉强能用但在具身智能里几乎必然出问题。原因很简单机器人操作的时间尺度很细。一个抓取动作可能只有几百毫秒期间力觉信号变化剧烈视觉上物体可能只移动了几个像素。如果相机和力觉传感器之间有几十毫秒的软同步误差训练时就会出现看到的状态和感受到的力对不上的情况策略网络学出来的东西就是错的。我实测过一组数据用软同步采集的抓取任务训练出的策略在真机上成功率比硬同步低了将近30%。这个差距在精细操作任务上更明显。2.2 硬同步触发的实现路径与常见坑硬同步触发的核心是让所有传感器共享同一个时钟源通常由一块FPGA或专用触发板产生周期性的硬件脉冲所有传感器收到脉冲后同时开始采集。实现路径一般有三种外部触发模式相机和传感器都支持外触发输入由统一信号源驱动。这是最可靠的方式但要求所有设备都支持外触发。主从模式一个设备作为主时钟其他设备跟随。实现简单但主设备故障会导致整个系统停摆。时间戳广播通过PTP或类似协议做时钟同步。精度高但配置复杂对网络设备有要求。我踩过的最大的坑是触发信号的电平匹配。触发板输出的是3.3V TTL电平但某款工业相机要求5V触发结果就是相机偶尔触发、偶尔不触发数据里出现大量丢帧。这个问题排查了很久因为现象不稳定最后用示波器看触发信号才发现电平不够。另一个坑是触发频率和曝光时间的冲突。如果触发频率设得太高曝光时间又长相机来不及完成一次曝光就收到下一个触发会导致图像异常。这个在高速采集时特别容易遇到建议触发周期至少是曝光时间的1.5倍。提示硬同步调试时一定要用示波器或逻辑分析仪看实际触发信号不要只看软件里的配置。很多同步问题在软件层面看不出来。2.3 时间戳对齐的后期补救手段如果硬件同步实在做不了后期对齐也有办法但效果会打折扣。常用的手段包括基于事件的视觉对齐用高速相机拍一个LED闪烁信号通过闪烁时刻反推各相机的时间偏移。基于运动的对齐让一个已知运动轨迹的物体同时出现在多个传感器视野里通过轨迹匹配估计时间偏移。基于互相关的对齐对两个传感器的信号做互相关找最大相关对应的时间偏移。这些方法我都试过基于事件的对齐精度最高能到亚毫秒级但需要额外硬件。基于运动的方法精度在几毫秒到几十毫秒取决于运动速度。基于互相关的方法适合有周期性信号的场景通用性一般。3. 数据质量实测三种方案采出来的数据到底能不能用3.1 评测指标怎么定数据质量不能只看看起来清不清楚得从训练角度定义指标。我用了四个维度时间一致性多传感器数据的时间对齐误差直接影响状态-动作对的准确性。空间一致性不同视角之间的几何关系是否准确影响3D重建和空间推理。动作可复现性采到的动作轨迹在机器人上能否复现影响策略迁移。标注效率数据需要多少人工标注才能用于训练影响整体成本。3.2 Ego数据的实测表现Ego方案采了大约5小时的第一人称操作数据涵盖桌面整理、开关抽屉、倒水等任务。时间一致性方面因为Ego设备通常集成度高内部同步做得不错误差在5毫秒以内。空间一致性依赖标定我用的设备出厂标定一般自己重新标定后好了很多。动作可复现性是Ego的弱项。人类手臂的运动范围和机器人差异大直接映射会导致关节角超限。我用了运动重定向把人类手部轨迹映射到机器人末端但抓取姿态的映射始终不够自然。实测下来Ego数据训练的策略在真机上成功率约55%经过重定向优化后能到65%左右。标注效率方面Ego数据因为视角自然人工标注任务阶段和关键帧比较快但精细的物体位姿标注仍然费时。3.3 UMI数据的实测表现UMI采了3小时数据主要是抓取和放置任务。时间一致性很好因为UMI硬件简单相机和夹爪编码器基本同步。空间一致性依赖视觉标记标记可见时精度很高标记遮挡时位姿会跳。动作可复现性是UMI的强项。手持夹爪和机器人夹爪的运动学结构接近采到的末端轨迹可以直接用。实测策略成功率能到75%以上在抓取任务上表现明显好于Ego。但UMI的数据有个问题缺乏全局上下文。策略网络只能看到夹爪附近的画面不知道物体在场景中的绝对位置。这在单任务上没问题但多任务或需要空间推理的场景就不够用。3.4 多模态平台数据的实测表现多模态平台采了2小时数据任务更复杂包括需要力觉反馈的插拔和需要触觉的材质识别。时间一致性依赖硬同步调试好后误差在1毫秒以内。空间一致性通过多相机标定保证精度很高。动作可复现性中等因为多模态平台通常不直接采集机器人动作而是采集环境和操作数据动作需要额外映射。标注效率最低因为数据维度多标注工作量大。指标EgoUMI多模态平台时间一致性误差5ms2ms1ms空间一致性中中高高策略真机成功率55-65%75%60-70%标注效率中高低数据量/小时中低极高4. 选型决策你的任务到底该配哪套方案4.1 按任务类型选如果你的任务是长程导航或移动操作Ego方案更合适因为第一人称视角天然适合学习导航策略。如果是桌面精细抓取UMI的性价比最高数据质量也够用。如果是多传感器融合研究或需要力觉触觉的任务只能上多模态平台。4.2 按团队规模选小团队或单人项目UMI是最务实的选择。硬件便宜、调试简单、数据可用率高。中等团队可以上Ego但要做好运动重定向的功课。大团队或有专门数据工程能力的再考虑多模态平台否则维护成本会拖垮进度。4.3 按预算选UMI一套硬件可能几千块Ego方案通常几万多模态平台轻松上十万甚至几十万。但预算不只是硬件还要算上调试时间、存储成本、标注成本。我见过有人买了多模态设备结果因为不会调同步数据一直没法用最后又回到UMI。注意选型时不要只看硬件参数要算从采集到可用数据的全链路成本。很多方案硬件便宜但后期处理贵或者反过来。5. 实操中的经验与避坑清单5.1 采集前的准备标定一定要做而且要在实际采集环境下做。我试过在实验室标定好搬到真实场景后发现光照变化导致深度相机误差变大。标定后要验证用已知尺寸的物体检查重建精度。采集脚本要加异常检测。相机掉线、触发丢失、存储写满这些都会导致数据报废。我现在的脚本会在采集时实时监控帧率和触发信号异常时立即报警。5.2 采集中的注意事项操作者要培训。Ego采集时操作者的头部运动习惯直接影响数据质量。我让同一个人采了多次发现经过培训后数据可用率能提升20%以上。任务设计要有变化。同一任务在不同物体、不同位置、不同光照下多采几组策略泛化能力会好很多。我一开始只采固定位置训练出的策略换个位置就失效。5.3 采集后的处理数据要尽快备份和校验。我遇到过硬盘故障导致一天数据全丢的情况现在都是采集完立即双备份。预处理管线要标准化。不同批次的数据如果预处理方式不一致训练时会出现分布偏移。我现在把预处理脚本版本化每批数据都记录用了哪个版本。5.4 常见问题速查问题可能原因解决方向数据丢帧触发信号异常检查电平、频率、线缆位姿跳变视觉标记遮挡增加标记冗余、改用IMU融合策略不收敛时间对齐误差大检查硬同步、做后期对齐真机成功率低动作重定向不准优化映射、增加机器人约束存储不足数据量估算错误提前算吞吐、用压缩格式这套对比做下来我最大的体会是没有万能方案只有匹配场景的方案。UMI在抓取任务上的性价比确实高但别指望它做全局导航。Ego的第一人称数据很自然但重定向的功夫省不了。多模态平台数据最全但调试和维护的门槛也最高。选之前先想清楚你的任务需要什么级别的数据再倒推该用什么方案比盲目追新要靠谱得多。