手部数据集难找？主流开源数据集与关键点估计实用指南

我入行做计算机视觉的头两年被手部数据折磨得不轻。做人体姿态时还能找到一堆现成的COCO和MPII可一转到手势识别、手部关键点估计GitHub搜索结果立马就稀薄下来。当时我还跟同事吐槽人脸数据多得用不完手部数据怎么就那么金贵。后来花了两三周时间把主流手部开源数据集翻了个底朝天才发现这个领域的数据其实没有想象中那么少只是散在各个实验室和论文主页里没人系统整理。这篇文章就当作是我整理的笔记把做手部检测、关键点估计、手势识别、手物交互和三维手部网格恢复时最值得用的开源数据集一次讲完。也会聊聊找数据的思路和踩过的坑。如果你正准备做手部相关的项目或者刚被手部数据找不到卡住这篇文章应该能帮你省下不少时间。1. 为什么手部数据这么难找三个绕不过去的原因很多人一开始都以为手部数据稀缺是因为没人拍或者没人发布真正深入进去才发现纠结点全在他们看不见的地方。1.1 标注成本是最大的拦路虎手部关键点标注远比人体关键点标注费劲。人体17个点分布在四肢和躯干上点与点之间距离大哪怕低分辨率的图上也能打出七七八八。手部21个关键点全部挤在很小的一个区域内指尖、指节、掌根之间有时候就差几个像素非专业人士花十分钟都可能标不清一根手指的关节走向。我见过数据标注公司报的价手部关键点的单张成本大概是人体关键点的两到三倍如果涉及遮挡判定和深度标注还要再翻一番。一个标注员一天能标几百张人体图但手部图能标到一百张就算效率不错了。这就是为什么公开的手部数据集普遍规模偏小而且很多干脆用合成数据或半自动标注来凑量。1.2 手是人身上最难搞定的部位之一手部的物理特性决定了它天然就是个难题。手部运动速度快视频里动不动就糊成一团手指之间互相遮挡是常态握拳的时候外侧手指几乎全部被吃掉再加上不同人种的肤色差异、光照变化、手势语义的多义性任何一个环节都能让标注数据质量崩掉。更麻烦的是手部任务高度细分。有人需要2D关键点有人需要3D关键点有人需要手部分割掩码有人需要MANO参数化的网格模型还有人只需要框住整只手做目标检测。需求一旦切割数据就跟着碎片化看起来每个数据集都有但匹配到自己的任务时总觉得差一块。1.3 申请门槛和许可证也在劝退很多人不少高质量手部数据集虽然开源但是带条件的开源要么要求学术机构邮箱要么要求填写使用申请表还有些明确禁止商用。这些流程看似只是多几步操作实际却让很多个人开发者和中小团队望而却步。我自己遇到过申请邮件等了两周才回复的情况也有数据集要求所有合作者都签署同意书才能下发下载链接确实麻烦。不过门槛高也有好处至少能拦住一部分人随便拿去刷分或者二次转卖数据集的生态相对干净。理解了这个背景你在找数据时就会更清楚自己面对的是什么局面不至于把时间浪费在无意义的抱怨上。2. 关键点与姿态估计大部分项目的第一站如果你要做的是手部姿态估计、手势关键点检测或者想训练手部网格回归这一章覆盖了大部分你会用到的数据集。这也是整个手部数据家族里最成熟、引用率最高的一批。2.1 FreiHAND单目RGB手部姿态的基准标杆FreiHAND基本是单目RGB手部姿态估计绕不开的数据集。它由柏林工业大学发布涵盖了彩色图像、深度信息、关键点标注以及MANO手部网格参数。整个数据集的量级在十万帧级别原始多视角采集之后又做了精选最终公开部分用于训练和测试还保留了官方评估服务器用于榜单评测。这个数据集最适合验证给一张RGB图让我输出3D手部姿态和网格这类算法能力。它的标注质量很高因为原始数据是借助多角度拍摄重建出来的不是人工逐帧点的。实际使用中很多人会把FreiHAND作为最终的评测集用其他数据训练再用它在测试集上刷分数。需要注意的是它的拍摄背景相对固定以室内桌面环境为主野外或复杂背景下的泛化能力需要你自己补充数据。2.2 InterHand2.6M双手交互的大规模关键点数据InterHand2.6M是首尔国立大学团队放出的重磅数据集名字里的2.6M指的就是两百多万量级的图片规模。相比FreiHAND的单手场景它最突出的价值在于包含大量双手交互画面比如握手、指头对碰、手掌交叠这类自然动作。这种场景下手指互相遮挡极其严重是单只手数据集完全覆盖不到的情况。如果你做的是AR/VR里的手势操控、手语识别或者其他需要理解双手空间关系的事InterHand2.6M会是比FreiHAND更贴合训练需求的选择。它提供3D关键点和MANO参数并且把数据分成不同训练模式方便研究者在不同监督程度下做实验。但这套数据的文件体积相当可观下载和解压需要预留足够的硬盘空间和网络带宽我第一次下载时没注意差点把工作目录撑爆。2.3 早期经典NYU Hand Pose、ICVL、MSRA与STB在RGB深度相机还流行的时候NYU Hand Pose、ICVL和MSRA Hand Pose是手部关键点领域的三大经典。NYU手部姿态数据集提供了训练集约七万多帧、测试集八千多帧的深度图传感器是当时比较流行的深度相机标注包含21个3D关键点。ICVL和MSRA的数据量相对更小但作为深度图时代的基准今天依然有人拿它们来对比传统方法。STB则是一个立体视觉方向的经典数据集提供了双目RGB图像、深度图和3D关键点标注。它的亮点在于场景覆盖了桌面、虚拟现实等不同环境对早期手部追踪算法很有价值。这批老数据集放到今天精度上限肯定不如新的RGB大模型数据但它们的优势是文件小、模态标准适合用来快速验证自己的关键点基础能力或者在重源码复现时作为替换数据。2.4 RHD这类合成数据用渲染弥补真实数据不足RHDRendered Hand Pose Dataset是一个非常典型的合成数据集。它用图形学渲染出四万多张高分辨率手部图像包含21个2D和3D关键点以及像素级分割掩码。因为是渲染生成的标注精确到像素级别没有人工标注的噪声。合成数据的通用做法是先拿它做预训练再用小规模真实数据微调。我在自己的项目里验证过用RHD做预训练之后只需要很小一批真实数据就能把精度拉到接近全真实数据训练的水平。它的主要弱点是渲染风格和真实图像存在domain gap比如纹理过于干净、光影不太自然所以最好不要只靠它训练最终模型。如果想快速比较这些关键点数据集的特点下面的表可以作为参考。数据集输入模态主要标注规模量级适合任务FreiHANDRGB3D关键点、MANO参数十万帧级单手姿态估计、网格恢复InterHand2.6MRGB3D关键点、MANO参数百万图级双手交互、遮挡场景NYU Hand Pose深度图3D关键点训练约7万帧深度手部关键点估计RHD合成RGB2D/3D关键点、分割掩码四万多张预训练、关键点回归STB双目RGB、深度3D关键点上万帧级立体视觉、3D关键点3. 动作、交互与分割不要只盯着关键点很多实际产品真正要的不是关键点坐标而是用户在做哪个手势或者手在做什么。这类需求对应的数据集跟关键点数据集完全不同往往以视频动作分类或像素分割的形式出现。3.1 20BN-Jester动态手势视频识别的通用选择20BN-Jester是我个人觉得做动态手势识别时最值得先试的数据集。它包含了约15万个短视频覆盖27个手势动作类别视频时长大约三秒每一段都已经分好类不用自己做太多清洗。类别包括画圈、滑动、缩放、旋转等常见交互手势也有一些专门的干扰类样例比如没有手势和做其他事情。这个数据集比较贴近真实交互场景很适合做人机交互的预训练。需要提醒一句它里面无手势和其他动作这类负样本占比不小如果直接拿整个数据集训练模型很容易偷懒偏向多数类。我习惯在训练时对负样本做降采样或者调整类别权重效果会明显更好。另外它来自商业公司发布使用前一定要确认自己的用途是否在许可范围之内。3.2 FPHA第一人称视角的手物交互数据FPHAFirst-Person Hand Action Benchmark是一个很适合做手和物体交互理解的数据集。它采集了第一人称视角下的上千个短视频类别数量有四五十个涵盖戳、捏、抓、扔、拧等日常操作。每个视频同时提供RGB、深度、3D关键点和物体分割标注所以既可以做动作分类也可以做手部关键点甚至可以做手物交互关系推断。第一人称视角下手的尺度通常会比第三人称更大、更清晰但动作的遮挡也更复杂。用FPHA训练出来的模型往往比较适合穿戴设备、智能眼镜、机器人远程操作这类场景。而且因为它是短视频分类任务评估起来很直接不像3D网格恢复还要考虑一大堆坐标系转换。3.3 手语识别从RWTH-PHOENIX到WLASL手语识别是手部数据里比较特殊的分支。RWTH-PHOENIX-Weather 2014是德语手语气象新闻数据集提供连续手语句子的视频和词级标注适合做连续手语识别模型。WLASL则是美国手语常用词数据集覆盖大约两千个日常词汇视频样本来自大量不同的手语使用者数据来源分散个体差异极大。手语数据的难点在于它不是简单的手势动作分类还牵扯到语法顺序、面部表情和上下文所以不建议新手贸然拿手语数据练手。就算只做其中的手部组件提取也最好先把常规手势识别跑通再考虑手语句子的连续性建模。还有手语数据集涉及大量真实受试者的人像和肖像权开源许可往往限制商用这一点一定要看清楚。3.4 手部分割与第一人称检测EgoHands等手部分割数据相对关键点数据要冷门一些但需求一直存在。EgoHands来自康奈尔大学的日常活动视频提供了像素级手部掩码和边界框场景包括厨房做饭、桌面操作、阅读等。它特别适合第一人称视角下的手部分割和目标检测训练背景风格比较真实不像实验室环境那么干净。Roboflow Universe上也有很多从EgoHands或其他来源整理出的手部检测数据直接按YOLO格式导出新手拿来跑通端到端检测非常方便。这类数据胜在零成本上手、格式统一但如果要做高精度的手势识别而非简单检测光靠它们是不够的还得回到关键点数据集上补充监督信号。4. 手与物体互动的三维数据想进一步接近真实世界再来看手部从来不是孤立存在的绝大多数自然动作都会跟物体发生交互。当你需要让模型理解手在拿杯子手指捏着笔掌心托着球这类三维关系时就需要用到手物交互和三维网格恢复数据集。4.1 HO3D从单目视频中同时恢复手态与物态HO3D是CVPR上发布的手物交互数据集官方在介绍里就强调它面向从单目RGB视频中同时估计手部姿态和物体姿态的任务。数据集中不同的人手持各种日常物品完成一系列动作标注了3D手部关键点、MANO手部参数、物体姿态和物体形状类别整体规模大约在七万多标注帧。这个数据集的独特价值在于它把手和物体放在同一个3D空间里统一建模。你想训练一个能理解抓取关系的模型HO3D几乎是绕不开的选择。拿它做训练最大的挑战是标注格式比较复杂手部是MANO参数物体是三维旋转和位移矩阵两种格式混在一起。我在解析的时候翻了好几个版本的工具包才搞明白建议你下载后先跑一遍官方提供的读取代码再迁移到自己模型里。4.2 ARCTIC双手与物体的精细接触级标注ARCTIC是手物交互领域比较新的数据集主打手指级接触精细标注。它不只告诉你手在抓什么物体还会标出每一根手指是否碰到了物体、碰在哪个部位数据规模也达到了百万帧级别。这个粒度对研究接触推理手部动作生成这一类课题很重要因为它能直接训练模型学习手与物体之间的物理约束。不过ARCTIC对算力和存储的要求都不低原始视频序列很大建议先用官方提供的采样脚本抽取关键帧没必要每帧都保留。它的场景复杂度也比较高很多视频里手的动作幅度很大如果模型基础不够扎实容易在训练初期发散。先跑通FreiHAND或者HO3D再来碰ARCTIC是比较稳妥的学习路径。4.3 合成数据在三维手部恢复里的特殊地位三维手部网格恢复任务对标注质量要求极高真实数据全靠多相机重建或光学动捕成本吓人。因此合成数据在这个方向的作用比其他任务更大。ObMan这类数据集就是用三维物体模型库渲染出手抓取物体的图像和MANO标注合成出大量变化丰富的训练数据。合成数据的优势是几乎可以无限生成自由控制光照、物体形状和手部姿态让模型见过更加多样的情况。缺点依旧是风格差异纯合成训练的模型放到真实视频上经常会现出原形。业界的常用操作是先用ObMan这类合成数据做大范围预训练再用HO3D或真实采集的少量数据做微调两者结合出的效果往往比纯真实数据或纯合成数据都要稳。5. 高效找数据的路径我私藏的整理思路手部数据集不止上面这些。每年学术会议都有新数据发布靠搜索引擎盲搜很容易漏掉关键资源。我自己总结了一套效率还可以的找数据方法分享给你。5.1 先用任务分类而不是直接搜hand datasethand dataset这个搜索词范围太宽结果里混着医学X光、手写识别、手势礼仪等各种不相关的东西。我建议先明确自己到底要做哪层任务手部检测、2D关键点、3D关键点、手部网格、手势动作、手物交互、手部分割、手语识别。然后带着任务关键词去搜比如hand pose estimation benchmark、hand mesh recovery dataset、hand object interaction dataset结果只会剩下真正可用的材料。这背后其实是个很简单的道理不同任务的数据标注格式完全不同数据集之间根本无法互相替换。你拿一个只有矩形框的手部检测数据集是无论如何也训练不出来关键点模型的。所以第一件事永远是定义任务边界。5.2 优先从这几个入口出发我的默认流程是先看Papers with Code上对应任务的Data栏它会列出该任务主流的 benchmark 数据集和对应论文比搜索引擎干净得多。接着去GitHub搜awesome hand pose或者项目仓库里的README好的项目通常会把依赖数据集一条条列出来。最后再到Roboflow Universe、Kaggle这类平台上找开箱即用的数据它们格式统一适合快速跑通流程。这三个入口覆盖了学术基准社区整理工程落地三种不同层次的需求。如果你的目标是发论文看Papers with Code就够如果是做产品原型Roboflow和Kaggle更高效。很多数据集官网的申请流程其实不复杂关键是要准备一个看起来比较正式的项目说明填表时不要用乱七八糟的无关邮箱。5.3 申请数据集时这些细节别忽略申请学术数据集时以下几个点我踩过多次每条都很实际学校邮箱比个人邮箱的通过率高很多很多数据集只对学术机构开放。填写的用途建议写得具体一点比如研究手语识别中的双手遮挡问题比一句人脸识别项目用可信得多。注意看许可协议里的使用限制有些数据集允许科研但不允许商用甚至不允许在学校之外的公司服务器上保存副本。下载链接经常是网盘需要准备支持断点续传的下载工具不然中途断了又要重新排队。很多数据集都要求引用对应论文你写博客或开源代码时记得把引用附上尊重作者的劳动。不要小看最后一条手部数据集作者之间的圈子很小而且他们通常很乐意帮助遵守规则的人。我因为规范引用了原作者的工作后来申请另一个更大数据集时还被快速通过了这算是圈子里的隐性福利。6. 手部数据集上线前最容易踩的五个坑数据下载下来不代表万事大吉真正折磨人的环节往往在解析和训练阶段。下面这五个坑是我在多个手部项目里反复遇到过的提前避开能省下大量调试时间。6.1 坐标系和MANO参数千万别混用手部3D关键点和网格数据里最常见的坑就是坐标系混乱。FreiHAND和InterHand2.6M各自定义了不同的坐标系约定有些以手腕为根节点有些以手掌中心为根节点有的还涉及相机坐标和世界坐标的区别。如果你不做坐标系对齐就直接混合训练两个数据集模型的输出根本对不上。MANO参数也是一个重灾区。我见过有人把FreiHAND的MANO系数直接拿去套用在其他数据集上生成网格结果手型整体变形。原因在于不同数据集对全局旋转、姿态参数和形状参数的前处理方式不完全一致。建议每一个新数据集到手先把官方提供的可视化代码跑一遍确保坐标系和参数定义都符合预期再往模型里送。6.2 注意左手右手的分布不均衡很多手部数据集在标注时并没有刻意均衡左右手的比例这会导致模型对某一侧特别熟、对另一侧很陌生。数据增强里的水平翻转确实能缓解一部分问题但要注意翻转之后MANO参数和关键点索引也需要对称映射不然标签就错位了。我在一次实验里只用了InterHand2.6M的子集结果模型对左手的误差明显高于右手加了对称处理后才回归正常。这类问题不会出现在训练集整体的loss上往往藏在分侧别的评估指标里所以一定要按左右手分开看结果。6.3 下载完整性和文件版本搞不清手部数据集体积大文件多官网有时会更新版本。HO3D就存在v1和v2两套数据标注格式和处理方式不完全一样。你如果混用了不同版本最常见的表现就是程序解析时报错或者评估结果突然出现异常差异。下载时的完整性检查也请认真做。数据集往往提供校验文件解压后先跑一遍校验不要急着开始训练。我遇到过下载中断但工具包没报错的情况最后多轮训练成绩不涨排查了半天才发现缺失了一整个视角的数据文件。6.4 评估脚本不要自作主张每个数据集官方都会附带评估脚本哪怕只是把图像分辨率缩放、关键点坐标归一化方式改了一下最终数值也会和论文对不上。你可以在自己的模型里加任何花活但跟别人对比或者发论文时最好沿用官方的指标定义。官方评估脚本通常会处理关节对齐、尺度归一化这些细节。比如FreiHAND的评估会算手部网格的平均点到点误差还会考虑不同关节权重。这些细节在论文里只是几行公式实际实现却很容易写偏。直接用官方脚本能让你少掉不少头发。6.5 不要忽略可视化验证最后一个建议最朴素但最容易被人跳过去拿到数据和模型预测结果后先做可视化验证再谈指标。把输入图像、标注关键点、预测关键点和生成网格叠在一起看几帧你会发现很多指标反映不出来的问题比如关节错位看起来很奇怪但误差并不大、某些标签在边缘被裁切、光照让手部区域过曝等等。我个人习惯是先建立一套自动保存可视化图片的流水线每次训练完自动输出几张对比图。这比盲刷leaderboard指标要可靠得多。也许你写出来的论文里最后不一定放这些图但中间排查问题时的价值非常大。写在最后手部数据难找的真相其实是散而不是少。只要把任务类型理清楚再按检测、关键点、动作、交互、网格这几条线去找绝大多数项目都能找到可用的开源数据作为起点。我自己做手部项目从零到上线靠的就是混合使用FreiHAND、InterHand2.6M、Jester和少量自采数据并没有等待什么完美数据集降临。最后分享一个实用的小习惯新数据集下载后先别急着写复杂的训练代码而是花半天时间跑通官方demo把数据可视化出来看一遍。你对手部数据的理解以及对标注格式的熟悉程度都会比直接跑训练脚本扎实得多。这个过程不显眼但省下的后续调试时间远比你想象的要多。