YOLOv8手势检测数据集从标注到训练部署全流程解析

简介这是一个覆盖石头、剪刀、布三类手势、面向YOLOv8目标检测训练的数据集适合计算机视觉初学者、算法工程师以及想了解YOLO标注流程的开发者可用于快速搭建手势识别模型、验证数据标注流程与训练配置。压缩包共83个文件包含41张JPEG图片、41个对应的txt标注文件及1个yaml配置文件整体大小约1.42MB。图片为常见手势画面并已按YOLO格式标注txt文件记录目标框坐标与类别yaml中提供模型训练所需的基本配置信息解压后可直接接入YOLOv8训练脚本。数据集整体轻量适合教学演示、模型原型验证或数据增强实验同时可协助读者学习YOLO标签格式与配置文件写法为后续自建手势识别数据集提供对照参考。该数据集已有970人浏览学习是一份低门槛、可直接使用的入门级手势识别数据资源。1. 这个数据集到底解决什么问题从石头剪刀布到YOLOv8手势检测石头剪刀布-YOLOV8标记的数据集听起来像一个玩具项目但它背后是一个很典型的目标检测入门路径用yolov8训练自己的数据集从图片标注到模型部署的完整链路。这个数据集本身解决的是三分类手势检测问题——识别画面中的人手是石头、剪刀还是布并用边界框框出来。它适合谁适合那些刚接触yolov8、不想用COCO那种动辄十几G的公开数据集练手想用一个体量小、类别少、一眼能看懂结果的任务把训练流程跑通的人。也适合做毕设、做互动游戏、做人机交互预处理模块的从业者。在Ubuntu20.04搭建yolov8环境、用GTX1660Ti或者纯CPU跑一轮训练这个数据集都是开销最小的实验载体。它的价值不在于石头剪刀布本身而在于它是一个能完整暴露标注问题、训练参数问题和部署问题的微型样本。2. 拆解SPS-YOLOV8数据集的构成与标签格式目录、txt标注和类别文件2.1 目录结构和文件组织拿到一个命名为石头剪刀布-YOLOV8标记的数据集的数据包我一般先做三件事看目录、看标签文件、看类别文件。这三样能确认它是不是一个能直接喂给yolov8训练的合格数据集而不是一个用labelme标注完但没转换的原始包。合格的yolov8数据集目录结构通常是这样的sps_dataset/ ├── images/ │ ├── train/ │ │ ├── rock_001.jpg │ │ ├── paper_001.jpg │ │ └── scissors_001.jpg │ ├── val/ │ └── test/ ├── labels/ │ ├── train/ │ │ ├── rock_001.txt │ │ ├── paper_001.txt │ │ └── scissors_001.txt │ ├── val/ │ └── test/ └── data.yaml这里的关键点是images和labels必须同名同目录层级。rock_001.jpg对应的标注必须叫rock_001.txt并且train和val两个子集要一一对应。很多人拿到数据集第一步就翻车在目录结构上train里有1200张图但labels/train里只有1000个txtyolov8训练时不会报错而是直接跳过没有标签的图片等训练完你发现数据集被少用了两成。data.yaml是这个数据集的说明书它决定了类别个数和类别名# data.yaml path: ./sps_dataset # 数据集根目录相对路径或绝对路径 train: images/train # 训练图片相对根目录的路径 val: images/val # 验证图片相对根目录的路径 test: images/test # 测试图片可省略 nc: 3 # 类别总数 names: [rock, paper, scissors] # 类别名顺序必须与标注txt中的id对应2.2 YOLOv8标注格式详解yolov8的标注格式是归一化的txt文本每行代表一个目标框格式为class_id x_center y_center width height。我自己见过太多人把这个格式和VOC的XML混为一谈这里说清楚# rock_001.txt 内容示例 0 0.5123 0.4311 0.3982 0.5621 0 0.3187 0.4456 0.2140 0.3188第一列的0表示类别编号对应data.yaml中names列表的下标。rock是0paper是1scissors是2。这个顺序一旦在标注阶段定下来训练阶段就不要改了否则模型学的东西和你以为的东西完全是两回事。后面四个数分别是边界框中心点x、中心点y、宽度w、高度h全部除以图片宽高做了归一化取值范围在0到1之间。注意yolov8没有用边界框的左上角坐标和右下角坐标而是用中心点加宽高写转换脚本时别弄错。为什么yolov8要采用这种归一化的txt格式因为训练时模型内部会对输入图片做letterbox缩放图片被等比缩放加灰边填充后原图上的绝对坐标就失去意义了。归一化坐标在缩放后依然有效这也是yolov8训练时不需要额外处理标注坐标的原因。2.3 为什么选YOLOv8格式、生态和迁移成本关于yolov8标记的数据集里的YOLOv8到底指什么很多人误以为yolov8是一种标注工具。实际上yolov8是Ultralytics在2023年发布的目标检测模型框架它把标注格式和训练管线统一成了一套约定txt标签、data.yaml配置、一条train.py命令。选它做手势数据集的原因有三点。第一是成本。对石头剪刀布这种三类别、千张图片量级的小任务yolov8n这个最小的模型用CPU都能跑完训练不需要昂贵的GPU。第二是工具链完整。从模型训练到导出ONNX再到rk3588部署yolov8这种边缘场景yolov8都有现成的导出和推理接口。第三是数据集处理生态成熟。yolov8训练自己的数据集时几乎所有的公开标注工具都提供了转YOLO格式的脚本你不需要从零写解析器。3. 从0构建石头剪刀布数据集采集、标注与格式转换3.1 原始图片采集阶段的三个要求如果你手上没有现成的数据集要自己做一个石头剪刀布-YOLOV8标记的数据集采集阶段就要为后面的标注质量打底。常见做法是拍视频抽帧而不是一张一张拍照用手机录一段左右手交替出拳的视频然后用ffmpeg按帧率抽帧# 每10帧抽1帧避免连续帧过于相似 ffmpeg -i gesture_video.mp4 -vf fps6 -qscale:v 2 train_raw/frame_%04d.jpg采集阶段要注意三件事。第一是背景多样性不要只在白墙前面拍桌面、沙发、户外草地都要有一部分否则模型学到的其实是背景而不是手势部署时换个环境立刻失效。第二是手的尺度差异画面里既要有占满画幅的大手也要有只占三分之一画面的小手因为检测器对尺度变化很敏感。第三是光照和侧转角度石头、剪刀、布这三个手势在全正对镜头时好分但侧转30度、45度后特征差异会被压缩这部分图在训练集中至少占比20%不然模型在真实场景里非常脆。3.2 用Labelme标注并转换为YOLOv8格式labelme是常用的标注工具但labelme标注出来的是JSON文件不能直接给yolov8训练。你需要做一次格式转换。这里给出我常用的转换脚本import json import os import glob def labelme_to_yolov8(json_path, save_dir, class_dict): 将labelme的矩形框标注转换为yolov8的txt格式. Args: json_path: labelme导出的json文件路径 save_dir: 转换后txt保存目录 class_dict: 类别名到id的映射, 例如 {rock: 0, paper: 1, scissors: 2} with open(json_path, r, encodingutf-8) as f: data json.load(f) # labelme的imageWidth/imageHeight是原始像素尺寸 img_w data[imageWidth] img_h data[imageHeight] txt_name os.path.basename(json_path).replace(.json, .txt) txt_path os.path.join(save_dir, txt_name) with open(txt_path, w) as f: for shape in data[shapes]: # labelme的矩形框是四点坐标, 取左上和右下 points shape[points] if shape[shape_type] ! rectangle: continue x_min min(points[0][0], points[1][0]) y_min min(points[0][1], points[1][1]) x_max max(points[0][0], points[1][0]) y_max max(points[0][1], points[1][1]) # 转换为yolov8的中心点宽高归一化格式 x_center (x_min x_max) / 2.0 / img_w y_center (y_min y_max) / 2.0 / img_h width (x_max - x_min) / img_w height (y_max - y_min) / img_h class_id class_dict[shape[label]] # 防止坐标越界, yolov8训练遇到越界坐标会报警且忽略该框 x_center min(max(x_center, 0.0), 1.0) y_center min(max(y_center, 0.0), 1.0) width min(max(width, 0.0), 1.0) height min(max(height, 0.0), 1.0) f.write(f{class_id} {x_center:.6f} {y_center:.6f} {width:.6f} {height:.6f}\n) if __name__ __main__: class_dict {rock: 0, paper: 1, scissors: 2} os.makedirs(labels_converted, exist_okTrue) for json_path in glob.glob(labelme_output/*.json): labelme_to_yolov8(json_path, labels_converted, class_dict)这个脚本有几个细节值得说明。第一labelme的矩形框points存的是四点坐标而不是两点但画矩形时四点中只有对角两点有效取min和max是为了把任意对角组合都统一成左上和右下。第二坐标归一化前必须先除以原始图片宽高如果图片之后被resize过这里的归一化就错了。第三我在写入前做了越界保护因为鼠标标注时很容易点出图片边界边界外的坐标在yolov8训练时会导致严重的loss震荡。3.3 划分train/val/test的脚本标注和转换完成后接下来要做数据集划分。常见做法是按8:1:1或者9:0.5:0.5划分同时保证三个集合中各类别比例基本一致。用一个简单的脚本处理import os import random import shutil random.seed(42) # 假设所有图片在all_images/目录, 所有txt在all_labels/目录 images [f for f in os.listdir(all_images) if f.endswith(.jpg)] random.shuffle(images) train_ratio, val_ratio 0.8, 0.1 train_count int(len(images) * train_ratio) val_count int(len(images) * val_ratio) splits { train: images[:train_count], val: images[train_count:train_count val_count], test: images[train_count val_count:] } for split, file_list in splits.items(): os.makedirs(ffinal/images/{split}, exist_okTrue) os.makedirs(ffinal/labels/{split}, exist_okTrue) for img in file_list: # 图片和同名txt必须成对拷贝 shutil.copy(fall_images/{img}, ffinal/images/{split}/{img}) txt_name img.replace(.jpg, .txt) if os.path.exists(fall_labels/{txt_name}): shutil.copy(fall_labels/{txt_name}, ffinal/labels/{split}/{txt_name})这个脚本看似简单其实藏着一个数据集处理的关键原则划分的时候必须以图片为单位成对拷贝txt而不能先拷贝图片再单独拷贝标签否则两张图片共用一个txt或者txt拷错目录的情况很难排查。另一个容易忽略的是随机种子固定不然每次跑脚本划分不同训练结果无法复现。如果类别不均衡石头500张、剪刀500张、布只有100张划分前要对图片列表按类别做分层采样直接随机shuffle会让val和test集合里布的样本过少评估指标失去参考意义。4. 基于该数据集训练YOLOv8环境、命令和参数调优4.1 Ubuntu20.04搭建yolov8环境CPU和GPU两条路在Ubuntu20.04搭建yolov8环境是检索里出现频率最高的需求这里给出两条可复现的路径。没有独立显卡的机器用CPU版本有NVIDIA显卡用GPU版本。CPU版本的最小安装命令# 创建虚拟环境避免污染系统python python3 -m venv yolov8_env source yolov8_env/bin/activate # 安装cpu版本的pytorch, 注意不要直接pip install torch否则会拉cuda版 pip install torch torchvision --index-url https://download.pytorch.org/whl/cpu pip install ultralyticsGPU版本的安装区别只在torch的安装方式# 先确认驱动支持的最高cuda版本, 用nvidia-smi查看 nvidia-smi # cuda 11.8版本对应命令 pip install torch torchvision --index-url https://download.pytorch.org/whl/cu118 pip install ultralytics这里有一个常见的坑GTX1660Ti跑yolov8时很多人直接pip install ultralytics然后跑结果torch默认装了最新版和显卡驱动不匹配训练时报CUDA error: no kernel image is available for execution on the device。解决方式是用上面指定的--index-url安装匹配的版本而不是装最新。环境装好后用一行命令验证python -c import torch; print(torch.cuda.is_available())CPU机器输出False是正常的GPU机器输出True才算环境就绪。4.2 yolov8训练命令和每个参数的含义数据集准备好、环境装好后训练命令本身并不复杂。用yolov8n模型在石头剪刀布数据集上训练的完整命令yolo detect train \ modelyolov8n.pt \ datasps_dataset/data.yaml \ epochs100 \ imgsz640 \ batch16 \ lr00.01 \ patience20 \ projectruns/detect \ namesps_experiment \ device0这些参数的含义逐个说清楚。modelyolov8n.pt是预训练权重路径yolov8n是最小的nano版本只有约3.2M参数对于石头剪刀布这种三类别任务足够。epochs100表示训练轮数但配合patience20意味着如果连续20轮验证集mAP没有提升训练提前停止。imgsz640是输入图片尺寸训练时图片会被等比缩放并填充到640x640石头剪刀布数据集通常不需要更大的分辨率。lr00.01是初始学习率yolov8自带warmup和余弦退火一般不需要手动调整。device0表示使用第一张GPUCPU训练改成devicecpu。如果训练时不确定该用哪个模型体量常见的做法是先用yolov8n跑20个epoch看loss曲线和mAP如果验证集mAP很容易到0.95以上说明数据集简单nano模型就够。如果nano模型mAP上不去再换yolov8s或yolov8m。对石头剪刀布这种类别区分度大的任务我从没见过需要用到yolov8l或yolov8x的。4.3 yolov8画损失函数曲线图和结果解读训练结束后需要确认模型真的学到了东西而不是过拟合。在runs/detect/sps_experiment/目录下会自动生成results.png这就是yolov8画损失函数曲线图的结果。看这张图时我只看三条线train/box_loss、val/box_loss、val/cls_loss。如果val/cls_loss持续下降且train/box_loss和val/box_loss的差距小于20%说明模型训练正常。如果train/box_loss降到0.02以下而val/box_loss还在0.1以上这是过拟合信号。过拟合的解决方式有三个第一种是增加数据增强在训练命令中加hsv_h0.02 hsv_s0.7调低色彩增强强度因为手势识别对颜色不敏感第二种是加大数据集对图片做小幅旋转和缩放后再标注一轮第三种是提前停止这也是patience存在的意义。还有一个容易被忽视的指标是mAP50-95和mAP50的区别。石头剪刀布这种任务只要框大致准、分类对mAP50够高就行不用追求mAP50-95。如果mAP50超过0.9而mAP50-95只有0.6说明边界框定位精度一般但检测是准的对猜拳识别影响不大。5. 训练这类手势数据集最容易踩的4个坑5.1 现象训练loss很低但摄像头实测识别错乱这是最典型的翻车现场。数据集上mAP0.95摄像头一开手往镜头前一放框是框住了但类别持续在rock和paper之间跳。原因训练集里所有图片都是干净的——单一背景、完整手部、无遮挡。真实摄像头画面里有手臂、躯干、桌面杂物模型学到的特征被这些上下文干扰了。还有一个是镜面翻转问题训练集里全是右手摄像头测试时是左手模型对左右手镜像的手势特征泛化很差。解决训练时开启yolov8的翻转增强命令里加fliplr0.5让模型看到镜像版本的手。采集阶段要刻意加入手臂入镜、部分遮挡、左右手混合的图片。对石头剪刀布来说模型判断类别主要靠手指状态如果测试时频繁跳变优先检查手指交叉的标注是否准确scissors类别的标注边界框是不是把两根张开的手指都完整框住了。标注时常见的错误是边界框切到指尖导致模型学到的手指特征不完整。5.2 现象类别编号和类别名字对不上训练时报错或mAP为0现象是训练能跑但验证集mAP一直为0或者训练时提示WARNING: found an empty label file。原因标注转换时class_dict定义的顺序和data.yaml中names的顺序不一致。比如转换脚本里rock是0、paper是1、scissors是2但data.yaml里names写成了[paper, rock, scissors]模型学到的0号类别被强行叫成paper所有评估全部错位。解决不要在转换脚本和data.yaml里分两处维护类别顺序只在一个地方定义另一个文件生成。常见做法是让转换脚本直接输出data.yamlclass_list [rock, paper, scissors] yaml_content fpath: ./sps_dataset\nnc: {len(class_list)}\nnames: {class_list}\n with open(data.yaml, w) as f: f.write(yaml_content)5.3 现象txt中坐标出现大于1或小于0训练时loss曲线爆炸现象是训练前几个epoch的loss极高伴随NaN检查发现某张图的标注txt里有1.1532、-0.0231这样的值。原因转换脚本没有做数值保护鼠标标注时把框拖出了图片边界或者除以的img_w/img_h是resize之后的尺寸而不是原始尺寸。解决在转换脚本里加数值裁剪已经说过。另外训练前用一条简单的Python命令检查所有标注文件的数值范围python -c import glob, numpy as np vals [] for txt in glob.glob(labels/train/*.txt): for line in open(txt): vals.append([float(x) for x in line.split()]) arr np.array(vals) print(min:, arr.min(), max:, arr.max()) print(越界样本数:, (arr[:, 1:] 0).sum() (arr[:, 1:] 1).sum()) 5.4 现象箱子里全是正样本没有负样本部署时背景疯狂误检现象是模型在真正使用时不光检测手还把其他圆形物体、类似手指的条状物都框成rock或scissors。原因构建数据集时只标注了手和非手但训练集里没有纯背景图。模型不知道没有手时的输出应该是什么推理时它会强行把最像的区域当成目标。解决在数据集里加入10%到20%的空白背景图片这些图片的txt文件是空的。yolov8训练时会把这些空标注图片作为负样本参与损失计算。如果不加模型会在推理阶段对任何纹理区域给出低置信度但非零的检测框。负样本图片最好和训练集背景同分布比如桌面照片、地毯照片而不是随便下载的风景图。6. 从数据集到可用的手势识别模型评估、导出与端侧部署6.1 用混淆矩阵而不是mAP来评估手势模型训练结束后runs/detect/sps_experiment/confusion_matrix.png比results.png更能说明问题。对石头剪刀布这种三分类任务最怕的是某一对类别混淆严重典型的如剪刀和布在手指并拢时过于相似。mAP是把所有类别混在一起算的会掩盖单类别问题。查看混淆矩阵时如果scissors被错判成paper的比例超过5%优先检查剪刀类别的标注图片大概率是标注时把手指微张的剪刀和手指并拢的布混标了。区分这两种手势的标注原则是以手指自然状态为边界手指有明显分离才标scissors。6.2 置信度阈值与NMS参数对猜拳体验的影响模型推理时直接用的默认置信度阈值是0.25但部署到猜拳游戏里这个值不算很合适。游戏场景里每一帧画面只会出现一只手不存在密集目标你更希望的是只输出确定度最高的一个框。实操上我会调两个参数from ultralytics import YOLO model YOLO(runs/detect/sps_experiment/weights/best.pt) # conf0.6过滤低置信度框, 单目标场景下这类任务很适合调高阈值 results model.predict(sourcecamera, conf0.6, iou0.5, max_det1)conf从0.25调到0.6后误检明显减少代价是偶尔漏检。对猜拳游戏来说漏检一拍可以接受误检成错误的拳型会让游戏逻辑紊乱这是两种错误的代价不对称问题阈值应当偏向减少误检。6.3 导出与端侧部署从.pt到ONNX到板端推理训练完的best.pt要部署到板端常见路径是导出ONNX再转成板端格式。rk3588部署yolov8是目前很常见的边缘场景导出命令yolo export modelruns/detect/sps_experiment/weights/best.pt formatonnx opset12导出后会生成best.onnx用onnxruntime做CPU推理import onnxruntime as ort import cv2 import numpy as np session ort.InferenceSession(best.onnx) input_name session.get_inputs()[0].name # 预处理和训练时保持一致: 等比缩放填充到640x640 image cv2.imread(test_rock.jpg) input_tensor cv2.dnn.blobFromImage(image, 1/255.0, (640, 640), swapRBTrue) outputs session.run(None, {input_name: input_tensor})这条OPSET 12导出的ONNX在rk3588的NPU上还需要转RKNN格式那个环节需要板子的工具链逐层算子支持情况要单独验证。板端部署时最容易遇到的问题就是预处理细节不一致训练时letterbox的灰边填充值是114如果你在部署代码里用0填充检测精度会掉好几个点。拿石头剪刀布这个数据集练手时一定要把这一步记牢因为它是部署环节最后一道闸门。这个数据集和训练流程整套跑完后我自己的习惯是保留一份最小复现记录用哪批标注图片、哪个版本的data.yaml、跑了多少epoch、最佳mAP是多少全写在训练目录的README里。因为石头剪刀布数据集太轻量了不出三个月你再想改标注重新训练时就会发现当初不记下这些参数等于让过去的自己重新做一遍实验。环境再重装一次torch又更新了几个版本超参数早就对不上了。把那次实验的记录留好后续换数据集、换场景时起码有个能对标的基准线。希望帮到你。本文还有配套的精品资源点击获取