精选10个YOLO目标检测数据集：从COCO到VisDrone的训练实战指南

YOLO项目做多了就会发现一个很现实的问题模型结构越来越简单好抄网上现成代码一抓一大把真正卡住人的永远是数据。去年到今年我被问得最多的问题翻来覆去就是“有没有靠谱的数据集”“这个数据集怎么转成YOLO格式”“训练自己的数据集第一步到底该干嘛”。这两年在目标检测方向折腾了不少项目也帮别人排查过不少训练问题这次干脆把第03期整理成一份精选数据集清单总共10个覆盖通用检测、密集人群、人脸、遥感航拍、农业病害、自动驾驶、基础设施巡检这些高频落地场景。每个数据集我都会写清楚规模、标注格式、适合做什么、有哪些坑如果你正准备用yolov8训练自己的数据集这篇可以直接照着选。1. 先聊聊我筛选数据集的四个标准1.1 场景匹配比追求“大而全”更重要很多人上来就想找那种“什么都能检测”的数据集其实这是做YOLO项目最容易踩的坑。COCO确实80类但如果你最终要落地的是货架商品识别拿COCO训练出来的模型放到真实货架场景里大概率是一塌糊涂因为商品密集、遮挡严重、同类外观差异大COCO里的“杯子”“瓶子”根本覆盖不了这种分布。所以我通常会给项目定一个“场景地图”先想清楚最终部署环境是室外还是室内、目标是大还是小、是静态图还是视频流、对误检容忍度多高然后按这个地图去匹配数据集。航拍场景优先看VisDrone、遥感选DOTA、密集人群看CrowdHuman、人脸专项看WiderFace宁可数据集小一点、任务专一一点也不要贪多求全。这也是这一期挑选10个数据集时最重要的筛选依据。1.2 标注质量和格式兼容性直接决定训练效率标注质量这件事很多人不看实际使用差别非常大。OpenImages这种数据集标注噪声相对高用于预训练可以拿来做精确评估就很痛苦而COCO、VOC、Cityscapes这些经过了多年检验标注一致性更好。做YOLO训练最理想的情况是数据集本来就提供YOLO格式的txt标注或者说至少能比较好地转换。比如DOTA虽然是旋转框但能通过工具链转成YOLOv8的OBB格式VisDrone的txt标注列含义明确转起来也很干净。另外还要看标注质量细节是否包含遮挡目标、截断目标、极小目标这些恰恰是模型能不能在真实场景中用的关键。像CrowdHuman专门标了可见部分和完整身体框WiderFace的Hard子集几乎是行内公认的人脸检测压力测试这种针对性标注带来的训练价值是一般“随手标出来的数据集”完全比不上的。2. 10个精选数据集逐个拆解上通用与专项检测方向2.1 COCO 2017跑通YOLOv8/YOLOv9/YOLOv10的基线之王COCO可以说是YOLO生态里的“通用语”。官方的yolov8n.pt、yolov8s.pt这些预训练权重都是在COCO上练出来的Ultralytics仓库里也直接内置了coco.yaml下载好数据就能跑。关键参数训练集118287张图、验证集5000张80个类别每张图平均7.7个实例标注包含检测框、实例分割掩码、人体关键点。数据包压缩后大概25GB解压后20多GB。我自己在单卡RTX 3090上跑YOLOv8mimgsz640、300个epoch大概要十几个小时。用COCO做YOLO训练最大的价值在于“预训练权重继承”。如果你要训练一个自定义数据集直接用coco.pt作为起点比自己从随机初始化开始训练强很多。常见的坑是有人非要拿COCO去硬套某个垂直场景然后抱怨效果差这属于选型问题不是数据集本身的问题。COCO更适合用来做模型能力验证、预训练基座、以及新手跑通全流程。2.2 PASCAL VOC 20072012新手入门最稳的练手数据集如果只是想快速学会YOLO训练流程、搞清楚数据和模型之间的关系VOC系列是最稳的选择。VOC2007包含约5000张图像、12k个标注实例VOC2012约11000张图、27k个实例都是20类人、猫、狗、自行车、汽车这些常见类别。VOC的标注格式是Pascal VOC XML也就是用LabelImg默认保存的那种格式。很多人打标完发现生成了一堆.xml文件而YOLO需要的是txt文件中间就需要写个转换脚本。网上这种转换代码很多但要注意几点类别顺序必须和你最终定义的class列表一致坐标要归一化到[0,1]框宽高不能为0。因为VOC训练快、显存占用小我一般建议刚入门的同学先拿VOC做实验把训练流程、参数含义、预测结果可视化全部过一遍再上复杂数据集。VOC2007的test测试集标签需要单独获取经常有人漏掉跑到最后发现没有真值没法评估这一点要提前留意。2.3 CrowdHuman密集行人检测的压力测试场做安防监控、商场人流统计、自动驾驶行人感知的朋友一定绕不开CrowdHuman。这个数据集是CVPR 2019发布的15000张图像里有大约47万个行人实例平均每张图超过30人密集程度和遮挡程度都是“地狱级”的。CrowdHuman的标注给的是ODGT格式每个目标同时标了full body全身框和visible body可见部分框。做YOLO检测时我一般用full body作为训练框如果你的业务场景更看重“露出来的部分能不能检测到”则可以用visible body。下载方式需要填写申请表单一般审核比较快当天或者第二天就能拿到下载链接。训练CrowdHuman时有一个很典型的现象模型在简单场景上mAP很高一到密集处就开始漏检尤其是严重遮挡的行人。实际部署时如果出现这种问题我通常会把NMS阈值调低一点让重叠框的抑制策略更激进同时配合高分辨率输入。2.4 Wider Face人脸检测专项绕不开的“硬骨头”人脸检测在YOLO项目里算是专项里的专项而WiderFace是绕不开的评测集。它包含32203张图像、约39.4万张人脸场景非常杂演唱会、街头、办公室都有人脸尺度差别极大有些脸只有二三十个像素。官方把数据分成Easy、Medium、Hard三档如果你是做手机相册人脸识别或安防抓拍建议直接挑战Hard档。WiderFace的标注格式是纯txt文本每行表示一个人脸框和关键点信息。转成YOLO格式时一般只保留前四个坐标x1, y1, w, h后面的关键点坐标用不到要过滤掉。踩过的坑说一个WiderFace官方test集没有公开标签需要提交到官网评测自己本地做实验建议用trainval直接训练把官方val当作验证集。还有人把人脸框标得太紧导致训练后的模型在预测时框比脸小一圈我一般会在转换txt时把框外扩5%~10%效果会明显舒服。2.5 SKU-110K零售货架密集商品检测的工业级难度零售、无人货架、智能盘点这一类的项目SKU-110K算得上是公开数据集里最接近真实工业场景的。它包含11762张货架图片标注了超过170万个商品框类别只有1个“object”。数据量看起来不大但密度非常恐怖很多商品挨在一起边界几乎要重合。这类密集小目标场景直接从原图resize到640训练效果很不好因为商品尺寸太小resize完了基本糊成一团。我的处理习惯是先把大图切成若干patch再训练切图时还要保留一定的overlap防止商品被从中间切开造成标注不完整。另外SKU-110K的标注格式自带COCO版本的json可以用Ultralytics自带的coco转yolo工具处理也可以自己解析。3. 10个精选数据集逐个拆解下垂直行业与多任务落地3.1 VisDrone无人机航拍视角的小目标检测标准集这两年无人机巡检、农田监测、城市管理项目非常多VisDrone算是航拍目标检测领域最常用的公开数据集。它来自无人机视角包含6471张训练图、548张验证图和1610张测试图类别10个行人、人、自行车、汽车、货车、卡车、公交车、面包车、三轮车、遮阳三轮车。VisDrone的标注txt格式非常标准化每行是bb_left, bb_top, bb_width, bb_height, score, category, truncation, occlusion其中score、truncation、occlusion对YOLO训练来说基本用不上转格式时通常只取前4个坐标加类别id。这个数据集最大的难点是目标普遍很小很多目标连16×16像素都不到。直接用默认YOLOv8配置训练mAP会非常惨。我建议把imgsz调到800甚至960或者使用SAHI这样的切图推理方案。另外VisDrone里的“人”和“行人”是两个不同类别标注上区分并不严格训练时经常会出现类别混淆这点要心里有数。3.2 DOTA v1.0遥感旋转框检测的必备选择做遥感图像、卫星地图、机场分析相关项目的朋友一定知道DOTA。DOTA v1.0包含2806张航拍图15个类别飞机、船舶、储罐、棒球场、田径场、足球场等标注实例约18.8万。它最大的特点是目标朝向任意必须用旋转框OBB才能表达普通水平框强行包住目标会带来大量背景干扰。DOTA每张原图很大常见尺寸在4092×4092左右直接塞进YOLO训练是不现实的。常规做法是先切图切成1024×1024且带256像素overlap的patch再把OBB标注转成YOLOv8可用的旋转框格式。如果你是用mmrotate训练流程不太一样它需要把数据转成DOTA标准格式训练配置里也要选择RotatedRetinaNet或者RotatedFCOS之类的旋转检测模型。DOTA的坑在转换环节比较多四个角点的顺序必须固定常见是顺时针或逆时针角度计算在不同算法里定义不一样有的用angle、有的是cos/sin编码转错了模型直接不收敛或者结果全是歪框。3.3 农业病虫害数据集烟草与大田作物的YOLO实践农业领域的热度这两年明显起来了热词里“烟草病虫害数据集yolo”“无人机农田语义检测”都不是个例。公开层面Roboflow上有不少农业检测集比如Tobacco Disease相关的开源版本包含烟草花叶病、黑胫病、野火病、角斑病等常见类目规模一般不大几百到一两千张图PlantDoc则覆盖了更多植物和病害组合类别有几十个。农业数据集的普遍问题是样本不均衡和背景复杂。健康叶片、土壤、灌溉管、阴影这些干扰物经常被误检为病斑我在实践中会把这些“难负样本”单独收集成背景类或者额外标注一些难例作为训练数据。还有一点要注意YOLO训练时类别名尽量不要用中文不是“不行”而是路径编码和可视化时容易出各种小问题。我一般统一用英文类名加数字比如tobacco_mosaic、tobacco_black_shank训练完再做名称映射到中文展示。农业场景如果想要更高精度通常需要叠加小目标增强策略因为早期病斑往往只有几个像素。3.4 Cityscapes自动驾驶场景的多任务迁移底座自动驾驶领域Cityscapes是非常经典的多任务数据集。它包含25k帧德国城市街景视频帧其中5k帧具有精细像素级标注34个类别常规评测常用其中的19类。除了目标检测Cityscapes还适合做语义分割、实例分割、深度估计这类多任务研究YOLOv8-seg就可以拿它练手。下载Cityscapes需要注册并同意协议稍微麻烦一点但数据质量确实好。要注意的是Cityscapes的19类子集定义和原始34类不同转换时class id必须重新映射很多人在这上面出错。实际落地自动驾驶检测项目时Cityscapes单独用并不够因为它的城市、光照、国家比较单一我一般会再配合BDD100K补充不同天气和路况或者做大量色彩增强模拟阴雨天。同时它本身是分割标注如果只想做目标检测需要先从像素级mask里提取外接框。3.5 RDD2022道路病害检测与基础设施巡检的实用数据道路病害检测这几年在交通巡检、市政养护项目里需求量很大RDD2022是行业内很常用的数据集。它包含日本、印度、捷克等多个国家的约36000张道路图像标注类别4类D00为纵向裂缝、D10为横向裂缝、D20为龟裂、D40为坑槽。RDD2022同时提供VOC和COCO两种标注格式可以很方便地转成YOLO格式。不过类别不均衡问题非常突出纵向裂缝和横向裂缝数量多龟裂和坑槽相对少导致训练出来的模型对坑槽容易漏检。我在实验里会做两类处理一类是对少样本类别过采样复制另一类是在增强阶段对包含坑槽的图像提高增强概率。另外需要提醒道路病害的“纹理”有很强的地域性用印度道路训练出来的模型放到中国高速公路上效果会有明显折扣项目交付的时候最好补一部分本地道路数据做微调。类似思路也适用于燃气管道表面缺陷、桥梁裂缝这类基础设施巡检只是公开数据集相对少通常需要先自建一批再训练。4. 拿到数据集后从下载到YOLO格式的一站式处理4.1 标注文件转换LabelImg打标完到YOLO训练的必经步骤热词里反复出现“labelimg 打标完yolo格式的标”说明很多新手走到这一步就卡住了。LabelImg有两种保存模式Pascal VOC XML和YOLO txt。即使你打标时选了YOLO格式依然要特别注意YOLO格式的txt是和每张图片同名的文本文件每行五个值类别id、中心点x、中心点y、框宽、框高全部归一化到[0,1]。如果你手头已经有一批XML标注我一般用下面这个脚本批量转成YOLO格式import os import xml.etree.ElementTree as ET from pathlib import Path def convert_xml_to_yolo(xml_path, out_dir, class_list): tree ET.parse(xml_path) root tree.getroot() img_w int(root.find(size/width).text) img_h int(root.find(size/height).text) txt_name Path(xml_path).stem .txt lines [] for obj in root.findall(object): name obj.find(name).text if name not in class_list: continue cls_id class_list.index(name) box obj.find(bndbox) x1, y1 float(box.find(xmin).text), float(box.find(ymin).text) x2, y2 float(box.find(xmax).text), float(box.find(ymax).text) # 防止越界 x1, x2 min(x1, x2), max(x1, x2) y1, y2 min(y1, y2), max(y1, y2) cx, cy (x1 x2) / 2 / img_w, (y1 y2) / 2 / img_h bw, bh (x2 - x1) / img_w, (y2 - y1) / img_h # 裁剪到合法范围 cx, cy, bw, bh max(0, min(cx, 1)), max(0, min(cy, 1)), max(0, min(bw, 1)), max(0, min(bh, 1)) lines.append(f{cls_id} {cx:.6f} {cy:.6f} {bw:.6f} {bh:.6f}) if lines: with open(os.path.join(out_dir, txt_name), w) as f: f.write(\n.join(lines))转换完成的txt建议先做一轮校验检查是否存在空标注、坐标是否越界、类别id是否超出类别总数。这个步骤很多人跳过去到训练时才发现损失函数不下降排查半天最后定位到标注文件有错误。4.2 YOLO训练目录结构必须符合规范YOLO系列对数据目录的约定很统一不管是用Ultralytics的YOLOv8还是其他框架目录结构都建议按下面这样组织dataset/ ├── images/ │ ├── train/ │ │ ├── 000001.jpg │ │ ├── 000002.jpg │ └── val/ │ ├── 000101.jpg │ └── 000102.jpg └── labels/ ├── train/ │ ├── 000001.txt │ ├── 000002.txt └── val/ ├── 000101.txt └── 000102.txt对应的dataset.yaml则这样写path: /your/absolute/path/dataset train: images/train val: images/val names: 0: person 1: bicycle 2: car有几个隐藏问题要提醒图片和txt必须同名扩展名不同没关系classes的顺序一旦确定就不能随便改否则类别映射会全乱图片路径里不要有中文和空格。4.3 训练集与验证集划分按场景分层采样很多公开数据集自带train和val目录直接拿来用即可。如果是自建数据集或者下载的是未划分版本就需要自己划分。简单随机划分在类别不平衡时容易出问题我习惯按“图像中包含的目标类别”做分层抽样保证每个类别的样本在train和val中的占比接近。一个参考脚本思路是第一遍扫描所有txt统计每张图包含的类别构建“类别到图片列表”的映射第二遍按类别比例分别抽80%进train、20%进val。对于多类别图片会出现在多个类别映射里所以需要考虑重复分配问题。最简单稳妥的方式是每次只从“未分配”的图片中抽样确保train和val没有交叠。划分完成后建议把val集里的样本数控制在一两百张以上太少的话评估指标波动会非常大一个epoch的好坏根本看不出真实水平。4.4 数据增强别一上来就拉满Ultralytics默认开启Mosaic、HSV变换、随机翻转等增强策略这些对提升泛化能力有帮助但不是所有场景都适合直接全开。我踩过最大的坑是拿一个密集小目标数据集直接训练Mosaic把目标切得七零八碎模型学到的全是碎片验证集表现极差。如果你的数据本身已经能把目标看得比较清楚我建议第一轮先关掉MosaicUltralytics中可设置mosaic0.0用比较朴素的增强训练一个baseline确认流程和模型都正常后再逐步打开增强。小目标场景可以适当调大hsv_h、hsv_s的随机范围模拟不同光照旋转增强degrees不要设太大很多目标是有语义朝向的比如车辆、人脸翻转90度或180度会让模型学到错误信息。5. 实操用精选数据跑通一次YOLOv8训练全流程5.1 环境配置Anaconda下搭建YOLOv8训练环境很多人在热词里搜“yolo v8 anaconda环境配置要求”这里给一个稳定可复现的组合。先用Anaconda创建一个干净环境Python版本选3.8~3.11都行我一般用3.10conda create -n yolo python3.10 -y conda activate yolo pip install ultralytics torch torchvision --index-url https://download.pytorch.org/whl/cu118显卡驱动和CUDA版本不需要你自己去配得太细只要PyTorch能识别到GPU就行。验证方式import torch print(torch.cuda.is_available())显存建议至少6GB以上YOLOv8n这种轻量模型勉强能跑YOLOv8m和更大的模型建议12GB以上。如果只有CPU训练也能跑但速度会让人崩溃实际项目中基本不会这么干。5.2 训练参数配置与启动命令数据准备好之后用下面这条命令就能启动训练yolo detect train datadataset.yaml modelyolov8n.pt epochs100 imgsz640 batch16 device0参数解释一下modelyolov8n.pt是预训练权重路径也可以换成yolov8s.pt、yolov8m.ptepochs建议先设100个观察曲线batch受显存限制如果OOM就调小imgsz一般默认640小目标场景调到800或960。训练过程中可以随时用yolo detect val对验证集做评估也可以等训练完后自动评估。保存下来的权重在runs/detect/train/weights/目录下best.pt是验证集指标最好的权重last.pt是最后一个epoch的权重。5.3 损失函数怎么读box_loss、cls_loss和dfl_loss热词里有人专门问“yolo损失函数”这里简单聊一下。YOLOv8的损失由三部分组成box_loss用的是CIoU Loss衡量预测框和真实框的重合度、中心点距离和宽高比cls_loss用的是BCE Loss做类别分类dfl_loss是Distribution Focal Loss让框的回归更精准。训练日志里你会看到类似下面的输出Epoch GPU_mem box_loss cls_loss dfl_loss Instances Size 50/100 5.2G 1.124 0.832 1.352 64 640看曲线的核心逻辑很简单三个loss训练中应该整体下降或者波动下降val指标mAP50、mAP50-95逐步上升。如果train loss降了但val mAP不涨大概率是过拟合需要增加数据增强、减小模型复杂度或者补充数据。5.4 推理时如何调整置信度门限训练完的模型在预测时默认置信度阈值是0.25但实际业务场景往往需要自己调。调高置信度会减少误检适合对精确率要求高的场景调低置信度会召回更多目标但误检也会变多。命令如下yolo detect predict modelbest.pt sourcetest.jpg conf0.35 iou0.45这里iou是NMS的IoU阈值控制两个框在多大重叠时算重复框。密集场景比如CrowdHuman建议把iou调低到0.3左右抑制重复框稀疏场景可以保持0.45~0.5。6. 常见问题与排查技巧实录6.1 标注文件和图片对不上、标签缺失怎么办这个问题在自建数据集时特别多见。表现包括训练日志里提示found no labels或者某些图片没有对应的txt。我排查时一般走三步第一检查txt文件名是否和图片完全一致第二检查txt是否为空文件第三检查dataset.yaml中train、val路径写的是目录名而不是文件路径。还有一个很容易被忽略的细节如果某个类别的样本数量为0训练也会报错先去检查labels里所有txt中的类别id是否都能映射到names里。6.2 类别id错位导致的训练结果“张冠李戴”假如LabelImg里你定义了5个类别但YOLO训练时的names顺序是另一套即使数量一样模型也会把类别1当成类别0来学。更隐蔽的是类别id不连续比如删掉中间一个类别后标签里还有id3但names里只有0、1、2、4这样模型会直接忽略这个类。所以每次转换格式后我习惯写一个脚本扫描所有标签文件打印出实际出现的类别id分布和配置的names逐一对照确保没有断档和错位。6.3 数据集太大导致训练时间过长怎么办VisDrone、COCO这种规模的数据集动辄几千上万张全量训练确实费时间。如果只是想验证流程是否能跑通我建议先按比例抽样20%比如每5张抽1张快速跑一个100个epoch的短实验确认loss能下降、验证集能出结果再上全量数据。抽样时注意保持各类别分布相对稳定不要只抽到一类目标。另一种思路是对大图做切图比如把VisDrone原图切成多个patch可以同时解决“数据量太大”和“小目标看不清”两个问题。6.4 训练效果差先怀疑数据再怀疑模型很多朋友一跑出来效果不好就急着换模型其实70%的情况问题出在数据上。我一般按这个顺序排查先看标注是否准确有没有错标、漏标、框太松太紧再看类别分布是否均匀少数类样本不足就过采样或找补充数据然后看目标尺度如果目标偏小优先提升输入分辨率或使用切图推理而不是盲目堆模型深度最后才考虑模型本身从n/s/m级别往上试。如果以上都排查过还是没有好转还有一个容易被忽略的因素训练集和真实部署场景的分布差异太大。比如模型在VisDrone上训练到了光线灰暗的无人机实拍画面里效果很差这种时候不应继续调参而应该补充目标域的图像做微调数据才是最终决定上限的东西。做YOLO项目这几年我的核心体会是数据集的选型和清洗决定了模型的上限调参、换网络结构只是在逼近这个上限。很多看起来“模型不行”的案例最后都能在数据里找到根源——要么是标注问题要么是分布差异要么是数据量不足。所以我习惯在每个项目启动前花至少一半时间把数据准备好选对数据集、统一标注格式、检查类别分布、跑通小规模基线剩下的训练反而是顺水推舟的事。另外再分享一个小技巧无论最终用哪个数据集务必先拿小批量样本跑通全流程确认训练和评估环节都正常后再上全量数据能帮你省下大量排错时间。