VOC 20分类数据集YOLOv5实战：数据转换、训练与部署全流程

简介本资源是一套面向目标检测初学者与进阶开发者的YOLOV5实战项目围绕VOC 20分类数据集展开涵盖火车、船、人、电视、飞机等常见类别帮助读者快速跑通从数据到推理的完整流程。压缩包共约2000个文件以1921个txt标签、40个py脚本、23个yaml配置、9个sh脚本及若干md说明文档为主整体约357.51MB目录结构清晰便于按模块查阅。项目已迭代100个epoch在runs目录下保存了训练结果最佳精度达到map0.50.62、map0.5:0.950.42并在runs/detect中保留了网络推理训练集的全部结果推理效果较为理想。训练集含13700张图片及对应标签测试集含3425张图片及标签代码经测试可直接使用。目前已有159人学习适合希望掌握YOLOV5训练与推理参数配置、复现完整目标检测方案的读者参考。1. VOC 20 分类数据集跑 YOLOv5为什么值得从这套组合开始如果你手头有一份 Pascal VOC 格式的目标检测数据集类别数是 20想用 YOLOv5 把它跑起来那这套组合几乎是绕不开的起点。VOC 的 20 类覆盖了人、车、动物、家具等日常场景标注质量稳定是检验检测流程是否跑通的好材料。但很多人卡在第一步VOC 的 XML 标注和 YOLOv5 要求的 txt 格式对不上直接开训就是一堆报错。这篇笔记就围绕「VOC 20 分类数据集 YOLOv5」这条链路把数据转换、配置文件、训练参数、部署验证的完整路径拆开讲清楚。适合刚拿到数据集不知道从哪下手的新手也适合想确认自己流程有没有遗漏的老手。读完你能自己把一份 VOC 数据集喂给 YOLOv5并知道每一步为什么这么做。2. 从 VOC 的 XML 到 YOLOv5 的 txt数据转换的完整路径2.1 先搞清楚 VOC 和 YOLO 格式到底差在哪Pascal VOC 的标注是一个图像对应一个 XML 文件里面用object标签记录每个目标的类别名和边界框的左上角、右下角坐标坐标是绝对像素值。YOLOv5 要的是每张图一个 txt 文件每行一个目标格式是类别索引 中心x 中心y 宽 高后四个值都是相对于图像宽高的归一化值范围在 0 到 1 之间。这个差异决定了转换脚本必须做三件事读 XML 拿绝对坐标、算中心点和宽高、除以图像尺寸做归一化。类别索引不能直接用 VOC 里的类别名得先建一个类别到索引的映射表而且这个映射表的顺序必须和后面 data.yaml 里的 names 列表完全一致否则训练出来的模型会把猫认成狗。2.2 转换脚本一次把 20 类的 XML 全转成 txt下面这个脚本我用了很多次处理 VOC 20 分类数据集够用。它遍历 JPEGImages 目录下的每张图找到 Annotations 里对应的 XML解析出所有 object按类别映射表转成 YOLO 格式写入 labels 目录。import os import xml.etree.ElementTree as ET from PIL import Image # 20 类按字母序排列这个顺序必须和 data.yaml 的 names 一致 CLASSES [ aeroplane, bicycle, bird, boat, bottle, bus, car, cat, chair, cow, diningtable, dog, horse, motorbike, person, pottedplant, sheep, sofa, train, tvmonitor ] class_to_idx {name: i for i, name in enumerate(CLASSES)} def convert_annotation(xml_path, img_path, label_path): tree ET.parse(xml_path) root tree.getroot() # 用 PIL 拿图像真实宽高不要信 XML 里的 size有些数据集标错 with Image.open(img_path) as im: w, h im.size lines [] for obj in root.iter(object): # 跳过 difficult 目标VOC 里这部分通常不参与评估 difficult obj.find(difficult) if difficult is not None and int(difficult.text) 1: continue cls_name obj.find(name).text.strip() if cls_name not in class_to_idx: continue bbox obj.find(bndbox) xmin float(bbox.find(xmin).text) ymin float(bbox.find(ymin).text) xmax float(bbox.find(xmax).text) ymax float(bbox.find(ymax).text) # 归一化并转成中心点加宽高 cx (xmin xmax) / 2.0 / w cy (ymin ymax) / 2.0 / h bw (xmax - xmin) / w bh (ymax - ymin) / h # 裁剪到 0 到 1防止标注越界导致训练报错 cx min(max(cx, 0.0), 1.0) cy min(max(cy, 0.0), 1.0) bw min(max(bw, 0.0), 1.0) bh min(max(bh, 0.0), 1.0) lines.append(f{class_to_idx[cls_name]} {cx:.6f} {cy:.6f} {bw:.6f} {bh:.6f}) with open(label_path, w) as f: f.write(\n.join(lines)) def main(voc_root, out_root): img_dir os.path.join(voc_root, JPEGImages) ann_dir os.path.join(voc_root, Annotations) out_img_dir os.path.join(out_root, images) out_lbl_dir os.path.join(out_root, labels) os.makedirs(out_img_dir, exist_okTrue) os.makedirs(out_lbl_dir, exist_okTrue) for xml_file in os.listdir(ann_dir): if not xml_file.endswith(.xml): continue stem xml_file[:-4] xml_path os.path.join(ann_dir, xml_file) img_path os.path.join(img_dir, stem .jpg) if not os.path.exists(img_path): continue label_path os.path.join(out_lbl_dir, stem .txt) convert_annotation(xml_path, img_path, label_path) # 图像可以软链或复制这里用复制保证目录独立 import shutil shutil.copy(img_path, os.path.join(out_img_dir, stem .jpg)) if __name__ __main__: main(/data/VOCdevkit/VOC2007, /data/voc_yolo)脚本里几个关键点值得说清楚。CLASSES列表的顺序决定了类别索引VOC 官方 20 类按字母序排就是这个顺序你如果自己调整了顺序data.yaml 必须同步改。difficult为 1 的目标我选择跳过因为这部分在 VOC 评估里本来就不算分留着反而让模型学到模糊样本。归一化之后做了一次裁剪这是血泪经验有些 XML 的 xmax 会超出图像宽度不裁剪的话 YOLOv5 在数据加载阶段会直接抛异常。图像复制那步如果数据集大可以改成软链接省磁盘但要注意 YOLOv5 的 dataloader 对软链接路径的解析。2.3 划分训练集和验证集别用随机切分VOC2007 官方给了 trainval.txt 和 test.txt但很多人只有一份混合数据。我一般按 8:2 切但不用随机而是按文件名排序后取前 80% 做训练。为什么不用随机因为 VOC 里同一场景的图往往文件名相邻随机切会让训练集和验证集出现近乎重复的图验证指标虚高上线就翻车。切分脚本很简单# 假设所有图在 /data/voc_yolo/images标签在 /data/voc_yolo/labels ls /data/voc_yolo/images/*.jpg | sort | head -n $(( $(ls /data/voc_yolo/images/*.jpg | wc -l) * 80 / 100 )) train.txt ls /data/voc_yolo/images/*.jpg | sort | tail -n $(( $(ls /data/voc_yolo/images/*.jpg | wc -l) * 80 / 100 1 )) val.txt这两行命令生成两个 txt里面是图像的绝对路径。YOLOv5 支持这种列表文件比按目录扫描更可控。注意head和tail的边界别让某张图同时出现在两个集合里。3. 配置文件与训练参数让 YOLOv5 认你的 20 类数据3.1 data.yaml 里三个必须对齐的地方YOLOv5 的数据配置文件 data.yaml 看着简单但 20 分类场景下有三个地方容易错。第一是nc必须等于 20写错会直接报维度不匹配。第二是names列表的顺序必须和转换脚本里的 CLASSES 完全一致差一个顺序模型就全乱。第三是train和val指向的路径可以是目录也可以是 txt 列表文件我推荐用 txt 列表因为切分逻辑已经固化在文件里换机器不用重新切。# data/voc20.yaml path: /data/voc_yolo train: /data/voc_yolo/train.txt val: /data/voc_yolo/val.txt nc: 20 names: - aeroplane - bicycle - bird - boat - bottle - bus - car - cat - chair - cow - diningtable - dog - horse - motorbike - person - pottedplant - sheep - sofa - train - tvmonitorpath是根路径train和val如果写相对路径会拼在path后面写绝对路径则直接用。我习惯写绝对路径省得路径拼接出玄学问题。3.2 模型配置选哪个yolov5s 起步别一上来就上 xYOLOv5 官方提供 s、m、l、x 几个尺寸参数量和计算量依次增大。VOC 20 分类数据集通常在一万到两万张图量级yolov5s 足够跑出可用的基线而且训练快、显存占用低。如果你用 yolov5x单卡 11G 显存可能连 batch size 8 都跑不动训练一轮要等很久调参迭代效率极低。我的建议是先用 yolov5s 把整个流程跑通确认 mAP 能到 0.7 以上再考虑换大模型冲指标。模型配置文件不用改YOLOv5 会根据 data.yaml 的 nc 自动调整检测头输出维度。3.3 训练命令与关键超参数启动训练的命令本身不复杂但几个参数决定了你能不能复现别人的结果。python train.py \ --data data/voc20.yaml \ --cfg models/yolov5s.yaml \ --weights yolov5s.pt \ --epochs 100 \ --batch-size 16 \ --img-size 640 \ --workers 8 \ --device 0 \ --project runs/train \ --name voc20_exp1--weights yolov5s.pt表示从 COCO 预训练权重开始微调这对小数据集很重要从头训几乎不可能收敛到好结果。--img-size 640是 YOLOv5 的默认输入尺寸VOC 图像普遍偏小640 够用再大显存吃不消。--batch-size 16在单卡 11G 上跑 yolov5s 比较稳如果爆显存就降到 8。--workers是数据加载线程数设成 CPU 核数的 2 倍左右太少会卡在数据读取上太多反而抢资源。--device 0指定第一块 GPU多卡用逗号分隔。训练过程中重点看三个指标box_loss应该持续下降如果震荡不降检查学习率或数据标注mAP0.5在验证集上的曲线正常在 50 轮后开始明显上升precision和recall的平衡如果 recall 很低说明模型漏检多可以适当调低置信度阈值看效果。3.4 超参数怎么调从默认值出发的三个方向YOLOv5 的超参数在data/hyp.scratch.yaml里训练时可以用--hyp指定。20 分类 VOC 场景下我一般关注三个方向。学习率方面默认lr0: 0.01对微调来说偏大改成 0.001 到 0.005 之间更稳尤其是数据集小的时候。数据增强方面mosaic: 1.0默认开启对 VOC 这种场景多样但样本量不大的数据集很有帮助但如果你的类别里有大量小目标mosaic可能让目标变得更小可以降到 0.5。锚框方面YOLOv5 会自动根据数据集聚类锚框不用手动改但如果你的目标尺寸分布和 COCO 差异极大可以跑一次python utils/autanchor.py重新聚类。4. 训练过程中的避坑与排查4.1 报错 “No labels found” 或训练时 mAP 恒为 0现象是训练能启动但日志里一直提示找不到标签或者 mAP 始终是 0。原因通常是标签路径和图像路径没有对应上。YOLOv5 默认把图像路径里的images替换成labels来找标签如果你的目录结构不是images/和labels/并列就会找不到。解决方法是检查 data.yaml 里的 train 和 val 路径确保图像和标签的目录层级一致或者直接用 txt 列表文件列表里写图像绝对路径YOLOv5 会按规则推导标签路径。另一个可能是标签文件后缀不是.txt或者文件名和图像不一致。4.2 显存溢出batch size 和 img-size 的取舍现象是训练几轮后报 CUDA out of memory。原因不一定是 batch size 太大也可能是 img-size 设高了或者 workers 太多导致内存泄漏。解决顺序是先把 batch-size 减半如果还爆把 img-size 从 640 降到 512 或 416。注意 YOLOv5 要求 img-size 是 32 的倍数别设成 500 这种。如果显存刚好卡在边界可以开--multi-scale让输入尺寸在训练中动态变化但会稍微降低训练速度。4.3 验证集 mAP 远低于训练集过拟合的三种信号现象是训练集 loss 降到很低但验证集 mAP 停在 0.3 左右上不去。原因通常是过拟合尤其是 VOC 20 分类里某些类别样本很少比如 pottedplant 和 diningtable。解决方法是先看每个类别的 AP如果只有少数类别差说明样本不均衡可以对这些类别做额外增强或过采样。如果所有类别都差检查验证集切分是不是和训练集有重叠用文件名排序切分能避免这个问题。还可以加 weight_decay 或 dropout但 YOLOv5 默认的增强已经比较强优先从数据层面解决。4.4 类别索引错位模型把猫认成狗现象是训练指标看着还行但推理时类别全乱比如 person 框出来标成 car。原因是转换脚本里的 CLASSES 顺序和 data.yaml 的 names 顺序不一致。VOC 官方 20 类按字母序是固定的但如果你自己整理数据集时按别的顺序排了两边必须同步。排查方法是打印 data.yaml 的 names 列表和转换脚本的 CLASSES 列表逐项对比。这个坑很隐蔽因为训练不会报错只有推理时才会暴露。4.5 数据加载慢导致 GPU 利用率低现象是 nvidia-smi 看 GPU 利用率只有 30% 到 50%训练速度远低于预期。原因是数据加载成了瓶颈workers 太少或者磁盘 IO 慢。解决方法是把--workers调到 CPU 核数的 2 倍如果数据集在机械硬盘上考虑复制到 SSD。另外 YOLOv5 默认会缓存图像到内存加--cache参数可以加速但要求内存足够大VOC 数据集一般没问题。5. 推理验证与部署从权重文件到实际可用5.1 用 detect.py 快速验证训练结果训练完成后权重在runs/train/voc20_exp1/weights/best.pt。先用几张验证集里的图跑一下推理确认模型真的学到了东西。python detect.py \ --weights runs/train/voc20_exp1/weights/best.pt \ --source /data/voc_yolo/images \ --img-size 640 \ --conf-thres 0.25 \ --iou-thres 0.45 \ --device 0 \ --project runs/detect \ --name voc20_test--conf-thres 0.25是置信度阈值低于这个值的框会被过滤。VOC 场景下 0.25 是个不错的起点如果发现漏检多就降到 0.1误检多就升到 0.4。--iou-thres 0.45控制 NMS 的合并程度目标密集时调低到 0.3 能减少框重叠。推理结果图会存到runs/detect/voc20_test打开看几类难样本比如小目标 bird 和密集的 person确认没有系统性错误。5.2 导出 ONNX 和 TensorRT部署前的格式转换如果要把模型部署到边缘设备比如树莓派 5 或者 Jetson通常需要转成 ONNX 或 TensorRT。YOLOv5 自带导出脚本python export.py \ --weights runs/train/voc20_exp1/weights/best.pt \ --include onnx \ --img-size 640 \ --batch-size 1 \ --device 0--include onnx导出 ONNX 格式--batch-size 1对边缘设备推理更友好。如果要 TensorRT把--include改成engine但需要本机装好 TensorRT。导出后建议用 onnxruntime 跑一遍对比 PyTorch 和 ONNX 的输出差异如果 mAP 掉超过 1 个点检查导出时的 opset 版本和动态轴设置。5.3 一个容易忽略的验证习惯按类别看 APYOLOv5 训练日志里给的是所有类别的平均 mAP但 20 分类里各类别难度差异很大。我习惯训练完后跑一次val.py把每个类别的 AP 打出来python val.py \ --data data/voc20.yaml \ --weights runs/train/voc20_exp1/weights/best.pt \ --img-size 640 \ --task val \ --verbose--verbose会输出每个类别的详细指标。重点看 AP 低于 0.5 的类别这些往往是样本少或者标注质量差的。比如 VOC 里 pottedplant 和 diningtable 经常垫底如果这两个类别对你的业务重要就得回去补数据或重新检查标注。这个习惯帮我省了很多次上线后才发现某些类别不可用的后悔药。5.4 树莓派 5 上跑自己训练的 YOLOv5 模型树莓派 5 的算力比前代强不少但直接跑 PyTorch 版 YOLOv5 还是吃力。常见做法是先导出 ONNX然后用 onnxruntime 在树莓派上推理或者用 NCNN 进一步优化。我一般会先把 img-size 降到 320batch-size 设 1测一下单帧推理时间。如果超过 200ms就得考虑量化或者换更小的模型。树莓派上部署的坑主要在内存YOLOv5s 的 ONNX 模型大概 28MB但推理时峰值内存可能到 500MB 以上树莓派 5 的 4GB 版本够用2GB 版本要小心。另外注意 OpenCV 的版本树莓派自带的版本可能和 onnxruntime 不兼容建议用 pip 装指定版本。6. 把 20 分类 VOC 数据集用透的几个进阶技巧6.1 用自动锚框聚类适配你的数据分布YOLOv5 默认锚框是基于 COCO 聚类的VOC 的目标尺寸分布和 COCO 有差异尤其是 car 和 person 这类占多数的类别。跑一次自动锚框聚类能明显提升召回python utils/autoanchor.py \ --data data/voc20.yaml \ --weights runs/train/voc20_exp1/weights/best.pt \ --img-size 640 \ --device 0这个脚本会分析你数据集中所有目标的宽高分布重新聚类出 9 个锚框然后你可以把结果写回模型配置。我实测在 VOC 上重新聚类后小目标 bird 的 AP 能涨 2 到 3 个点。注意聚类要在训练集上做别用验证集否则等于偷看答案。6.2 类别不均衡的两种处理方式VOC 20 分类里 person 可能有上万個实例而 pottedplant 可能只有几百个。这种不均衡会让模型偏向多数类。第一种方式是过采样在切分训练集时把稀有类别的图重复几次但别重复太多否则过拟合。第二种方式是在 loss 里给稀有类别加权YOLOv5 的hyp.scratch.yaml里有cls_pw参数默认 1.0可以调到 1.5 到 2.0 给分类损失加权。我一般先试过采样因为实现简单效果不够再加权。6.3 用 TTA 和模型集成榨干最后几个点如果单模型 mAP 卡在 0.75 上不去可以试测试时增强TTA。YOLOv5 的val.py和detect.py都支持--augment参数开启后会对每张图做多尺度、翻转等增强再合并结果通常能涨 1 到 2 个点代价是推理速度慢 3 到 4 倍。另一个方式是训练两个不同尺寸的模型比如 yolov5s 和 yolov5m推理时用 WBF 合并框。这两种方式适合对精度要求高、对速度不敏感的场景。6.4 一个我坚持了很久的习惯每次跑完训练不管指标好坏我都会把runs/train/voc20_exp1整个目录备份里面包含权重、日志、超参数配置和验证结果。有一次我调参调到一个不错的组合但忘了记具体改了哪些参数后来想复现死活找不到只能从头试。从那以后我就养成了备份整个实验目录的习惯顺便在目录里放一个notes.txt记下这次改了什么、为什么改。这个习惯看起来笨但帮我省了太多重复劳动。希望帮到你。本文还有配套的精品资源点击获取