挖掘机数据集YOLO+VOC双格式1631张：校验与训练避坑指南

简介面向目标检测与工程机械识别场景的挖掘机数据集包含1631张清晰图片及对应的VOCxml与YOLOtxt双格式标注适合用于训练挖掘机检测模型、验证数据增强流程或开展工程项目实训。资源包共2000个文件其中1631个xml标注文件与369个txt辅助文件如图片列表等压缩后大小约102.66MB目录按JPEGImages、Annotations、labels三个文件夹组织便于直接接入常见检测框架。标签类别仅Excavator一类矩形框共2036个标注格式规范且图片分辨率清晰xml与txt对应关系完整可直接用于YOLOv5、YOLOv8等主流模型训练也可作为格式转换与数据预处理的教学案例。图片未做增强保留真实作业场景中的视角与光照变化更贴近工业落地需求。已有207人学习下载适合算法工程师、科研人员及高校学生用于目标检测实验与项目开发。1. 这份“数据集挖掘机数据集yolovoc格式1631张.zip”能解决什么先别急着解压训练做工程车辆识别、工地安全帽检测这类场景最常遇到的就是手里一张图都没有。我拿到这份“数据集挖掘机数据集yolovoc格式1631张.zip”时第一反应是解压、扔进yolov8训练自己的数据集结果跑了三个小时才意识到真正的脏活不在训练在数据。1631张图、两种标注格式听起来挺完整但对目标检测来说这只是一个中小型数据集的量级而且VOC与YOLO双格式意味着中间至少经历过一次转换转换就会留下坐标、类别、空标签三类问题。这篇文章不是吹这份数据多好用而是把解压之后到模型开始收敛之间那几步写清楚适合刚入门yolo、手上缺训练数据的从业者也适合被“网上数据集”坑过几次的老手。先用二十分钟把该做的校验做完比盲目标一个星期值钱。2. 双格式数据集解剖VOC的XML与YOLO的TXT到底差在哪2.1 目录结构与文件清单拿到压缩包先看这三层这类打包数据集无论来源是哪里目录基本逃不开两种经典组织方式。VOC系通常长这样VOCdevkit/ ├── JPEGImages/ # 1631张原始图片 ├── Annotations/ # 1631个xml标注 └── ImageSets/ └── Main/ # train.txt / val.txt / test.txtYOLO系经过现代工具箱整理后一般是dataset/ ├── images/ │ ├── train/ │ └── val/ ├── labels/ │ ├── train/ │ └── val/ └── data.yaml问题就出在这很多压缩包作者会把两种格式混在一个根目录里JPEGImages 和 images 同时存在Annotations 和 labels 同时存在。你要先确认的是这 1631 张图是同一批图片的两种标注还是两批不同图片的标注合在一起报了个总数。这个区别决定你后期转换和训练时要用哪一套作为基准。我拿到任何数据集的第一件事不是看标注长什么样而是跑一遍文件数比对图片目录里有多少张、标注目录里有多少个、名称交集有多少。如果一个目录有 1631 个文件另一个目录只有 1500 个说明转换过程中丢过文件训练脚本不会报错但你的模型会在一部分图片上永远学不到东西。第一层检查就是列目录、求差集把两边都存在的文件名保住缺哪边补哪边。2.2 坐标定义与归一化一个框在两种格式里的两种写法VOC 的 XML 标注记录的是绝对像素坐标左上角和右下角各一个点annotation folderJPEGImages/folder filenameexcavator_001.jpg/filename size width1280/width height720/height depth3/depth /size object nameexcavator/name bndbox xmin312/xmin ymin208/ymin xmax784/xmax ymax520/ymax /bndbox /object /annotationYOLO 的 TXT 每行是一个目标格式是class cx cy w h四个数值全部按图片宽高归一化到 0~1 之间坐标中心点加宽高0 0.428125 0.505556 0.368750 0.433333转换公式就是小学算术cx ((xmin xmax) / 2) / width cy ((ymin ymax) / 2) / height w (xmax - xmin) / width h (ymax - ymin) / height这里最容易踩的坑是 XML 里size节点记录的宽高和实际图片尺寸不一致。很多标注工具在图片被压缩预览时就把 size 写进去了但原图是另一套尺寸。转换时如果信任 XML 里的 size所有框都会等比漂移。所以我在转换脚本里永远用cv2.imread读到的真实尺寸做分母XML 里的 size 只当参考不当依据。2.3 类别管理与标签文件形态识别标注不一致的隐患VOC 格式里类别是字符串写在name节点里人一眼就能看懂。YOLO 格式里类别退化成数字编号0、1、2……这个数字本身没有意义意义在映射表里。映射表要么是classes.txt一行一个类别名行号就是编号要么是data.yaml里的names列表。双格式数据集最典型的隐患就在这里VOC 的name是excavator但 YOLO 的classes.txt第一行写的是background或者同一个类别在两种格式里的大小写不一致Excavator和excavator被当成两类。转换时一旦按错映射训练出来的模型就会陷入“预测一堆框全是错误类别”的尴尬局面。我自己拿到包后的快速检查命令是grep -h name Annotations/*.xml | sort | uniq -c | sort -rn先看 VOC 侧到底有哪几个类别、大概各多少框再打开 classes.txt 或 data.yaml 对照。如果类别数和名称对不齐后边所有训练都白跑。类别管理这件事花五分钟核清楚比训练完再返工省一天。3. 把1631张数据校验干净漏标、错标、坏图的批量检查脚本3.1 校验脚本第一步逐张读图确认图片本身能打开网上打包的数据集最常见的问题是图片文件损坏。压缩包下载中途断过、上传时被网盘截断、原图本身就是从网页上扒下来的都会导致cv2.imread返回None。训练时 Opencv 读不出来会跳图但你可能根本注意不到因为训练日志只显示3000 images不显示其中有多少张是0 images。先跑一遍全图体检import cv2 import os from pathlib import Path img_dir Path(JPEGImages) bad_images [] zero_images [] for p in sorted(img_dir.iterdir()): if p.suffix.lower() not in [.jpg, .jpeg, .png, .bmp]: continue img cv2.imread(str(p)) if img is None: bad_images.append(str(p)) continue h, w, c img.shape if h 0 or w 0: zero_images.append(str(p)) print(打不开的图片:, len(bad_images)) for p in bad_images[:20]: print(p) print(零尺寸图片:, len(zero_images))这段脚本的逻辑很简单用 OpenCV 逐张读取读不出来的就是损坏文件即使读出来了也要检查宽高是否为 0。很多伪装成 JPG 的损坏文件在资源管理器里能显示缩略图但 OpenCV 读的时候头部解析失败直接返回 None。脚本的好处是把这些“隐形坏图”批量找出来。参数上唯一要注意的是p.suffix.lower()因为压缩包里可能混着.JPG大写扩展名。Windows 下解压的包大小写是保留的Linux 上本来就区分大小写不做 lower 会漏掉一批。3.2 校验脚本第二步核对XML与TXT的框数、坐标、类别图片能读不代表标注能用。接下来把每张图的 XML 和 TXT 都解析一遍做三件事框数比对、坐标范围检查、尺寸异常过滤。import xml.etree.ElementTree as ET import cv2 from pathlib import Path def parse_voc(xml_path): root ET.parse(xml_path).getroot() boxes [] for obj in root.findall(object): name obj.find(name).text.strip() bbox obj.find(bndbox) xmin float(bbox.find(xmin).text) ymin float(bbox.find(ymin).text) xmax float(bbox.find(xmax).text) ymax float(bbox.find(ymax).text) boxes.append((name, xmin, ymin, xmax, ymax)) return boxes def parse_yolo(txt_path): boxes [] with open(txt_path, r) as f: for line in f: parts line.strip().split() if len(parts) ! 5: continue cls, cx, cy, w, h parts[0], float(parts[1]), float(parts[2]), float(parts[3]), float(parts[4]) boxes.append((cls, cx, cy, w, h)) return boxes xml_dir Path(Annotations) txt_dir Path(labels) for xml_path in sorted(xml_dir.glob(*.xml)): stem xml_path.stem txt_path txt_dir / f{stem}.txt voc_boxes parse_voc(str(xml_path)) yolo_boxes parse_yolo(str(txt_path)) if txt_path.exists() else [] if len(voc_boxes) ! len(yolo_boxes): print(f[框数不一致] {stem}: VOC{len(voc_boxes)} YOLO{len(yolo_boxes)})这段脚本做的是最朴素的事XML 和 TXT 同一文件名下框数对不上说明两边标注内容不同步。这通常发生在之前有人改过某一侧的标注但没同步另一侧。另外要注意YOLO 的 TXT 里如果出现w或h大于 1 的值一定是归一化出错或坐标换算错了这类文件训练时不会报错但会让损失函数震荡甚至把整批梯度带偏。3.3 校验脚本第三步输出质量报告向训练前看齐前两步是逐文件查异常第三步是把整体分布摸一遍看看这个数据集是不是真的“能训练”。输出一份报告from collections import Counter img_dir Path(JPEGImages) xml_dir Path(Annotations) class_counter Counter() size_counter Counter() empty_xml 0 for xml_path in sorted(xml_dir.glob(*.xml)): boxes parse_voc(str(xml_path)) if len(boxes) 0: empty_xml 1 for name, xmin, ymin, xmax, ymax in boxes: class_counter[name] 1 width xmax - xmin height ymax - ymin if width 10 or height 10: print(f[过小框] {xml_path.stem}: {name} {width:.1f}x{height:.1f}) for img_path in sorted(img_dir.iterdir()): img cv2.imread(str(img_path)) if img is not None: h, w img.shape[:2] size_counter[(w, h)] 1 print(类别分布:, class_counter) print(空标注XML数量:, empty_xml) print(图片尺寸分布:, size_counter.most_common(10))这份报告的价值在于提前暴露三个问题。第一类别极度不平衡如果excavator有 1200 个框、worker只有 40 个框训练出来的模型基本只会认挖掘机。第二空标注文件超过总量的 5%需要去看这些图是不是真的没有目标如果有目标但没标会被 model 当成负样本导致漏检。第三图片尺寸种类超过 20 种训练时 Resize 到 640 会失真严重考虑统一处理。这一步结束之后数据能不能用、哪里需要补心里应该有一个明确清单。4. 从VOC转到YOLO格式转换脚本与最省事的训练准备4.1 最小可用的XML转TXT脚本坐标换算与归一化如果压缩包里的 YOLO 侧标注已经完整可以跳过这一步直接训练。但如果你拿到的包只有 VOC 侧干净或者 YOLO 侧框数对不齐那还是要自己动手转。转换脚本不用写得很复杂核心就是读 XML、拿真实图片尺寸、按公式归一化、写 TXT。import cv2 import xml.etree.ElementTree as ET from pathlib import Path CLASS_MAP {excavator: 0, worker: 1, truck: 2} def convert_voc_to_yolo(xml_path, img_dir, out_dir): root ET.parse(xml_path).getroot() filename root.find(filename).text img_path img_dir / filename img cv2.imread(str(img_path)) if img is None: print(f[跳过] 图片无法读取: {img_path}) return h, w img.shape[:2] out_lines [] for obj in root.findall(object): name obj.find(name).text.strip() if name not in CLASS_MAP: continue cls_id CLASS_MAP[name] bbox obj.find(bndbox) xmin float(bbox.find(xmin).text) ymin float(bbox.find(ymin).text) xmax float(bbox.find(xmax).text) ymax float(bbox.find(ymax).text) xmin max(0, min(xmin, w - 1)) ymin max(0, min(ymin, h - 1)) xmax max(1, min(xmax, w)) ymax max(1, min(ymax, h)) if xmax - xmin 5 or ymax - ymin 5: continue cx ((xmin xmax) / 2) / w cy ((ymin ymax) / 2) / h box_w (xmax - xmin) / w box_h (ymax - ymin) / h out_lines.append(f{cls_id} {cx:.6f} {cy:.6f} {box_w:.6f} {box_h:.6f}) out_path Path(out_dir) / f{Path(xml_path).stem}.txt with open(out_path, w) as f: f.write(\n.join(out_lines))这段脚本做了三件容易被忽略的事。第一坐标全部clip到图片边界内因为部分标注会把框超出边界几个像素不 clip 会导致归一化值大于 1。第二过滤掉宽或高小于 5 像素的残框这类框多数是标注时误点的点不是真目标。第三灰度图和正常图统一由cv2.imread读出尺寸避免用 XML 里的 size 字段。参数说明很简单CLASS_MAP要保持和最终data.yaml的names顺序完全一致min_w和min_h在这里写的是 5如果图片本身是 4K 高清可以提到 10过滤掉人工标注的毛刺框。4.2 生成dataset.yaml与训练/验证划分三行命令跑起YOLOv8转换完标签后把图片按 8:1:1 或 9:1 分成 train / val。常见做法是直接用脚本随机划分但注意要固定随机种子不然每次跑出来的划分都不同影响结果复现。import random from pathlib import Path random.seed(42) img_dir Path(images) all_imgs sorted(img_dir.glob(*.jpg)) random.shuffle(all_imgs) train_ratio 0.9 split_idx int(len(all_imgs) * train_ratio) train_imgs all_imgs[:split_idx] val_imgs all_imgs[split_idx:] for split, imgs in [(train, train_imgs), (val, val_imgs)]: out_dir Path(dataset) / images / split out_dir.mkdir(parentsTrue, exist_okTrue) for img in imgs: img.rename(out_dir / img.name)我这个示例里是直接移动图片更稳妥的做法是先复制再确认这样原包还可以作为备份留底。划分完之后写一个data.yamlpath: dataset train: images/train val: images/val nc: 3 names: 0: excavator 1: worker 2: truck然后一行命令启动 yolov8 训练yolo detect train datadataset/data.yaml modelyolov8n.pt epochs50 imgsz640 batch16 device0yolov8n.pt是 nano 版本1631 张的规模用 nano 起步最合适先验证数据通路再决定要不要换yolov8s。batch 大小看显存12G 显存跑 640 分辨率 16 没问题显存小就降到 8。这个阶段的目标不是跑出最好精度而是确认训练能正常读数据loss 能降下来。4.3 用一个batch训练验证数据通路loss下降不等于数据正确我见过太多人第一次训这种数据集直接跑 300 轮等了两天回来发现 mAP50 是 0。问题出在训练日志里all 0并不是模型没学会而是标注和类别映射根本对不上。所以第一次训练只跑 3 个 epoch、batch 降到 4yolo detect train datadataset/data.yaml modelyolov8n.pt epochs3 imgsz640 batch4 workers0跑完之后看两样东西。第一runs/detect/train/下有没有labels.png和labels_correlogram.jpg这两张图会画出每个批次里标签框的样子如果框全部挤在角落或者全是满幅框说明归一化坐标错了。第二看每个 epoch 结束时的mAP50和mAP50-95如果训练 loss 在降但 mAP 一直 0大概率是类别编号错位。这一步跑通的数据通路才值得你投入后续几十个小时调参。5. 双格式数据集避坑记录标注错位、坐标越界、空标签的排查手记5.1 现象标注框全部偏向左上角训练完做预测发现检测框全部偏在图左上方而且框的大小跟真实目标明显不符。去检查标签发现归一化后的中心点 cx、cy 大多分布在 0.2 以下。原因十有八九是转换时用了错误的图片尺寸做分母。XML 里的 size 是 640x360但实际图片是 1280x720cx、cy 直接缩小了一半。还有一种情况是作者在某个流程里把图片 resize 过标注没跟着改。解决以cv2.imread读出的真实宽高为唯一基准重新换算。转换脚本里不要信任任何 XML 的size字段也不要信任文件名后缀读出来是什么尺寸就用什么尺寸。5.2 现象类别编号对不上检出来全是背景训练正常收敛但预测结果里框的位置基本准确类别全是错的或者 confident score 很高但框住的都是背景区域。原因是 VOC 侧的name是字符串而 YOLO 侧的数字编号没有跟字符串一一对应。比如 VOC 里面有excavator和worker两类但 classes.txt 写的是worker和excavator顺序反了所有框的类别都互换。解决转换前先跑一遍grep name统计唯一类别然后手工确认CLASS_MAP和data.yaml里的names顺序一致。最稳的做法是直接用类别名排序生成编号不要手动按直觉排。5.3 现象训练Loss正常但验证mAP一直是0训练日志里 box_loss 和 cls_loss 都在下降但每个 epoch 的 mAP50 都是 0。图也看了验证集的图确实有目标。原因分两种。第一种是验证集里存在空标签文件YOLO 训练时会把空文件当作背景图如果空文件集中在验证集mAP 计算就全是 FP。第二种是标签文件里存在class数字大于nc-1的非法类别训练时被忽略验证时更不知道这个框该算什么。解决把空 TXT 单独挑出来确认是不是真没目标。然后再跑一遍标签扫描把cls_id nc的行全部打印出来看看是转换脚本的问题还是原始标注的问题。5.4 现象图片我打不开Python却说能读实验室那台 Windows 机器上图片能看图但训练时 OpenCV 报错imread_失败。检查发现这些文件扩展名是.jpg实际内部编码是 PNG 或者 GIF。Windows 资源管理器会按文件头识别并显示缩略图但 OpenCV 的imread在某些版本里按扩展名推测编码遇到这类文件直接返回 None。解决统一转码一遍。用 PIL 打开并重新保存成标准 JPGfrom PIL import Image from pathlib import Path for p in Path(images).glob(*.jpg): try: img Image.open(p) img.load() if img.format ! JPEG: img.convert(RGB).save(p, JPEG, quality95) except Exception as e: print(f[损坏] {p}: {e})注意img.load()是必须的有些损坏的文件保存时是好的打开时才会报错。跑完这步再回到 3.1 的脚本二次体检。5.5 现象VOC里明明有框YOLO的txt是空的文件名能在 XML 目录找到但对应 TXT 是 0 字节或者压根不存在。代码检查时发现很多文件名的 base name 一致但后缀大小写不同比如Excavator_001.JPG和Excavator_001.jpg在 Linux 上是两个文件脚本匹配时对不上。解决写一个清单做交集比对把两侧文件名统一小写化之后再匹配。不要在脚本里手工拼路径用Path.stem做 key并把扩展名过滤放到统一函数里。这个坑在跨平台复现时最容易踩Windows 上解压的包拷到 Linux 上跑大小写问题立刻暴露。6. 最后一步别急着部署可视化验证与边界场景补强6.1 用yolo predict把检测框画回图上肉眼检查训练完成后很多人只看 mAP 就部署了。我吃过这个亏mAP 好看但实际场景里工地围挡、塔吊阴影、夜间灯光一上模型立刻原形毕露。用验证集做一次可视化预测是最快的实测yolo detect predict modelruns/detect/train/weights/best.pt sourcedataset/images/val saveTrue conf0.25预测输出在runs/detect/predict下把每张图翻一遍重点关注三类俯拍角度下的小型挖掘机是不是丢了、遮挡严重的框是不是只框住一半、两个目标挨得近时是不是合并成了一个框。肉眼发现的问题列表就是这份数据集的真实短板清单。6.2 小目标与俯拍角度补强数据增强参数建议挖掘机检测常见场景是无人机或高位摄像头俯拍目标在画面中占比很小。1631 张的规模做增强是必须的我的建议是先跑yolo train的默认增强然后单独加大两个参数hsv_h0.015和degrees10。俯拍图不会特别在意旋转语义但过大的随机旋转会让小目标在裁剪时被切出画面。数据增强能缓解标注不足但补不了标注错误。如果你发现模型对某一类挖掘机比如轮式而不是履带式完全检不出来靠增强没有用需要去补充那个子类的样本。6.3 半自动标注补数据宁可慢也别加脏标最后的建议是补数据时用半自动标注先用当前模型对一批新图做预标注然后人工逐张修正一次只补 50~100 张加进训练集重新跑一遍。不要一次性拖几千张进数据集脏标注会把之前洗数据的努力全部抵消。我最早做挖掘机检测时图省事直接拿了一份 5000 张的泛工程车辆数据集结果模型把吊车、塔吊全部识别成挖掘机。后来痛定思痛把这份 1631 张的双格式数据洗干净、可视化验证、按子类补齐才真正跑出了能上线的模型。数据集的坑前面省下的时间后面都会加倍还回来。希望帮到你。本文还有配套的精品资源点击获取