谢韦尔钢材缺陷检测数据集6666张VOC+YOLO双格式实战指南

简介本数据集面向工业质检与钢材表面缺陷检测方向的算法工程师、研究生及竞赛选手提供谢韦尔钢材缺陷的VOC与YOLO双格式标注数据可直接用于目标检测模型的训练、验证与对比实验。压缩包共2000个文件以1999个xml标注文件和1个说明txt为主整体约606.94MBjpg原图与同名xml、txt一一对应方便在Pascal VOC与YOLO两种训练框架间无缝切换。标注涵盖crack、patches、pitting、scratches四类总框数达20017个其中scratches与pitting样本最为丰富类别分布差异明显适合研究长尾分布与类别不平衡问题。目前已有1142人学习下载读者可借此快速搭建钢材缺陷检测基线验证数据增强、损失函数与检测头改进等思路省去自行采集与标注的成本。1. 谢韦尔钢材缺陷检测数据集6666 张 VOCYOLO 双格式到底能干什么拿到「谢韦尔钢材缺陷检测数据集VOCYOLO格式6666张4类别.7z」这个标题很多人第一反应是去搜 yolo数据集 怎么用但真正卡住落地的往往不是模型而是这份数据本身怎么拆、怎么转、怎么喂进去。谢韦尔钢铁公开过一组带缺陷标注的钢板图像工业界把它整理成 6666 张、4 个类别的检测数据集同时给了 VOC 的 XML 和 YOLO 的 txt 两套标注打包成 7z。它解决的是「没有真实产线缺陷图可练手」的问题钢材表面缺陷样本稀缺、标注昂贵这份数据能让你在本地把检测链路从解压一路跑到 mAP 评估。适合刚接触工业质检的算法同学、要做缺陷检测 demo 的工程师以及想验证自己 yolo训练 流程是否跑得通的人。下面按「先看清数据长什么样再动手转换和训练最后讲坑」的顺序讲透。2. 拆开 7z 先看清 4 类缺陷和双格式标注结构2.1 6666 张、4 类别先确认类别定义再谈训练钢材表面缺陷检测里类别定义直接决定后面标注和评估能不能对齐。这份数据集常见的 4 类对应钢板生产中的典型缺陷夹杂物inclusion、斑块/补丁patches、凹坑/点蚀pitted_surface、划痕scratches。不同整理版本命名可能是中文或英文甚至缩写所以第一步不是急着训练而是把类别名和数量统计出来。因为一旦类别名在 VOC 和 YOLO 两套标注里不一致你训练出来的模型类别索引就会错位评估时混淆矩阵会莫名其妙地「总合不唯一」——这是很多人踩过的玄学问题。先解压。Linux 下 7z 需要先装工具常见做法是# Debian/Ubuntu 系安装 7z sudo apt-get update sudo apt-get install -y p7zip-full # 解压数据集-o 指定输出目录注意 -o 和路径之间没有空格 7z x 谢韦尔钢材缺陷检测数据集VOCYOLO格式6666张4类别.7z -o./severstal_data # 查看解压后的顶层结构 ls -R ./severstal_data | head -507z x是保留目录结构的完整解压-o后面紧跟输出路径中间不能有空格这是新手最常写错的地方。如果遇到「7z压缩文件密码是正确的但一直报错」多半是压缩包用了非 UTF-8 的文件名编码加-mcp936或换7z新版本能缓解但这份数据集一般不带密码报错更可能是下载不完整先核对文件大小。解压后典型结构是两套并列目录一套VOC/下有JPEGImages、Annotations、ImageSets另一套YOLO/下有images、labels和classes.txt。先跑一段统计脚本把类别分布和图片数量摸清楚import os, glob from collections import Counter import xml.etree.ElementTree as ET ann_dir ./severstal_data/VOC/Annotations img_dir ./severstal_data/VOC/JPEGImages xmls glob.glob(os.path.join(ann_dir, *.xml)) imgs glob.glob(os.path.join(img_dir, *.jpg)) glob.glob(os.path.join(img_dir, *.png)) print(标注文件数:, len(xmls), 图片数:, len(imgs)) counter Counter() for x in xmls: root ET.parse(x).getroot() for obj in root.findall(object): name obj.find(name).text.strip() counter[name] 1 for k, v in counter.most_common(): print(f{k}: {v})这段脚本做两件事核对图片与标注是否一一对应数量差太多说明有脏数据以及统计每个类别的框数量。参数上name.text.strip()必须去空格否则会出现「scratch」和「scratch 」被当成两类。如果统计出来某类只有个位数那这类基本训不动评估时直接忽略或做重采样。2.2 VOC 与 YOLO 标注的坐标差异一次讲清转换逻辑VOC 的 XML 存的是绝对像素坐标xmin, ymin, xmax, ymaxYOLO 的 txt 存的是归一化中心点加宽高cx, cy, w, h取值 0~1。两者不是简单缩放转换时必须先拿到图片真实宽高否则归一化基准错了框会整体偏移。很多人直接拿 XML 里的size字段算但部分图片的size和实际文件尺寸对不上稳妥做法是用 PIL 重新读一次真实尺寸。from PIL import Image import xml.etree.ElementTree as ET import os classes [inclusion, patches, pitted_surface, scratches] cls2id {c: i for i, c in enumerate(classes)} def voc_to_yolo(xml_path, img_path, out_txt): img Image.open(img_path) W, H img.size # 用真实尺寸别信 XML 里的 size root ET.parse(xml_path).getroot() lines [] for obj in root.findall(object): name obj.find(name).text.strip() if name not in cls2id: continue b obj.find(bndbox) xmin float(b.find(xmin).text) ymin float(b.find(ymin).text) xmax float(b.find(xmax).text) ymax float(b.find(ymax).text) # 裁剪到图像边界防止越界框 xmin, xmax max(0, xmin), min(W, xmax) ymin, ymax max(0, ymin), min(H, ymax) cx (xmin xmax) / 2 / W cy (ymin ymax) / 2 / H w (xmax - xmin) / W h (ymax - ymin) / H lines.append(f{cls2id[name]} {cx:.6f} {cy:.6f} {w:.6f} {h:.6f}) with open(out_txt, w) as f: f.write(\n.join(lines))关键参数说明cls2id的顺序必须和后面训练时data.yaml里的names完全一致差一位类别就全错。坐标保留 6 位小数足够YOLO 官方解析对精度不敏感。裁剪到边界这一步不能省工业数据集里偶尔有标注框超出图像不裁会导致归一化后出现负值或大于 1训练时 loss 直接 NaN。转换完抽几张用可视化脚本叠框检查比看日志靠谱得多。3. 用这份数据跑通 YOLO 训练环境、配置与最小命令3.1 环境配置与 yolo预训练模型下载的取舍工业缺陷检测样本量 6666 张不算大从零训练基本没戏必须用预训练权重做迁移。常见做法是选 YOLOv8 或 YOLOv5两者对这份数据都够用。环境上如果手头只有 CPU训练会慢到怀疑人生有 GPU 的话V100 这类卡跑 640 分辨率、100 epoch 大概几小时。装环境用官方推荐方式# 创建独立环境避免和系统包冲突 conda create -n steel python3.10 -y conda activate steel # 安装 ultralyticsYOLOv8 官方包 pip install ultralytics # 验证 GPU 是否可见 python -c import torch; print(torch.cuda.is_available(), torch.cuda.get_device_name(0))torch.cuda.is_available()返回 False 时别急着改代码先确认驱动和 CUDA 版本匹配。预训练权重方面yolov8n.pt最轻适合先跑通流程yolov8m.pt精度更高但显存吃紧。下载权重时注意来源官方 release 页的权重最稳第三方镜像偶尔有损坏文件加载时报 unpickling 错误就是权重坏了。这一步别图省事跳过验证权重加载失败会在训练启动几秒后才报浪费排查时间。3.2 data.yaml 与训练命令参数怎么设才不翻车YOLO 训练靠一个data.yaml描述数据路径和类别路径写错是最常见的启动失败原因。建议用绝对路径相对路径在不同工作目录下会失效。# data.yaml path: /home/user/severstal_data/yolo # 数据集根目录 train: images/train # 相对 path 的训练图目录 val: images/val nc: 4 # 类别数必须和 names 长度一致 names: 0: inclusion 1: patches 2: pitted_surface 3: scratchesnc和names数量对不上会直接报错names顺序必须和转换脚本里的cls2id一致。训练命令yolo detect train \ modelyolov8n.pt \ datadata.yaml \ epochs100 \ imgsz640 \ batch16 \ lr00.01 \ patience20 \ projectruns/steel \ nameexp1参数逐个说imgsz640是工业缺陷检测的常用分辨率缺陷往往很小再低会丢细节batch16按显存调显存不够就降到 8 或 4别硬撑导致 OOMlr00.01是初始学习率迁移学习下这个值比较稳太大容易在早期震荡patience20表示 20 轮没提升就早停省时间。训练中如果看到 loss 突然变 NaN先查学习率是不是被调太高再查数据里有没有越界框——这就是前面强调裁剪边界的原因。3.3 训练中看什么loss 曲线、混淆矩阵与 BN 崩溃训练启动后别只盯着进度条。runs/steel/exp1/下会生成results.csv和各类曲线图。重点看三样box_loss 是否稳定下降、mAP50 是否在涨、混淆矩阵是否出现某两类互相混淆。钢材缺陷里 patches 和 pitted_surface 视觉上接近混淆矩阵里这两类互相误判很常见属于数据本身的难点不是代码 bug。如果遇到「yolo训练中bn崩溃」典型现象是 loss 突然变 NaN 且不再恢复。原因通常是某个 batch 里全是极端样本或者学习率过大导致 BatchNorm 统计量爆炸。解决办法把lr0降到 0.001或加warmup_epochs3让前几轮学习率缓慢上升。另一个高频问题是「yolo混淆矩阵总合不唯一」这多半是验证集里存在同一张图被重复计入或者类别索引在训练和评估间不一致回头核对data.yaml的names顺序即可。4. 避坑与排查这份数据集最容易翻车的 5 个地方4.1 解压后图片和标注对不上号现象训练启动时报「No labels found」或大量图片被跳过。原因VOC 的JPEGImages和Annotations文件名主体不一致比如图片是img_001.jpg标注是img_001.xml但中间多了空格或大小写不同。解决写脚本做一次文件名匹配把没有对应标注的图片移出训练集别让它们混进去拉低有效样本量。4.2 类别名大小写和空格导致类别数虚高现象统计出来类别数不是 4 而是 6 或 7。原因标注里出现Scratches、scratches、scratch混用。解决在转换脚本里统一strip().lower()再做映射映射表只保留 4 个标准名其余归到最近的一类或丢弃。4.3 7z 解压报错但密码没错现象提示密码错误或 CRC 校验失败。原因下载中断导致压缩包不完整或压缩包用了非标准文件名编码。解决先核对文件大小和官方给的哈希重新下载Linux 下加-mcp936指定中文编码再解压。别反复输密码问题不在密码。4.4 训练 loss 正常但 mAP 极低现象loss 一路下降mAP50 却只有 0.0x。原因验证集路径写错实际评估的是空目录或names顺序和标注索引错位。解决先跑一次yolo detect val单独验证确认验证集图片数不为 0再核对类别映射。4.5 显存不足导致训练中途崩现象训练几轮后报 CUDA out of memory。原因batch设太大或imgsz超过显存承受范围。解决把batch减半或开ampTrue混合精度再不行降imgsz到 512。别用--device cpu硬扛速度会让你放弃。5. 把这份数据用出价值小样本增强与评估技巧6666 张 4 类平均每类一千多张对检测来说属于中等偏小直接训容易过拟合。我一般会做两件事一是针对性增强钢材缺陷的方向性不强但亮度和对比度变化大所以hsv_v、hsv_s调高一点degrees旋转别开太大缺陷框旋转后可能超出边界二是用 mosaic 增强提升小目标召回YOLOv8 默认开但训练后期建议关掉让模型在真实分布上收敛。评估时别只看 mAP50工业场景更关心漏检率。混淆矩阵里如果pitted_surface被大量判成背景说明这类缺陷特征弱需要单独补样本或调conf阈值。验证命令yolo detect val \ modelruns/steel/exp1/weights/best.pt \ datadata.yaml \ imgsz640 \ conf0.25 \ iou0.5conf0.25是评估默认阈值实际部署时按漏检和误检的代价权衡调整宁可误检也别漏检的场景就降到 0.1。iou0.5是 NMS 阈值缺陷框重叠多时可以调到 0.6 减少误抑制。一个具体技巧把训练好的模型在验证集上跑一遍导出预测框和真值框做可视化对比肉眼找规律。我靠这个发现过标注框普遍偏小的问题重新校准标注后 mAP 涨了 5 个点。数据质量永远比调参重要这份数据集值得你花时间在清洗和核对上而不是急着换更大的模型。希望帮到你。本文还有配套的精品资源点击获取