雨雪路面数据集处理全流程：COCO转YOLO训练检测模型

简介面向智能驾驶、路面状态识别与目标检测算法研究者的实用数据集覆盖结冰路面、雪地、雨天湿滑、干燥路面四类典型天气路况可支撑路面状态分类、危险路段预警等相关模型的训练与验证。包体共651个文件以646张jpg原始图片为主体并配套3个json标注文件与2个txt说明文件标注采用COCO格式便于直接接入主流检测框架进行训练和评估无需额外格式转换。压缩包大小约26.92MB文件命名清晰、按类别前缀区分方便按需筛选与划分训练集。目前已有1010人学习下载适合刚接触路况识别的新手用于练手也适合算法工程师在真实雨雪场景下补充训练样本、优化模型鲁棒性。整体数据为真实路面拍摄结合标注可直接开展多类别路面状态识别实验能有效帮助使用者减少数据采集与清洗时间。1. 雨雪天气路面状况数据集这份 COCO 标注的路面数据到底能解决什么问题冬天开车最怕的不是肉眼可见的积雪而是那种看上去和普通柏油路没区别、实际已经结了一层薄冰的暗色路面。这份雨雪天气路面状况数据集把自动驾驶最容易踩坑的四种路况——结冰路面、雪地、雨天湿滑、干燥路面——用真实拍摄的原始图片收进了一个压缩包并用 COCO 格式把每一处需要关注的路面区域标了出来。对想跑通“数据→训练→验证”完整链路的人来说它最大的价值是不用自己扛着设备等一场雪就能把一个四分类路面检测模型从零训练起来也适合验证这套数据处理流程是否靠谱。2. 解压与盘点拿到数据集先做四件事别急着开训数据到手之后第一件事不是打开训练脚本而是先确认这份数据是完整的、能用的。这类 zip 压缩包从下载到解压的过程中出问题的概率比想象中高不少比如传输中断、压缩包内文件名编码不一致、解压软件对长路径支持不好都会让后续训练在莫名其妙的地方中断。我一般会固定走四步解压校验、核对图片与标注的对应关系、统计类别样本量、排查异常图片。2.1 解压为什么我不建议用 Windows 自带右键解压拿到 zip 的第一步是验证压缩包完整性而不是直接解压。在 Linux 服务器上用 unzip 的 -t 参数测试压缩包有没有损坏在 Windows 上我建议用 7-Zip 的“测试”按钮不要用资源管理器右键里的“全部解压”。原因有两个一是 Windows 自带解压器对 UTF-8 编码的文件名支持不稳定遇到中文或特殊字符容易解出来乱码二是数据集里的图片名通常带长随机字符串再加上多层目录容易触发 Windows 路径长度限制解到一半报错非常影响心情。unzip -t ice-road-dataset.zip unzip -q ice-road-dataset.zip -d ice-road-dataset-t 表示 test只校验压缩包的 CRC 和目录结构不写文件-q 是 quiet 模式解压时不打印每个文件的明细-d 指定输出目录避免文件散落在当前目录。解压完成后建议把顶层目录重命名为纯英文字符比如 dataset_road整条路径上不要出现中文这一步能省掉后面很多读文件的编码问题。2.2 图片与标注一一对应用脚本一分钟完成盘点解压完之后正常会看到图片目录和标注文件两个部分图片是 JPG标注是 COCO 格式的 JSON。图片命名大致是 ice-road31_jpg.rf.647734b2a0c45eadc7006abc92df2e1c.jpg 这种带随机 hash 的长文件名一旦某个环节想当然地缩短了文件名后面查对应关系时会非常被动。常见的坑是 JSON 里记录的图片和实际目录下的图片对不上少几张图、多几个悬空条目很常见训练时一旦引用到不存在的图片就会在 epoch 跑到一半时抛 FileNotFoundError。import json from pathlib import Path with open(annotations/instances_default.json, r, encodingutf-8) as f: coco json.load(f) json_files {Path(img[file_name]).name for img in coco[images]} actual_files {p.name for p in Path(images).glob(*.jpg)} print(JSON 有但目录缺失:, len(json_files - actual_files)) print(目录有但 JSON 缺失:, len(actual_files - json_files))这段脚本把标注文件里的 file_name 字段和图片目录下的真实文件名分别转成集合再做差集。用 Path 取 basename是为了兼容 COCO 文件里把路径写成images/xxx.jpg的情况。如果集合差不等于空先判断缺在哪一侧目录里少文件就回压缩包找备份重新解压JSON 里有多余条目后面转格式时要过滤掉不然读取到不存在的图片就会中断训练。2.3 读类别和数量四种路面状态在标注里长什么样这一步是为了回答“这份数据到底标了什么”。COCO 的 JSON 里类别定义在 categories 数组中每个类别有 id 和 name 两个字段。要注意COCO 的 category id 不要求从 0 开始也不要求连续可能是 3、7、15 这种看起来随意的值这一点和 YOLO 的类别索引规则差别很大是后面转换格式时最容易出错的地方。from collections import Counter for cat in coco[categories]: print(cat[id], cat[name]) ann_counter Counter(ann[category_id] for ann in coco[annotations]) print(ann_counter)第一段打印类别定义第二段按 category_id 统计每个类别的标注框数量。正常情况下会看到结冰路面、雪地、湿滑路面、干燥路面四个类别但各类的样本量通常差别明显。雪天素材容易采集结冰路面受季节限制往往是数量最少的一类。如果最少的那一类占比不到 10%训练时就要做类别加权或者针对少样本做增强否则模型为了整体 loss 最小化会把结冰路面大量预测成雪地。2.4 统计每张图的框数找出异常图片类别分布看完之后还需要看单张图片里的目标数量分布。一张图三个框和一张图三十个框对训练策略的影响完全不同。也有一种情况是一张图一个框都没有这些可能是被过滤掉的废图也可能是特意保留的负样本需要先确认它的存在是否合理。from collections import defaultdict per_img defaultdict(int) for ann in coco[annotations]: per_img[ann[image_id]] 1 no_ann [img[file_name] for img in coco[images] if per_img.get(img[id], 0) 0] high_ann [(img[file_name], per_img[img[id]]) for img in coco[images] if per_img[img[id]] 20] print(无标注框的图片:, len(no_ann)) print(超过20个框的图片:, high_ann[:10])把 annotations 按 image_id 聚合成计数表再和 images 列表对照。无标注的图如果只有几张可以当背景图保留如果数量很大就要回看原图确认是导出漏标还是本来就是背景图。高框数图片要留意是不是同一场景的连续帧如果同一路段短时间内被大量重复标注后面切分数据集时一定要把它们放进同一组避免信息泄漏。3. 标注可视化把 BBox 画回原图能发现 JSON 里看不见的错JSON 里的统计数字再正常也不能保证每个框都标对了。坐标错位、类别标反、框框互相重叠这类问题只有把标注画回原图肉眼看过才能暴露出来。这一步没有办法跳过它相当于训练前的最终确认在按下训练按钮之前你永远不知道标注工具替你做了什么决定。3.1 OpenCV 绘制脚本BGR 与 RGB 的顺序坑可视化脚本本身不难最容易被绕进去的是颜色通道。OpenCV 默认以 BGR 顺序读图而常规的显示场景用的是 RGB。如果用 OpenCV 读图之后直接交给 matplotlib 显示画面会整体偏蓝第一次遇到容易误判成图片本身坏了。代码里画框用的是 cv2.rectangle走 BGR 顺序不影响画框结果但显示或者保存 PNG 时要注意通道顺序必要时用 cv2.cvtColor 转一下再输出。import cv2, json, os from collections import defaultdict with open(annotations/instances_default.json, r, encodingutf-8) as f: coco json.load(f) cat_name {cat[id]: cat[name] for cat in coco[categories]} img_info {img[id]: img for img in coco[images]} img_anns defaultdict(list) for ann in coco[annotations]: img_anns[ann[image_id]].append(ann) os.makedirs(visualize, exist_okTrue) for img_id, anns in img_anns.items(): file_name img_info[img_id][file_name] img cv2.imread(os.path.join(images, file_name)) if img is None: print(读取失败:, file_name) continue for a in anns: x, y, w, h [int(round(v)) for v in a[bbox]] label cat_name.get(a[category_id], unknown) cv2.rectangle(img, (x, y), (x w, y h), (0, 255, 0), 2) cv2.putText(img, label, (x, max(y - 4, 15)), cv2.FONT_HERSHEY_SIMPLEX, 0.6, (0, 0, 255), 2) cv2.imwrite(os.path.join(visualize, file_name), img)代码的逻辑先按 image_id 把标注聚合好然后逐张读取图片把该图的所有 bbox 画上去并写上类别名。几个关键点COCO 的 bbox 是 [x, y, width, height]左上角坐标加宽高画矩形时右下角是 (xw, yh)别写成 (xh, yw)putText 的 y 坐标如果小于 15文字会被画面边界切掉所以用 max(y-4, 15) 兜底。如果你的标注里带的是 segmentation 多边形而不是 bbox可视化脚本要先从多边形顶点求最小外接矩形再走同样的绘制逻辑。3.2 可视化检查清单什么框该留什么框该删生成可视化目录后建议按类别分层抽样看 30 到 50 张不要只看前几张。重点检查三类异常第一种是框标偏比如框内夹着一大块护栏或者路肩这类标注会让模型学到的特征不纯第二种是重复框同一路面区域出现两个高度重叠的框类别可能还不一样这会让模型在训练时接收到互相矛盾的监督信息第三种是类别贴错在结冰路面上标了雪地在湿滑路面上标了干燥路面这种错误靠统计脚本很难发现只能肉眼确认。遇到这类图量少就直接从 JSON 里删掉对应标注条目量多就要考虑重新标注一轮。3.3 图像质量筛查结冰路面在暗光下的识别难度视觉检查标注的同时可以用脚本做一次简单的图像质量画像最常用的是统计亮度分布。结冰路面和雪地在阴天、逆光、夜间这三种光线条件下最容易混淆如果数据集中低亮度图片占了很大比例模型推理时很容易把冰面和深色沥青混在一起。结冰的特征是薄薄一层透明冰膜暗光下几乎没有纹理细节比雪的辨识度低不少。import cv2, numpy as np dark_count 0 for img_id, anns in img_anns.items(): img cv2.imread(os.path.join(images, img_info[img_id][file_name])) if img is None: continue gray cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) if gray.mean() 80: dark_count 1 print(低亮度图片占比:, dark_count / len(img_anns))阈值 80 是我经验里一个粗略参考。实际使用时先输出整个数据集的亮度均值再做一次直方图统计看看低亮度段是不是明显富集。低亮度图多的情况下不要直接删删掉会让夜间场景在测试集中缺失更好的做法是在训练预处理里加强对比度或者用 CLAHE 对灰度图做对比度受限的自适应直方图均衡化让冰面纹路在暗区里更明显。这个操作对整份数据的泛化能力帮助很大。4. COCO 转 YOLO从四元组到归一化中心点没那么简单标注文件是 COCO JSON而实际训练多数情况下走的是 YOLO 的 txt 标注体系。这一章把转换原理、类别映射和数据集划分一次讲透照着做就能把这份路面数据接进 YOLOv5 或 YOLOv8 的训练链路。4.1 为什么要把路面数据转成 YOLO 格式训练COCO 格式是研究领域的事实标准但到了工程落地里YOLO 的每图一个 txt 格式更直接。原因有三个一是 YOLO 的 data loader 直接扫描 images 和 labels 两个目录按文件名一一对应省掉了 JSON 解析这一步加载效率明显高二是改类别或调整样本时只需要重写某个 txt 里的类别编号不需要动整个 JSON 结构三是同一份 txt 标注可以无缝用在 YOLOv5、YOLOv8以及很多导出 TensorRT 的工程链路里迁移成本低。转换的本质是把 bbox 从“左上角坐标加宽高”变成“中心点坐标加宽高”再除以图片宽高做归一化。计算本身只有四行真正容易出问题的是类别映射和边界情况的处理。COCO 和 YOLO 的 bbox 表示方式对比如下维度COCO JSONYOLO txt定位方式左上角 (x, y)中心点 (cx, cy)尺寸像素宽高 w, h归一化宽高 bw, bh坐标范围可以为负或超界必须在 [0, 1] 区间类别编号任意正整数从 0 开始的连续整数4.2 转换脚本实现类别映射是唯一不能错的事COCO 的 category id 是任意正整数而 YOLO 要求类别编号必须是从 0 开始的连续整数。转换脚本里最重要的一部是手动固定一张“COCO 类别 id 到 YOLO 类别下标”的映射表而不是直接拿 category_id 当 YOLO 的类别编号用。etghttp我见过有人图省事直接取了 categories 数组的下标结果因为 JSON 里类别顺序和实际业务顺序不一致训练出来的模型类别全错位而且训练过程完全不报错。import json from pathlib import Path from collections import defaultdict def coco_to_yolo(coco_path, img_dir, out_dir, cat_order): with open(coco_path, r, encodingutf-8) as f: coco json.load(f) # 固定类别顺序不要用 dict 的遍历顺序避免结果不稳定 cat_id2idx {} for cat in coco[categories]: if cat[name] in cat_order: cat_id2idx[cat[id]] cat_order.index(cat[name]) img_info {img[id]: img for img in coco[images]} img_anns defaultdict(list) for ann in coco[annotations]: img_anns[ann[image_id]].append(ann) out_dir Path(out_dir) out_dir.mkdir(parentsTrue, exist_okTrue) for img_id, anns in img_anns.items(): info img_info[img_id] w_img, h_img info[width], info[height] lines [] for ann in anns: x, y, w, h ann[bbox] if w 0 or h 0: continue cx (x w / 2) / w_img cy (y h / 2) / h_img bw w / w_img bh h / h_img cx, cy, bw, bh [max(0.0, min(1.0, v)) for v in (cx, cy, bw, bh)] cls_idx cat_id2idx.get(ann[category_id]) if cls_idx is None: continue lines.append(f{cls_idx} {cx:.6f} {cy:.6f} {bw:.6f} {bh:.6f}) txt_path out_dir / (Path(info[file_name]).stem .txt) txt_path.write_text(\n.join(lines), encodingutf-8) print(转换完成共处理, len(img_anns), 张图片)参数说明coco_path 是标注 JSON 路径img_dir 是图片目录out_dir 是转换结果输出目录cat_order 是类别顺序列表。计算归一化时注意中心点 x 用的是 x w/2不是 x h/2宽度归一化用 w / w_img高度归一化用 h / h_img别弄反。边界裁剪用 max(0, min(1, v)) 把坐标限制在 [0,1] 区间避免超出图片边缘的框在训练时报形状错误。输出精度取 6 位小数这是 YOLO 读取浮点数的常规做法既能保证精度也不会让 txt 文件体积膨胀。4.3 数据集划分与 road.yaml 组织转换完成后按 YOLO 惯例组织目录。images 和 labels 两个大目录下分别放 train、val、test 三个子目录三个子目录里的文件名一一对应训练框架只认这个对应关系。目录结构如下datasets/road/ ├── images/ │ ├── train/ │ ├── val/ │ └── test/ ├── labels/ │ ├── train/ │ ├── val/ │ └── test/ └── road.yamlroad.yaml 是 YOLOv5 和 YOLOv8 通用的数据配置内容如下path: D:/datasets/road train: images/train val: images/val test: images/test nc: 4 names: - ice - snow - wet - drynames 的顺序必须和转换脚本里 cat_order 完全一致。如果转换脚本里 ice 排在第一个那 YOLO 类别 0 就是 iceyaml 中第 0 位也必须是 ice。顺序错一位模型预测结果会整体错位而且训练时不报任何错误只能到推理阶段发现标签对不上才意识到。切分数据时优先按场景分组用拍摄批次或文件名前缀做分组单位再在组内切分避免同一条路上的连续帧同时出现在 train 和 val 里导致验证集分数虚高。5. 避坑与排查路面数据集里的五个翻车现场这一章整理了我实际用路面数据集时踩过的坑每一条都有明确的现象、原因和处理办法。训练前对照着检查一遍能省出不少时间。5.1 训练时突然 FileNotFoundError 或 No labels found现象转换完成后开始训练进度条跑到第几个 epoch突然报 FileNotFoundError提示找不到某张图片或者一开始就提示 No labels found。原因图片文件名和 label txt 文件名不一致。常见的情况是扩展名对不上图片是 .jpg 而 JSON 里写的是 .jpeg或者是转换时没有对 file_name 做 basename 归一化label 文件里带了多余路径前缀。还有一类是大小写问题Windows 下不区分大小写看不出来一到 Linux 服务器上训练就暴露。解决先写脚本对账把 labels 目录下每个 txt 的文件名去 images 目录里找同名 jpg找不到就打印出来。看到输出就能判断是扩展名问题还是大小写问题。我踩过的一次是图片扩展名是 .JPGJSON 里写的是 .jpg在 Linux 下区分大小写一找一个准。from pathlib import Path labels_dir Path(datasets/road/labels/train) images_dir Path(datasets/road/images/train) for txt in labels_dir.glob(*.txt): if not (images_dir / (txt.stem .jpg)).exists(): print(缺少图片:, txt.stem)5.2 bbox 出现负值或宽高为 0现象转换时打印 bbox 元组发现 x 或 y 是负数width 或 height 是 0甚至出现负宽高。如果把这些值直接写进 txt训练时 loss 可能出现 NaN。原因COCO 数据集的标注框有时由分割多边形的最小外接矩形生成当目标本身是细长条或点状时外接矩形的宽高会趋近于 0。另外人工标注时把框拖出画面边界也会产生负坐标。解决转换脚本里加两个过滤条件宽或高小于 2 像素的框直接丢弃坐标先用 clip 限制到图片范围内再做归一化。如果丢弃数量超过总框数的 2%先不要急着删回到可视化阶段看这些细长条目标是不是本来就有特殊性再决定下一步。5.3 结冰路面被模型识别成雪地现象训练完成后推理结冰路面的图片大量被预测成雪地结冰这一类别的召回率很低。原因两类在视觉特征上本来就接近加上结冰样本量少于雪地模型在样本不平衡时会把整体 loss 优化的优先级放在多数类上。特别在阴天和阴影环境下结冰的透明纹理和雪地的白色纹理经过降采样之后特征差异更小。解决先确认样本量比例再把少样本类别的损失权重提高到其它类的 2 到 3 倍。常见做法是在训练配置里指定类别权重或者对结冰样本做亮度扰动和对比度扰动模拟不同结冰程度的外观让模型见过的“冰”形态更多样这是直接增强少样本类别的有效途径。5.4 验证集 mAP 高实拍效果差现象验证集上 mAP 到了 0.8 以上把模型拿到实际路面上一测漏检率明显升高。原因切分数据集时没有按场景分组。同一段路面在连续几秒内拍了很多帧帧与帧之间只有轻微位移如果随机切分这些高度相似的帧会同时出现在 train 和 val 里验证集和训练集信息重叠评估出来的分数是虚高的。解决切分前先按拍摄批次或文件名的前缀分组保证同一个批次的图片要么全部进 train要么全部进 val不要打散。如果这份数据没有明确的批次信息可以按文件名里的序号做间隔抽样比如每隔 5 帧取一帧进验证集减少连续性重叠带来的虚高。5.5 Windows 下解压后中文乱码或目录为空现象zip 在 Windows 右键解压后文件名全变成乱码或者解出来目录是空的但压缩包本身又有几十上百 MB。原因zip 包里的文件名是用 UTF-8 编码的Windows 自带资源管理器在简体中文区域默认用 GBK 解码遇到中文名或特殊字符时容易解错。当文件名带了很长的随机 hash 时还可能触发 Windows 路径长度限制解压直接失败。解决用 7-Zip 的“解压到指定目录”功能并在设置里选择保留原文件名编码。解压完成后把整个目录移动到盘符根目录下的英文路径里再操作不要放在多层中文路径下。这个坑看起来小真遇到了要么重下要么转码两种都浪费时间。6. YOLOv8 训练自己的路面数据集参数设计与实地验证6.1 训练命令与关键参数格式转换和切分都完成后就可以用 YOLOv8 直接开训。命令行是最直接的验证方式yolo detect train datadatasets/road/road.yaml modelyolov8n.pt epochs150 imgsz640 batch16 device0参数按经验给几个参考值。imgsz 决定输入分辨率原图尺寸偏高的数据可以试 960对小目标的召回有帮助但训练和推理速度会变慢epochs 150 是中小数据集的常用区间太少容易欠拟合太多会过拟合。batch 先按显存能承受的最大值设置显存不够就减半到 8观察占用再往上加。如果只是想快速验证链路通不通可以先用 epochs30 imgsz416 跑一遍确认数据读取和标注解析都没问题再加大参数正式训练。6.2 训练曲线怎么读什么时候该停训练完看 runs/detect/train/ 下的 results.png重点看两条曲线val/box_loss 和 val/cls_loss。这两条线如果在前 60 个 epoch 持续下降、后期走平说明训练正常如果验证曲线在中期开始反弹说明已经过拟合直接取反弹之前保存的 best.pt 就行。回归到这份数据上模型能不能分清楚冰面和雪地光看 loss 曲线不一定看得出来最终还是要看混淆矩阵拿验证集跑一次推理行列一展开就能看到结冰和雪地的互相泄漏情况。6.3 用实拍路面图快速验证模型训练好的模型不能只在数据集里自我感觉良好拿实拍图验证更直接。用手机拍一段路面画面或者从行车记录仪里抽几帧丢给推理脚本from ultralytics import YOLO model YOLO(runs/detect/train/weights/best.pt) results model.predict(sourcetest_imgs/, conf0.35, saveTrue)conf 设 0.35 是相对均衡的初值。如果应用场景是辅助驾驶预研希望尽量提示潜在风险把 conf 降到 0.25代价是误报会多如果模型是给道路养护用的宁可漏报也不要误报conf 可以推到 0.5。多测几组置信度结合自己的场景定阈值比反复调训练参数更划算。我刚拿到这份数据集时直接跳过了可视化这步训练到第 50 个 epoch 才发现 bbox 坐标处理有偏差浪费了整整一天。从那以后我每拿到一份新数据都会强制自己走一遍“解压→盘点→可视化→转换→训练”的完整流程再急也不跳步。希望帮到你。本文还有配套的精品资源点击获取