水稻杂草检测数据集：双格式标注与YOLO训练全流程

简介面向水稻田杂草检测的目标检测数据集包含1373张实地拍摄图片均以矩形框标注杂草目标覆盖自然光照与不同生长阶段适用于农业机器人、智能除草设备等视觉模型训练。压缩包总体约122.61MB共2000个文件以1373个XML标注文件和627个TXT文件为主同时提供VOC与YOLO两种格式按图像、XML标注与TXT标签分类存放目录结构清晰可直接接入YOLO、Faster R-CNN等主流检测框架省去格式转换环节。所有图片源自水稻田行走录像截取分辨率清晰未做增强共标注2394个杂草框标签类别单一weed便于聚焦杂草识别任务。目前已有187人学习浏览对缺乏自有标注数据的团队而言是一份即拿即用、省去采集与标注成本的实用数据集可用于模型验证、算法对比与农业场景预研。1. 水稻杂草检测一份能直接喂给 YOLO 的双格式数据集做农田视觉的人大概都有过这种体验在稻田里扛着相机走一圈拍回来几百张图真正能用的没几张——不是逆光就是糊要不就是稻子把草全挡住了。等到要训练检测模型时才发现标注格式五花八门VOC 转 YOLO 又得写脚本光清洗数据就能耗掉两三天。这份数据集最省事的地方在于1373 张图片已经完成标注VOC 和 YOLO 两种格式直接给齐标签只有 weed 一个类别共 2394 个框。对于想在水稻杂草检测上快速跑通 YOLO 训练流程、验证算法效果或者做毕业设计的开发者来说拿到手解压就能开工不需要在格式转换和数据清洗上浪费时间。2. 数据集的真实构成从拍摄场景到标注细节2.1 图片从哪来质量靠不靠谱根据压缩包的说明文件这 1373 张图片是「在水稻田行走时拍摄录像截取的图片」。这个信息很关键——它决定了数据分布的形态。行走拍摄意味着视角是连续的、带有轻微抖动的相邻帧之间画面重叠度高同一株杂草可能出现在多张图片里。这对训练是有利的因为模型能看到同一目标在不同位置、不同角度的表现泛化能力会更好。但反过来如果你用这份数据做验证集就要注意随机划分时可能会把同一株草同时分进训练集和测试集导致验证分数虚高。分辨率方面说明里标注为「清晰」实际处理时按常规目标检测流程走就行不需要额外做超分辨率或降噪预处理。图片没有做增强这意味着你拿到的是原始分布训练时自己决定要不要加 mosaic、随机翻转这些策略。2.2 标签只有一个类别这意味着什么标签种类数是 1名称是 weed。这个设计对入门者非常友好——你不用纠结类别不平衡问题也不用处理难分样本的类别边界。模型只需要回答一个问题这是不是杂草。但代价是所有杂草被混为一谈。稻田里的稗草、千金子、鸭舌草在外观上差异很大如果后续业务需要区分杂草种类这份数据就只适合做初筛模型不适合做精细化分类。我的建议是先用这份数据把训练-验证-推理整个链路跑通之后再根据业务需求补充细分标注。另一个值得注意的数字是框数2394 个框分布在 1373 张图里平均每张图约 1.74 个目标。这说明大部分图片里的杂草数量不多单张图中目标较少。如果你的检测场景是杂草密集的田块这份数据的密度可能偏低训练出的模型在密集场景下的表现需要额外评估。2.3 数据划分怎么做才合理官方没有提供 train/val/test 的划分文件这是这份数据集的一个小遗憾。你需要自己写脚本划分。常见的做法是按 8:1:1 或者 7:2:1 划分。但这里有一个坑因为图片是录像截帧相邻帧高度相似随机划分会导致训练集和验证集之间信息泄露。我一般会这样做先把所有文件名按拍摄顺序排序文件名中的编号如 xyxr_image_304.txt 其实记录了截帧顺序然后按连续片段划分——比如每 10 帧作为一个片段把整个片段放进训练集或验证集而不是逐张随机分。这样能最大程度避免相似帧同时出现在两份集合里。import os import random from collections import defaultdict # 假设 JPEGImages 目录下是按顺序命名的 jpg img_dir JPEGImages imgs sorted(os.listdir(img_dir)) # 按文件名中的序号排序保证相邻帧放在一起 def sort_key(name): return int(name.split(_)[-1].split(.)[0]) imgs sorted(imgs, keysort_key) # 每 10 帧一个片段片段作为最小划分单元 snippets [imgs[i:i10] for i in range(0, len(imgs), 10)] random.shuffle(snippets) train_ratio, val_ratio 0.8, 0.1 train_num int(len(snippets) * train_ratio) val_num int(len(snippets) * val_ratio) train_snippets snippets[:train_num] val_snippets snippets[train_num:train_num val_num] test_snippets snippets[train_num val_num:] # 展平并写入文件 def write_split(snippets, path): with open(path, w) as f: for s in snippets: for img in s: f.write(img.replace(.jpg, ) \n) write_split(train_snippets, train.txt) write_split(val_snippets, val.txt) write_split(test_snippets, test.txt)这里的核心逻辑是「按片段切分」先按文件名序号排序恢复截帧顺序再每 10 帧分成一个片段以片段为单位随机分配。参数snippets的大小10 帧可以根据实际帧间重叠程度调整——如果你发现相邻帧差异很小可以把片段加大到 20 帧。这样切分后训练和验证之间的信息泄露会小很多验证结果才真实可信。3. 两种标注格式的底层对照VOC 与 YOLO 的坐标体系换算3.1 VOC 的 XML 里到底存了什么VOC 格式的标注文件是 XML存放在 Annotations 文件夹中。核心信息是每个目标的类别名称和边界框坐标。与 YOLO 格式不同VOC 的坐标是绝对像素值——xmin、ymin、xmax、ymax分别表示左上角和右下角在图片中的像素位置。这份数据集的 Annotations 目录里每个 XML 对应一张 JPG文件名前缀一致。打开任意一个 XML你会看到类似这样的结构annotation folderJPEGImages/folder filenamexyxr_image_304.jpg/filename size width1920/width height1080/height depth3/depth /size object nameweed/name bndbox xmin356/xmin ymin289/ymin xmax512/xmax ymax447/ymax /bndbox /object /annotationsize节点记录图片的宽度、高度和通道数这个信息在做坐标归一化时是必需的。object节点可以出现多次每出现一次代表图中的一个杂草目标。bndbox里的四个值就是矩形框的绝对坐标。使用场景上VOC 格式主要用于标注工具的交换和传统检测框架如 Faster R-CNN 的原始实现。但它不是 YOLO 训练直接使用的格式——YOLO 需要的是归一化的中心点坐标和宽高。所以拿到手之后大多数情况下你得先做转换。3.2 从 VOC 到 YOLO手写转换脚本而不是用现成工具网上有很多 VOC 转 YOLO 的工具和脚本但我建议你自己写一遍转换逻辑。原因有两个一是现成工具往往假设你的类别文件是完整的但这份数据只有一个类别工具的通用逻辑反而可能出错二是自己写脚本你才能完全掌控坐标换算的细节出了问题能马上定位。YOLO 格式的 txt 文件每行代表一个目标格式是class_id x_center y_center width height四个坐标值都是相对于图片宽度和高度的比例。转换公式如下import os import xml.etree.ElementTree as ET voc_dir Annotations yolo_dir labels os.makedirs(yolo_dir, exist_okTrue) # 类别映射这份数据集只有 weed 一个类别 class_map {weed: 0} for xml_file in os.listdir(voc_dir): if not xml_file.endswith(.xml): continue tree ET.parse(os.path.join(voc_dir, xml_file)) root tree.getroot() # 读取图片尺寸归一化时需要 img_w int(root.find(size/width).text) img_h int(root.find(size/height).text) txt_name xml_file.replace(.xml, .txt) lines [] for obj in root.findall(object): name obj.find(name).text if name not in class_map: print(f跳过未知类别: {name}) continue cls_id class_map[name] bbox obj.find(bndbox) xmin float(bbox.find(xmin).text) ymin float(bbox.find(ymin).text) xmax float(bbox.find(xmax).text) ymax float(bbox.find(ymax).text) # 计算中心点和宽高再归一化 x_center ((xmin xmax) / 2) / img_w y_center ((ymin ymax) / 2) / img_h width (xmax - xmin) / img_w height (ymax - ymin) / img_h # YOLO 格式要求所有值在 0~1 之间超出说明标注有越界 if not (0 x_center 1 and 0 y_center 1): print(f警告: {xml_file} 中目标坐标越界: {x_center}, {y_center}) lines.append(f{cls_id} {x_center:.6f} {y_center:.6f} {width:.6f} {height:.6f}) with open(os.path.join(yolo_dir, txt_name), w) as f: f.write(\n.join(lines)) print(转换完成)这段脚本把xmin和xmax取平均得到中心点 x 坐标再除以图片宽度得到归一化值宽高同理。关键点在最后一步的越界检查——如果某个框的坐标在归一化后超出 0~1 范围说明原始标注的框边缘超出了图片边界这种样本在训练时会被 YOLO 直接忽略或产生错误的损失计算。这份数据集既然已经提供了 labels 文件夹理论上不需要你自己再转换一遍。但我的建议是拿到手后跑一遍这个脚本把输出的 labels 和你手上的 labels 做一次 diff 对比确认官方的 YOLO 标注和 VOC 标注完全一致。这能排除标注文件在打包传输过程中出错的可能属于「拿到数据后的第一件事」。3.3 两种格式的适用边界VOC 格式适合做可视化验证——你可以在原图上直接绘制矩形框快速审查标注质量YOLO 格式适合直接训练——Ultralytics YOLO 系列、YOLOv5、YOLOv8 都要求标签是 txt。如果你的检测框架不是 YOLO 系列比如你想用 MMDetection 训练 Faster R-CNN那 MMDetection 默认用 COCO 格式你还需要再做一次转换。不过那份格式转换的代码量会大不少建议直接用 MMDetection 自带的工具脚本。4. 训练前的基线验证用这份数据跑通 YOLO 全流程4.1 数据目录怎么组织才不翻车拿到压缩包后解压出来有三个文件夹JPEGImages图片、Annotationsxml、labelstxt。但 YOLO 训练框架希望看到的是「图片文件夹 标签文件夹」并列的结构而且图片路径和标签路径要能对应上。Ultralytics YOLO 的惯例是数据集根目录下放images/train、images/val、labels/train、labels/val四个子目录。如果你直接硬套这个结构需要先建目录再移动文件还得注意别把 labels 和 JPEGImages 的层级弄混。我是这样组织的# 在数据集根目录下创建标准 YOLO 目录结构 mkdir -p datasets/weed/images/train mkdir -p datasets/weed/images/val mkdir -p datasets/weed/images/test mkdir -p datasets/weed/labels/train mkdir -p datasets/weed/labels/val mkdir -p datasets/weed/labels/test # 按之前生成的 train.txt/val.txt/test.txt 移动文件 while read name; do mv JPEGImages/${name}.jpg datasets/weed/images/train/ mv labels/${name}.txt datasets/weed/labels/train/ done train.txt while read name; do mv JPEGImages/${name}.jpg datasets/weed/images/val/ mv labels/${name}.txt datasets/weed/labels/val/ done val.txt while read name; do mv JPEGImages/${name}.jpg datasets/weed/images/test/ mv labels/${name}.txt datasets/weed/labels/test/ done test.txt这里有个细节labels目录里如果存在没有对应图片的 txt或者JPEGImages里有没标注的图片移动时就会遗留文件。解决方法是移动后对比两边文件数应该是完全一致的 1373 份。4.2 写一个数据配置 YAML 并启动训练YOLO 训练需要一份数据集配置文件指定训练集、验证集路径和类别名。这份数据集的配置非常简单# weed.yaml path: datasets/weed # 数据集根目录相对于你运行训练命令的位置 train: images/train val: images/val test: images/test nc: 1 names: [weed]path建议用绝对路径避免在不同机器上运行时路径解析出错。nc是类别数这里只有 1 类names的类别顺序必须和 txt 标签文件里的 class_id 对应——这份数据集的 class_id 0 对应 weed所以 names 里第一个元素必须是 weed。启动训练前先做一次数据完整性校验确认所有图片和标签能正确加载from ultralytics import YOLO # 先加载预训练权重再验证数据配置 model YOLO(yolov8n.pt) # 只跑一个 batch确认数据加载没问题 results model.train(dataweed.yaml, epochs1, batch8, imgsz640)如果这段能跑通不报错说明图片、标签、配置三者对得上。接下来可以正式训练。对于这份单类别的数据集YOLOv8n 或者 YOLOv8s 就足够了没必要上大模型——杂草目标不算太小且类别单一小模型训练速度快部署也方便。yolo train dataweed.yaml modelyolov8n.pt epochs100 imgsz640 batch16 device0epochs设 100 起步因为数据量只有 1373 张训练一轮很快。batch大小取决于显存8GB 显存跑 16 没问题。device0指定 GPU没有 GPU 就把这个参数删掉用 CPU 跑但速度会慢很多。训练过程中重点看两个指标box_loss和cls_loss是否持续下降以及验证集上的mAP50趋势。单类别的任务mAP50 在 80 以上才算及格。4.3 训练完怎么验证效果而不是只看指标训练结束后runs/detect/train目录下会生成 weights 文件夹和验证曲线。很多人到这步就完事了直接用 best.pt 做推理。但我的习惯是先跑一遍测试集把预测结果可视化出来人工检查几种典型场景杂草密集的区域、杂草被稻叶遮挡的情况、背景中有水洼反光的图片。from ultralytics import YOLO # 加载训练好的权重 model YOLO(runs/detect/train/weights/best.pt) # 对测试集做批量预测保存可视化结果 results model.predict(sourcedatasets/weed/images/test, saveTrue, conf0.25) # 打印每张图的检测框数量快速定位漏检严重的样本 for i, r in enumerate(results): boxes r.boxes if len(boxes) 0: print(f第 {i} 张图没有检测到任何杂草需要检查)这段代码的conf0.25是置信度阈值低于这个阈值的检测框会被过滤掉。阈值设太高会漏检太低会误检。对于杂草检测场景我一般先用 0.25 看整体效果再根据误检和漏检的比例调整——如果误检多就把阈值往上提到 0.3~0.4如果漏检多就降到 0.15~0.2。打印「无检测结果」的图片列表这个操作很实用它能帮你快速发现模型在哪些场景下失效。通常是逆光、杂草过小和严重遮挡这三类问题。5. 训练过程中常见的坑文件不对应、类别错位与过拟合判断5.1 图片和标签文件名对不上训练直接报错现象启动训练后报AssertionError: Label class 1 exceeds nc1 in ...或者提示找不到标签文件。原因JPEGImages 里有 1373 张图labels 里也有 1373 个 txt但目录里的文件并非一一对应。打包或者拷贝过程中可能有文件缺失也可能某些 xml 里的标注框坐标越界导致生成的 txt 是空文件。解决训练前先跑一段全量对账脚本找出「有图无标」「有标无图」「标注越界」三类问题文件直接剔除或重新标注。import os img_dir JPEGImages label_dir labels voc_dir Annotations img_names {f.replace(.jpg, ) for f in os.listdir(img_dir) if f.endswith(.jpg)} label_names {f.replace(.txt, ) for f in os.listdir(label_dir) if f.endswith(.txt)} voc_names {f.replace(.xml, ) for f in os.listdir(voc_dir) if f.endswith(.xml)} # 找出只存在于单一目录的文件 only_img img_names - label_names - voc_names only_label label_names - img_names only_voc voc_names - img_names print(f只有图片没有标注: {len(only_img)} 个, 例如 {list(only_img)[:5]}) print(f只有标签没有图片: {len(only_label)} 个) print(f只有XML没有图片: {len(only_voc)} 个) # 检查 txt 文件是否为空空标签在 YOLO 训练中会报错 empty_labels [] for name in label_names: path os.path.join(label_dir, name .txt) if os.path.exists(path) and os.path.getsize(path) 0: empty_labels.append(name) print(f空标签文件: {len(empty_labels)} 个)这段脚本用集合差运算找出三种不一致的情况。特别注意空标签——YOLO 训练时如果某个 txt 文件是空的框架可能直接报错或者跳过该图但图片仍然参与训练迭代这会引入噪声。对有图无标的情况要么删掉图片要么人工补标注。5.2 类别 ID 对不上模型训练了 100 轮全白费现象训练能正常跑完loss 也下降了但推理时模型输出的是错误类别名或者检测框全部消失。原因这份数据集的 class_id 是 0weed但如果你之前跑过其他数据集dataset.yaml里的 names 列表顺序和你 txt 文件里的 class_id 不一致——比如你把 names 写成了[rice, weed]那 class_id 0 对应的就是 rice模型学到的特征全乱了。解决每次换数据集训练前随机抽几个 txt 文件打开看第一列数字再对照 yaml 里的 names 顺序。# 随机查看 5 个标签文件的类别 ID for f in $(ls labels | head -5); do echo $f cut -d -f1 labels/$f | sort -u donecut -d -f1取每行第一个字段即 class_idsort -u去重。看到的结果应该只有 0 这一个数字。如果出现 1 或者更大的数字说明标注文件和你的类别配置错位了。5.3 数据量小怎么判断模型是欠拟合还是过拟合现象训练集 loss 降得很好但验证集 mAP 一直不高或者训练到 50 轮后验证指标开始波动甚至下降。原因数据量只有 1373 张模型很容易在训练集上「背下来」而不是「学会」。尤其当测试集和训练集有相似帧时验证指标会虚高给你一种性能很好的错觉。解决除了按片段划分数据外训练时开启早停机制同时用测试集做最终评估。Ultralytics YOLO 自带patience参数yolo train dataweed.yaml modelyolov8n.pt epochs200 patience20patience20表示如果连续 20 轮验证集指标没有提升训练自动停止避免在过拟合区域继续浪费算力。另外可以适当加大数据增强强度——在 ultralytics 的配置里增加mosaic0.5、hsv_h0.02这类参数能在小数据集上提升泛化能力。还有一个我自己的习惯训练完用 best.pt 在测试集上单独跑一次评估记录 mAP 和每类的 AP这才是模型真实水平的参考值而不是训练日志里的验证指标。5.4 显存不够batch size 调小了还是爆显存现象训练几轮后突然CUDA out of memory但 batch size 已经调到 8 了。原因YOLO 的 mosaic 增强会同时拼接 4 张图实际占用显存是单张图的 4 倍左右再加上梯度累积和 batch 的相乘效应显存压力远大于你设置的 batch size 表面数值。解决关闭 mosaic 或减小 imgsz 试试。yolo train dataweed.yaml modelyolov8n.pt epochs100 imgsz512 batch8 mosaic0.0imgsz512把训练分辨率从 640 降到 512显存占用能减少约 35%。mosaic0.0关闭拼接增强同样能省显存。代价是模型的精度会有小幅下降——尤其是对中小目标的检测效果。如果这两招都不够再考虑梯度累积把batch8改成batch4并设置accumulate2等效于 8 的 batch size但显存压力减半。6. 把这份数据集用到自己的采集流程格式规范与后续验证6.1 数据集的格式规范可以复用到你的采集管线这份数据集最大的价值不只是 1373 张图和 2394 个框而是一种「先定格式、再批量标注」的工作流。我把它拆成三步可以直接复用到你自己的数据采集项目里。第一步是文件命名规范图片、XML、TXT 三者共用同一文件名前缀只是扩展名不同。这样对账时只需要比对文件名集合不需要维护额外的映射表。第二步是双格式同步每次标注完成后同时输出 VOC 和 YOLO 两种标注而不是先标一种再转换。第三步是质量校验转换脚本里保留越界检查和空标签检查每次入库自动跑。这套流程能帮你避免大部分在训练时才暴露的数据问题。6.2 后续验证方向从单类检测到细分杂草分类单类 weed 检测跑通后接下来可以考虑两件事。第一件是扩充数据用训练好的模型对未标注的稻田视频做自动预标注然后人工修正把数据集规模扩大。这个过程在 ultralytics 框架里可以用model.predict(sourcevideo.mp4, saveTrue)输出预测框再配合 LabelImg 或 X-AnyLabeling 做修正。第二件是对杂草进行分类。稻田中稗草和千金子对除草剂的响应不同单类检测只能告诉你「这里有草」不能告诉你「这是什么草」。细分需要重新采集带细分类别标签的数据但可以复用你已有的检测模型做区域裁剪——先用检测模型找到杂草位置再裁剪出小图做分类训练。这比从头标注要快得多。6.3 置信度阈值调整和模型部署的取舍模型训练完成后在实际场景部署时还有一个容易被忽略的环节——置信度阈值的调优。训练时默认的conf0.25是一个通用值但真实稻田环境里杂草检测的误检代价和漏检代价不一样。如果是做除草机器人漏检一株草问题不大但误检把稻苗当杂草除掉就是大事故。这种情况下需要把阈值调高到 0.4 甚至 0.5用召回率换精确率。反过来如果是做杂草密度评估的统计系统漏检会导致统计数据偏低这时应该把阈值调低到 0.1~0.15宁可多检测出一些疑似框交给后续逻辑去过滤。这个调优过程没有标准答案只能基于你的实际场景反复试。我在这类项目上吃过一次亏当时给一个农田监测项目调模型直接沿用默认阈值上线结果把一片稻苗全识别成杂草差点造成误报。从那以后我每次换数据集训练完都强制走一遍「训练集指标查看 → 测试集可视化检查 → 阈值敏感性分析」的完整流程确认模型在自己的场景里表现稳定了才会继续下一步。希望这份数据集的详细拆解能帮你少走一些弯路把精力花在真正需要调优的地方。本文还有配套的精品资源点击获取