红外动物检测数据集：YOLO入门与VOC转txt标签实战

简介面向YOLO系列算法研究与开发者这份红外动物目标检测数据集包含郊狼、鹿、猪、兔、浣熊等类别整体图像规模约9568张并已按训练与验证需求划分好可直接用于yolov5、yolov7、yolov8、yolov9、yolov10、yolo11等主流版本训练与测试。压缩包共2000个文件以xml标签文件为主要类型同时提供yolo格式txt标签两种格式分别存放在独立文件夹中且标签坐标已归一化便于在VOC与YOLO框架间无缝切换资源包大小约233.79MB。目前已有120人浏览学习。借助该数据集可省去自行采集和标注的繁琐流程直接验证模型在红外场景下对野生动物、夜间监控等任务的检测精度也可作为多版本算法横向对比的基准数据适合科研实验、课程设计与竞赛备战使用。1. 红外动物检测数据集五类目标、9568 张图YOLO 系算法开箱即用做夜视红外动物检测的人几乎都踩过同一个坑从监控厂商硬盘里拉出来的红外素材对比度低、目标小、热噪点多直接把白天训练的 YOLO 模型套上去mAP 能掉到 0.3 以下。这套 yolo 红外动物检测数据集就是为这个场景准备的——9568 张已划分好的红外图像覆盖郊狼、鹿、猪、兔和浣熊五类动物每张图同时提供了 YOLO 格式的 txt 标签和 VOC 格式的 xml 标签解压后可以直接喂给 yolov5、yolov8、yolov9、yolov10、yolo11 任意一个版本训练。适合正在做夜间野生动物监测、红外传感触发相机图像分析或者想用现成数据跑通 YOLO 全套流程的从业者。下面从数据集构成、标签转换到训练验证把每一步的坑都拆开讲。2. 拆清数据集的真实构成红外图像形态与 txt/xml 双标签的换算关系2.1 红外图像里的目标形态不是颜色是温差红外热成像画面和手机拍照完全不同动物不再靠颜色和纹理区分而是以目标与背景的温差形成亮斑或暗斑。这直接决定了预处理策略在 RGB 数据集上效果很好的颜色抖动、饱和度增强等操作在这里基本无效对模型起作用的是亮度归一化、对比度拉伸和噪声抑制。这套数据里常见画面是林间夜间抓拍动物距镜头几米到几十米目标占整图比例经常小于 5%边缘还有热扩散形成的渐变晕染。和电力红外数据集那种以设备发热点巡检为主的场景不同野外动物检测的背景复杂度更高树丛、地面残余热辐射都会产生伪目标。所以开头说的白天模型直接套上去失效根源不在模型在数据分布差异。从图像来源看这些图和红外触发相机game camera的抓拍很接近固定机位、夜间闪光红外补光、动物路过时触发拍摄。这样的数据有个明显特点同一只动物会连续出现在多帧里但姿态、距离、被遮挡程度不同正好用来做时间维度的数据增强和跟踪评测。2.2 双标签的组织方式txt 归一化、xml 绝对坐标数据集按 train、val、test 三个子集划分完毕图像和标签分开存放。图像在 images 目录下标签分两套VOC 格式的 xml 放在 voc_labels 目录里YOLO 格式的 txt 放在 yolo_labels 目录里。文件名与图像名一一对应后缀不同。拿到手先做的第一件事不是训练而是统计文件数量和类别分布。我一般会跑下面这段命令# 统计每个子集的图像数量 for split in train val test; do echo $split: $(ls images/$split | wc -l) done # 统计 train 标签里每个类别出现的目标数量类别索引 0-4 for cls in 0 1 2 3 4; do echo class $cls: $(grep -rh \^$cls \ yolo_labels/train | wc -l) done这段命令的前半部分用来核对划分是否正常比如 train 是不是占七成以上后半部分统计每个类别在训练集里出现了多少次目标框注意 grep 的正则用了^$cls前缀匹配避免把类别 1 匹配到类别 10 这种低级错误。统计结果能直接暴露类别不平衡问题比如浣熊样本数远少于鹿训练前就心里有数。2.3 类别与划分五类动物的索引约定标签里类别索引从 0 开始VOC 的 xml 里存的是类别名字符串YOLO 的 txt 里存的是整数索引两者靠映射关系对应。这套数据的类别约定建议这样组织类别索引VOC 名称说明典型红外形态0coyote郊狼夜间活动中等体型四肢细长1deer鹿体型大开阔地带常见2pig野猪低矮常成小群出现3rabbit兔子目标占比小易漏检4raccoon浣熊树栖或近水源动作快我先按这个映射关系做后续 data.yaml 的 names 列表。注意一个细节VOC 的 xml 里 bndbox 存的是绝对像素坐标而 YOLO 格式要求的是相对图像宽高的归一化坐标转换时如果搞混了尺寸基准训练出来的框会系统性偏移。接下来专门讲转换脚本和校验方法。3. 把 VOC 标签转成 YOLO 格式归一化换算脚本与四个边界坑3.1 为什么两份格式都得留标注工具与训练框架的依赖关系YOLO 系列框架训练时直接读取 txt 标签效率最高但常见标注工具如 labelImg、X-AnyLabeling 默认输出的都是 VOC 格式 xml。很多老数据集的原始标注就是 xml拿到手第一步要转成 yolo 格式。我不建议转完就删 xml。原因有两个一是可视化检查时 xml 可以直接用工具打开快速复核某个框标得准不准二是后续做二次标注、错检回灌时很多半自动标注工具只认 xml再转回来反而多一道工序。两套标签各用各的转换脚本是单向的、可重复执行的这才是合理的工作流。3.2 转换脚本用图像实际尺寸做归一化核心换算很简单VOC 的 bndbox 给出 xmin、ymin、xmax、ymax 四个绝对坐标YOLO 需要的是一行五个数类别索引、归一化中心点 x、归一化中心点 y、归一化宽、归一化高。换算公式是x_center (xmin xmax) / 2 / img_wy_center (ymin ymax) / 2 / img_hw (xmax - xmin) / img_wh (ymax - ymin) / img_himport xml.etree.ElementTree as ET import os import cv2 # 类别 - 索引映射顺序必须和 data.yaml 的 names 一致 CLASS_MAP { coyote: 0, # 郊狼 deer: 1, # 鹿 pig: 2, # 野猪 rabbit: 3, # 兔子 raccoon: 4, # 浣熊 } def convert_voc2yolo(xml_path, img_dir, out_dir): tree ET.parse(xml_path) root tree.getroot() # 注意这里用图像实际尺寸而非 XML 里 size 节点的值 img_file root.find(filename).text img cv2.imread(os.path.join(img_dir, img_file)) if img is None: print(f无法读取图像: {img_file}) return ih, iw img.shape[:2] txt_name os.path.splitext(img_file)[0] .txt lines [] for obj in root.iter(object): name obj.find(name).text if name not in CLASS_MAP: print(f未知类别: {name} in {xml_path}) continue bnd obj.find(bndbox) xmin float(bnd.find(xmin).text) ymin float(bnd.find(ymin).text) xmax float(bnd.find(xmax).text) ymax float(bnd.find(ymax).text) # 归一化中心点坐标和宽高 x_center (xmin xmax) / 2.0 / iw y_center (ymin ymax) / 2.0 / ih w (xmax - xmin) / iw h (ymax - ymin) / ih cls_id CLASS_MAP[name] lines.append(f{cls_id} {x_center:.6f} {y_center:.6f} {w:.6f} {h:.6f}) with open(os.path.join(out_dir, txt_name), w) as f: f.write(\n.join(lines))脚本逻辑拆开看先用cv2.imread读取图像并取shape[:2]得到实际高和宽这是归一化的基准再遍历 xml 里每个 object 节点取出 bndbox 的四个坐标最后按公式换算成 0 到 1 之间的比例值。CLASS_MAP是唯一的约定点如果后续训练时改了 data.yaml 的 names 顺序这里必须同步改否则类别索引全错。一个小技巧.6f保留六位小数足够没必要输出完整浮点字符串txt 文件体积能小不少。脚本里对未知类别打印但不中断方便批量转换时一眼看出哪些 xml 有脏数据。3.3 目录组织与四个边界坑越界、空标签、宽高异常、类别缺失转换完成后推荐目录结构这样组织dataset/ ├── images/ │ ├── train/ │ ├── val/ │ └── test/ ├── yolo_labels/ │ ├── train/ │ ├── val/ │ └── test/ ├── voc_labels/ │ ├── train/ │ ├── val/ │ └── test/ └── data.yaml目录结构定好后强制跑一遍标签校验。常见的四个边界坑分别是坐标越界、空标签、宽高异常、类别缺失。下面这段脚本一次性检查全部四项python - EOF import os bad 0 for root, _, files in os.walk(yolo_labels): for f in files: if not f.endswith(.txt): continue path os.path.join(root, f) lines [l.strip() for l in open(path) if l.strip()] if not lines: print(空标签:, path) bad 1 continue for line in lines: parts line.split() if len(parts) ! 5: print(字段数量错误:, path, line) bad 1 continue cls_id, x, y, w, h int(parts[0]), *map(float, parts[1:]) # 类别索引越界 if cls_id 0 or cls_id 4: print(类别索引越界:, path, line) bad 1 # 坐标是否在合理范围内且目标不能太离谱 if not (0 x 1 and 0 y 1 and 0 w 1 and 0 h 1): print(归一化坐标越界:, path, line) bad 1 if w * h 0.0001: print(目标框疑似过小:, path, line) bad 1 print(异常数量:, bad) EOF校验脚本为什么重要边界坑我在实际项目里几乎每个都遇到过。坐标越界常见于 xml 与图像尺寸不匹配时转换出的负数或大于 1 的值空标签出现在 xml 里有 object 但转换时类别不在映射表里的情况宽高异常则是因为部分 xml 里 bndbox 坐标顺序不对或者图像被裁剪过类别缺失一般是原始标注里出现了没有预先定义的类别名。训练前清掉这些问题能避免训练过程中 loss 震荡和大量警告信息。4. 用 YOLOv8 跑通训练闭环data.yaml、超参与第一次收敛4.1 选哪个模型yolov8n 跑通、yolo11 提上限yolov5、yolov7、yolov8、yolov9、yolov10、yolo11 都支持这套 data.yaml 加 txt 标签的输入方式选择哪一版取决于你的诉求。第一轮实验我会选 yolov8n生态成熟、文档多、报错好查n 型号显存占用低迭代实验速度快。等流程完全跑通、确认数据没有标签问题后再换成 yolo11s 或 yolo11m 追求更高精度。红外动物检测的难点在目标小、边缘模糊模型的 neck 结构设计比 backbone 差异影响更明显。yolov8 的 C2f 结构对小目标有不错的敏感性且社区资料最多遇到问题搜解决方案容易。如果你有历史代码库基于 yolov5那用 yolov5 也一样能训只是超参习惯稍有差别。结论就是第一轮别纠结模型用 yolov8n 把基准线打出来。4.2 data.yaml 配置names 顺序必须和 txt 索引对齐# 红外动物检测数据集配置 path: /your_abs_path/my_game_pics train: images/train val: images/val test: images/test nc: 5 names: 0: coyote 1: deer 2: pig 3: rabbit 4: raccoonpath建议写绝对路径相对路径在换工作目录时容易出问题train、val、test是相对path的目录路径后边不要带斜杠nc必须和names的数量一致。最关键的是names的索引顺序要和 txt 标签里的第一个整数对应比如 txt 里写3 0.5 0.5 0.2 0.2就代表 rabbit 类。4.3 训练命令与超参imgsz、mosaic 与增强的取舍先跑一组保守配置yolo detect train \ datadataset/data.yaml \ modelyolov8n.pt \ epochs100 \ imgsz640 \ batch16 \ device0 \ patience15 \ projectruns/detect \ nameinfrared_animal逐个参数说明imgsz640是第一轮实验的通用尺寸对大多数红外抓拍图够用batch16在 12GB 显存下能跑如果显存不够降到 8 或 4patience15表示验证集指标连续 15 个 epoch 不提升就提前停止省时间project和name指定输出目录训练结果都落在runs/detect/infrared_animal下。第二轮我会针对红外场景做两个改动。一是把imgsz提到 960很多小目标在 640 下只占不到 20 个像素放大输入尺寸直接提升小目标 recall二是把增强策略调保守尤其是mosaicyolo detect train \ datadataset/data.yaml \ modelyolov8n.pt \ epochs100 \ imgsz960 \ batch8 \ mosaic0.5mosaic 增强会把四张图拼一起目标再缩小四倍红外图里本来就小的动物热斑在 mosaic 后几乎不可学所以很多人设置mosaic0.5甚至直接关闭。学习率这块红外低对比度数据的梯度噪声偏大初始 lr 从默认 0.01 降到 0.005 更稳。如果你不确定先用yolo detect train ... lr00.02 lrf0.01跑 10 个 epoch 观察 loss 是否下降再决定保留哪种配置。4.4 第一次验证看 loss 曲线和 mAP50 判断收敛训练结束后重点看runs/detect/infrared_animal/results.png里面有 box_loss、cls_loss、dfl_loss 曲线和 mAP50、mAP50-95 曲线。收敛标志是 mAP50 在最后 20 个 epoch 没有明显上涨且 val box_loss 不再下降。如果 val 的 mAP 比 train 低了 15 个点以上优先怀疑增强过重或训练轮数过多导致过拟合而不是马上换网络。如果第一次实验 mAP50 只到 0.4 左右别急着下结论。先看混淆矩阵和验证集预测图确认标签有没有问题再调整超参。数据本身没问题的话通常 imgsz960、mosaic 减半、lr 降低这一套组合就能把 mAP50 拉高 5 到 10 个点。5. 红外动物检测常见问题排查从标注到推理的五个坑5.1 训练不收敛损失曲线来回震荡我遇到过 box_loss 在训练 20 个 epoch 后不再下降一直在 0.08 到 0.12 之间反复震荡mAP50 卡在 0.3 附近。原因有两类一是学习率偏高红外图像对比度低、梯度噪声大模型在小范围内震荡二是标签文件里存在空 txt 或类别索引错乱的样本模型在学噪声。解决方式是分步排查。先把学习率降到 0.005batch 提到 16跑 30 个 epoch 看曲线同时跑一遍第 3 章的校验脚本把空标签和索引越界的文件清理掉最后用mosaic0.5减小增强强度。这三步做完大部分震荡问题都能缓解。5.2 框体系统性偏移xml 尺寸和实际图像尺寸不一致表现是训练时 mAP 看着正常但用模型可视化验证集时所有框整体朝右下偏移了 5 到 10 个像素小目标偏移更明显。原因基本可以锁定在转换脚本xml 里 size 节点存的是原图分辨率但实际图像文件被压缩过比如 1920 缩到 1280转换时用了 xml 的 size 做归一化坐标自然错位。解决方式就是我在第 3 章强调的——用cv2.imread读实际图像尺寸而不是直接信任 xml 的 size 节点。从那以后我每次拿到新数据集都会先随机抽 20 张图把 yolo txt 转成可视化框叠在原图上人工看一眼确认没有系统性偏移再进入训练。5.3 小目标漏检鹿和兔在远距离上只有几十个像素val 集上大目标基本能框住但画面里距离远的鹿、兔子完全没有预测框。红外抓拍图里这类目标可能只有 30 乘 30 像素经过 640 输入尺寸的下采样后剩下不到 10 个像素特征基本丢失。解决思路有两个方向训练阶段把imgsz提到 960 或 1280同时把mosaic关掉避免小目标被拼图操作进一步缩小推理阶段用 SAHI 切片推理把大图切成 640 的 patch 分别检测再合并结果。前者是模型上限问题后者是推理策略问题实际部署时两者配合效果最好。5.4 视频推理抖框单帧 mAP 高、跑起来框跳来跳去单帧测试时框比较稳但接上摄像头实时画面后同一个目标在相邻帧里框忽大忽小甚至目标 ID 跳变。原因在于默认conf0.25阈值太低红外热晕边缘产生的低置信度检测框被保留下来加上 NMS 没有开类别无关模式同一个目标可能被输出多个框。解决方式是把推理conf提到 0.4开启agnostic_nmsTrue让 NMS 在所有类别间做抑制如果还抖就加一个简单的指数平滑对相邻帧的框坐标做 EMA。要是做的是多目标跟踪任务直接接入 ByteTrack 这类跟踪器用轨迹信息替代逐帧独立检测。5.5 类别不平衡浣熊样本少导致 AP 掉档观察混淆矩阵时会发现浣熊类别召回率明显低于其他类AP 比鹿低 10 个点以上。原因很简单野外拍摄中浣熊出现频率远低于鹿和野猪模型在少数类上的有效样本不足。常规做法是给少数类做离线增强把浣熊样本的标签做小幅平移、缩放、翻转后生成新训练样本注意别把同一样本复制太多否则过拟合更严重训练时也可以给浣熊类单独提高 loss 权重yolov8 里可以按类别手动调整cls系数。先统计后处理这是我做类别不平衡数据的第一原则。6. 验证与进阶用错检回灌把真实抓拍帧变成下一轮训练数据6.1 混淆矩阵盯住最像的两类训练完第一件事是打开confusion_matrix.png别先看 mAP 数字。红外场景里郊狼和浣熊的轮廓高度相似经常互相错检野猪和鹿在远距离时都是亮团也容易混淆。看到具体哪两类打架就知道下一步是补数据还是调类别权重。混淆矩阵比一个整体 mAP 值信息量大得多。6.2 错检回灌把相机抓拍帧变成增量数据集做法是利用现有模型对未标注的抓拍帧做初筛人工抽检确认后回灌训练集再训一轮。初筛脚本思路是推理后直接保存归一化标签from ultralytics import YOLO import cv2, os, glob model YOLO(runs/detect/infrared_animal/weights/best.pt) for img_path in glob.glob(camera_frames/*.jpg): results model.predict(img_path, conf0.5, imgsz960) labels [] for r in results: for box in r.boxes: cls_id int(box.cls[0]) # xywhn 输出 x_center, y_center, w, h均为归一化坐标 x, y, w, h box.xywhn[0].tolist() labels.append(f{cls_id} {x:.6f} {y:.6f} {w:.6f} {h:.6f}) if labels: txt_path os.path.splitext(img_path)[0] .txt with open(txt_path, w) as f: f.write(\n.join(labels))注意xywhn输出的就是归一化中心点和宽高直接写成 yolo 格式存盘。这批标签是模型自己生成的合格从业者的做法是只取高置信度结果并入候选集人工抽检确认后再合入训练集千万别全量回灌。6.3 导出与部署TensorRT 下把帧率提上去模型确认没问题后导出 TensorRT 引擎yolo export modelruns/detect/infrared_animal/weights/best.pt formatengine halfTrue imgsz960halfTrue用 FP16 推理红外单通道图对精度损失不敏感帧率能比 FP32 高一倍左右。部署时再把第 5 章说的 conf 阈值和 NMS 参数固化到工程配置里避免现场调参。我自己的教训是有一版模型在测试集上 mAP 不错结果部署到野外设备后因为没调 conf 阈值夜间误检树影误报了一整晚。从那以后每次训练完我都强制走一遍校验标签、看混淆矩阵、调置信度、抽验可视化框这四步才敢交出去。希望帮到你。本文还有配套的精品资源点击获取