行人实例分割数据集实战：从标注格式转换到训练避坑指南

简介这份行人实例分割数据集面向计算机视觉开发者、智能安防与自动驾驶算法工程师以及从事实例分割、行人重识别研究的师生用于训练和评估高精度行人轮廓分割模型。资源共2000个文件以1226个txt标注文件、772张jpg图像为主另含1个yaml配置与1份docx说明文档压缩包约96.18MB已按训练集1131张、验证集48张、测试集47张完成划分。标注采用原生YOLO实例分割格式每个行人实例包含50余个多边形轮廓点可精确刻画复杂姿态与遮挡并覆盖监控、航拍等多视角及不同光照天气条件可直接对接YOLOv5、YOLOv8等主流框架支持实例分割、目标检测与姿态估计等多任务迁移。目前已有277人学习下载适合作为算法基准测试与行人感知系统开发的实用数据基础。1. 行人实例分割数据集从标注格式到训练落地的第一道坎行人实例分割数据集.zip 这个标题乍看只是一个压缩包但真正做过行人检测、行人重识别、密集人群分析的人都知道行人实例分割的数据准备是整个 pipeline 里最容易被低估的一环。检测框只告诉你“人在哪”而实例分割要回答“哪些像素属于这个人”在人群遮挡、边缘粘连、夜间低照度场景下这个区别直接决定模型能不能用。我见过太多项目在 COCO 预训练权重上微调几轮mAP 看着还行一上线遇到地铁口早晚高峰就崩根因往往不是模型结构而是标注粒度和数据组织方式从一开始就没对齐业务。这篇笔记面向的是手里已经拿到或准备自己构建行人实例分割数据集的工程师从目录结构、标注格式、转换脚本一路讲到训练前的验证和踩坑目标是让你拿到一个 .zip 之后知道每一步该做什么、参数怎么设、哪里会翻车。2. 拆开行人实例分割数据集.zip目录结构与标注格式的选型逻辑2.1 一个可用的行人实例分割数据集应该长什么样拿到压缩包先别急着解压到项目根目录我一般会先unzip -l看一眼文件清单判断它是 COCO 风格、YOLO 风格还是 LabelMe 导出的原始 json。行人实例分割数据集最常见的三种组织方式第一种是 COCO 的 images/ annotations/instances.json优点是生态兼容性最好detectron2、mmdetection、YOLOv8-seg 都能直接吃第二种是 YOLO 的 images/ labels/ 每张图一个 txt每行是class cx cy w h x1 y1 x2 y2 ...的多边形归一化坐标训练时读取快但可读性差第三种是 LabelMe 的 json 逐图存放适合标注阶段但训练前必须转换。一个我实际用过的目录长这样pedestrian_seg/ ├── images/ │ ├── train/ │ │ ├── 000001.jpg │ │ └── ... │ └── val/ ├── annotations/ │ ├── instances_train.json │ └── instances_val.json └── README.md判断数据集能不能直接用核心看三件事类别 id 是否连续、iscrowd 字段有没有正确标记、分割多边形是否闭合且点数大于等于 3。很多从公开渠道拿到的行人实例分割数据集iscrowd 全是 0但实际密集场景里大量行人互相遮挡这时候如果训练时不做处理模型会把遮挡边界学成一团糊。2.2 COCO 与 YOLO 格式的转换脚本与四个必须检查的字段如果你拿到的数据集是 COCO json但训练框架要 YOLO-seg 格式转换脚本不能只做坐标归一化。下面是我常用的转换核心逻辑import json import os from PIL import Image def coco_to_yolo_seg(coco_json, img_dir, out_label_dir): with open(coco_json, r) as f: data json.load(f) # 建立 image_id - file_name 映射 img_info {img[id]: img for img in data[images]} # 建立 category_id - 连续索引 映射YOLO 要求从 0 开始 cat_ids sorted([c[id] for c in data[categories]]) cat_map {cid: idx for idx, cid in enumerate(cat_ids)} for ann in data[annotations]: if ann.get(iscrowd, 0) 1: continue # 密集遮挡区域建议单独处理不直接转 img img_info[ann[image_id]] w, h img[width], img[height] seg ann[segmentation] if not isinstance(seg, list) or len(seg) 0: continue # COCO segmentation 可能是多个多边形取第一个主轮廓 poly seg[0] if len(poly) 6: # 少于3个点无法构成多边形 continue # 归一化并裁剪到 [0,1] norm [] for i in range(0, len(poly), 2): x min(max(poly[i] / w, 0.0), 1.0) y min(max(poly[i1] / h, 0.0), 1.0) norm.extend([x, y]) line f{cat_map[ann[category_id]]} .join(f{v:.6f} for v in norm) out_path os.path.join(out_label_dir, os.path.splitext(img[file_name])[0] .txt) with open(out_path, a) as f: f.write(line \n)这段代码里四个参数最容易出问题iscrowd为 1 的标注直接跳过还是转成特殊类别取决于你的业务是否要检测密集人群segmentation可能是 RLE 格式而不是多边形遇到 dict 类型要先用 pycocotools 解码坐标裁剪到 [0,1] 是必须的标注工具偶尔会导出越界点导致训练时 loss 爆炸cat_map必须重新映射成连续整数否则 YOLO 读取时会报类别索引越界。转换完成后我习惯用下面这个检查脚本快速验证# 统计每张图的标注数量和类别分布 for f in labels/train/*.txt; do wc -l $f done | awk {sum$1; if($10) empty} END {print 总标注数:, sum, 空标注文件:, empty}空标注文件数量超过 5% 就要回头查要么是原数据集有问题要么是转换时过滤条件太激进。3. 用行人实例分割数据集跑通训练从 DataLoader 到第一轮验证3.1 训练框架选型与最小可运行配置行人实例分割不是通用分割它对小目标、遮挡边界、类内差异特别敏感。我一般优先选 mmdetection 或 YOLOv8-seg前者适合做消融实验后者适合快速出 baseline。以 YOLOv8-seg 为例最小配置只需要一个 yaml# pedestrian_seg.yaml path: ./pedestrian_seg train: images/train val: images/val names: 0: pedestrian启动训练的命令yolo segment train datapedestrian_seg.yaml modelyolov8s-seg.pt epochs100 imgsz640 batch16这里imgsz640是行人分割的常用起点但如果你数据集里行人普遍小于 32x32 像素要提到 1024 甚至 1280否则 mask 分支的召回率会明显偏低。batch16在单卡 24G 显存下比较稳如果 OOM 先降 batch 再考虑梯度累积不要一上来就改模型宽度。3.2 训练前必须跑的三个数据验证第一个验证是 mask 面积分布。行人实例分割里面积小于 100 像素的 mask 如果占比超过 20%说明标注可能把远处行人标得太碎训练时会被下采样吃掉。用 pycocotools 统计from pycocotools.coco import COCO coco COCO(annotations/instances_train.json) anns coco.loadAnns(coco.getAnnIds()) areas [a[area] for a in anns] print(mask面积中位数:, sorted(areas)[len(areas)//2]) print(小于100像素占比:, sum(1 for a in areas if a 100) / len(areas))第二个验证是长宽比分布。行人直立时 bbox 长宽比通常在 2:1 到 4:1 之间如果出现大量 1:1 的标注很可能是把人群整体标成了一个实例这种数据训练出来的模型做不了个体区分。第三个验证是可视化抽查。随机抽 20 张图把 mask 叠加回去看重点看遮挡边界是否贴合、有没有漏标。这一步没有脚本能替代我踩过的坑里至少三次是标注工具导出时坐标偏移肉眼一看就发现但指标上只表现为 mAP 低几个点很难定位。4. 行人实例分割数据集常见的五个坑现象、原因与解决4.1 训练 loss 正常但 mask 全是糊的现象是 box loss 下降正常seg loss 也降但推理时 mask 边缘像水彩晕开。原因通常是标注多边形点数太少很多标注工具默认只给 10 到 20 个点对于行人轮廓来说远远不够尤其是腿部和手臂。解决方法是标注时把点数提到 50 以上或者训练时用 mask 的 coarse-to-fine 策略先学 bbox 再 refine mask。4.2 验证集 mAP 高但实际场景漏检严重现象是 COCO 指标 0.6 以上但实际视频里远处行人一个都检不到。原因是数据集里行人尺度分布和实际场景不匹配训练集里小目标占比太低。解决办法是统计训练集 bbox 面积分布如果小目标少于 15%要么补充数据要么在训练时开启 mosaic 和 copy-paste 增强把尺度分布拉平。4.3 多人重叠区域 mask 互相吞并现象是两个挨着的人推理出来 mask 连成一片。原因是标注时遮挡关系没有区分iscrowd 没有正确使用或者模型的后处理 NMS 阈值太高。解决方法是训练时把 iscrowd 区域单独作为一个类别或者忽略推理时降低 mask NMS 的 iou 阈值到 0.3 左右让重叠实例保留下来。4.4 转换脚本跑完类别 id 对不上现象是训练时提示Label class 1 exceeds nc1。原因是 COCO 的 category_id 不是从 0 连续开始的比如只有 id1 的行人类别但 YOLO 要求从 0 开始。解决方法是转换时强制重映射并且把映射关系写进日志方便回溯。4.5 数据集解压后中文路径导致读取失败现象是 DataLoader 报FileNotFoundError但文件明明存在。原因是 zip 里包含中文目录名在 Linux 下解压后编码不一致。解决方法是解压时用unzip -O UTF-8或者直接重命名成纯英文路径这个坑在跨平台迁移时特别常见。5. 把行人实例分割数据集用出复利增量标注与难例回灌数据集不是一次性的行人实例分割尤其如此因为场景变化太快。我现在的习惯是每上线一个新场景先跑一轮推理把置信度在 0.3 到 0.6 之间的难例挑出来人工修正后回灌到训练集。这个流程的关键是别把难例直接当新数据训要先做去重和类别平衡否则模型会过拟合到那几个难例上。具体操作上我会用下面这个脚本从推理结果里筛难例import json def extract_hard_examples(pred_json, score_low0.3, score_high0.6): with open(pred_json) as f: preds json.load(f) hard [] for p in preds: if score_low p[score] score_high: hard.append({ image_id: p[image_id], bbox: p[bbox], score: p[score] }) # 按 image_id 聚合方便批量导出图片 from collections import defaultdict grouped defaultdict(list) for h in hard: grouped[h[image_id]].append(h) return grouped筛出来之后不要直接标先按 image_id 去重同一张图有多个难例的优先标因为信息密度高。标注完回灌时新数据和旧数据的比例控制在 1:5 以内训练时用较低的初始学习率避免把之前学好的特征冲掉。另一个技巧是维护一个 mask 质量分级表把标注分成 A/B/C 三档A 是边缘贴合、遮挡关系正确B 是轮廓大致对但细节糙C 是只有 bbox 没有 mask。训练时只拿 A 和 B 做 seg 分支C 只做 box 分支这样既不浪费数据也不会让 mask 分支被低质量标注带偏。这个习惯我坚持了两年模型迭代速度比重新标一遍快至少三倍。希望帮到你。本文还有配套的精品资源点击获取