猫狗图像分割数据集实战：从掩码准备到UNet训练全流程

简介面向深度学习图像分割任务的猫狗图像分割数据集已明确划分为训练集与测试集适合图像分割模型训练、对比实验与效果验证也适合初学者用于熟悉分割流程。压缩包约230.81MB内含2000个文件包括1999张JPEG图像与1个Python可视化脚本前者提供原图与对应的mask标注后者可随机抽取一张图片将原始图、GT图以及GT叠加在原图上的蒙板效果保存到本地便于快速检查标注质量。目前已有236人学习。数据集整体按训练集与测试集组织每部分都包含images与masks两个目录结构简洁直观无需额外处理即可被常见分割框架直接加载同时前景区域标注细致、内容丰富能够支撑分割网络较好地学习边缘与轮廓信息。附带的脚本还省去了自行编写展示代码的麻烦帮助使用者直观理解输入、标签与叠加效果之间的关系是一份实用且上手简单的数据资源。1. 猫狗图像分割数据集不是分类是像素级“谁是谁”很多入门深度学习的人第一个练手项目是猫狗分类模型输出一个概率告诉你是猫还是狗。但当你真正去做图像分割时问题从“是什么”变成了“在哪里”——你要让模型对每一个像素做出判断把猫的轮廓、狗的轮廓、背景的边界都画出来。这里说的猫狗图像分割数据集就是把原始图像和对应的像素级掩码mask都准备好并且已经按训练集和测试集划分好拿来就能直接用的那份数据。它解决的最大痛点是分割任务最耗时、最容易出错的部分往往是数据准备而不是模型代码。如果你只是想跑通一套图像分割的训练流程验证 UNet 或 DeepLab 这类模型在自己机器上的效果这份数据能帮你省掉一两天的人工标注和整理时间。它适合刚学完分类、想进阶到分割的从业者也适合需要快速验证某个分割网络改动的同学。2. 分割数据集长什么样标签格式与目录结构先搞懂再动手2.1 二类分割的真相背景、猫、狗三类的像素级标注很多人以为“猫狗分割”就是两类——猫一类、狗一类。但实际做分割时标准做法是三类背景、猫、狗。原因很简单图像里除了猫和狗还有地面、墙壁、家具这些像素如果不单独归为一类模型就会无所适从。你给模型看的掩码图通常是一个单通道的 PNG 或 BMP 文件每个像素的取值是 0、1、2分别对应背景、猫、狗。原始图像是 JPG 或 PNG三通道彩色图和掩码图一一对应文件名一致。这里有个新手容易搞混的概念图像分割数据集的标签不是“猫”“狗”两个文件夹名而是和原始图片同尺寸、同文件名的掩码图。你在训练时模型看到的是原图输入和掩码图监督信号两个文件组成的配对。掩码图里 0 是黑、1 是灰、2 是白肉眼看上去像一张黑底上有灰白区域的图那就是分割的“标准答案”。2.2 VOC 格式还是 PNG 掩码两种主流组织方式与选型分割数据集的常见组织方式有两种。第一种是 VOC 风格目录里包含 JPEGImages原图、SegmentationClass掩码、ImageSets/Segmentation划分文件三个部分。掩码使用调色板 PNG为了压缩文件体积颜色索引直接存在调色板里而不是普通 RGB 三通道。第二种是“裸掩码”风格目录更简单train/images、train/masks、test/images、test/masks掩码是单通道 PNG直接读像素值就是类别号。我一般建议用第二种风格原因很实际VOC 格式的调色板 PNG 用 OpenCV 读出来是三个通道你需要额外处理才能拿到真正的类别索引而裸掩码风格用cv2.imread(path, cv2.IMREAD_GRAYSCALE)读出来就直接是 0/1/2 的数组少一层转换就少一个出错的环节。对于入门和验证型项目简单直接比标准更重要。目录风格结构特点掩码读取方式适合场景VOC 风格JPEGImages SegmentationClass ImageSets需解析调色板读三次通道兼容现成框架如 Detectron2、MMSegmentation裸掩码风格train/images train/masks test/images test/maskscv2.imread灰度模式直接读自己写训练脚本、快速验证模型2.3 目录结构落地把原始图和掩码对齐到同一命名规则拿到一个猫狗图像分割数据集后第一件事不是写模型而是检查目录和命名。常见的目录结构如下cat_dog_seg/ ├── train/ │ ├── images/ │ │ ├── cat_001.jpg │ │ ├── dog_001.jpg │ │ └── ... │ └── masks/ │ ├── cat_001.png │ ├── dog_001.png │ └── ... ├── test/ │ ├── images/ │ └── masks/ └── train.txt这里的train.txt和test.txt是文件清单每行一个不带后缀的文件名用于训练时按行读取配对。检查时要确认三件事第一train 和 test 的图片文件名能在对应 masks 目录找到同名文件后缀不同没关系jpg 对应 png 很正常但主名必须一致第二掩码的像素值确实是 0/1/2 三个值而不是 0 和 255第三train 和 test 的图片没有重叠。提示如果掩码里出现了 255通常是标注工具把背景保存成了黑色0而把目标保存成了白色255需要做一个转换mask[mask 255] 1把 255 映射回类别序号。这个问题我在好几个数据集里遇到过属于最常见的脏数据情况。3. 把猫狗图像分割数据集喂进模型数据管线的最小可跑方案3.1 读取图像与掩码用 OpenCV 做尺寸对齐的底层操作分割任务对“图像和掩码尺寸一致”这件事特别敏感。原始数据集里图片可能有大有小掩码图和原图的尺寸应该一致但训练时为了凑 batch必须 resize 到统一尺寸比如 256×256 或 512×512。Resize 这一步有个隐藏要求原图用什么插值算法、掩码就必须用对应的另一个插值算法。原图用双线性插值没问题掩码如果用双线性就会产生一个 0 到 2 之间的浮点数比如 1.3类别就“糊”了。下面是读取和预处理的核心代码import cv2 import numpy as np def load_pair(image_path, mask_path, target_size(256, 256)): # 读取原始图像BGR 转 RGB 方便后续可视化 image cv2.imread(image_path) image cv2.cvtColor(image, cv2.COLOR_BGR2RGB) # 读取掩码灰度模式直接拿到 0/1/2 的索引值 mask cv2.imread(mask_path, cv2.IMREAD_GRAYSCALE) # 原图用 INTER_LINEAR掩码用 INTER_NEAREST image cv2.resize(image, target_size, interpolationcv2.INTER_LINEAR) mask cv2.resize(mask, target_size, interpolationcv2.INTER_NEAREST) # 转成浮点张量输入掩码保持整数 image image.astype(np.float32) / 255.0 mask mask.astype(np.int64) return image, mask这段代码的逻辑很直白两个文件分别读取然后 resize 到同一个尺寸。关键在于INTER_NEAREST它保证掩码像素值只会从 0、1、2 里取不会出现 1.3 这种非法类别。如果你用INTER_LINEAR处理掩码训练时交叉熵损失会对 1.3 这个值计算 log softmax模型根本不知道你在让它学什么。图像归一化到 0~1 浮点区间掩码保持整数作为类别索引这是分割任务的标准输入形态。3.2 从文件名构建样本对给 dataloader 一个能直接消费的索引训练脚本里最小可用的方案是写一个继承torch.utils.data.Dataset的类它只做一件事根据train.txt里的文件名列表返回(image, mask)的配对样本。这个类的设计要点是不要在__init__里把所有图片读进内存而是只记录路径在__getitem__里按需读取。这样做的好处是内存占用低坏处是每次迭代都要做磁盘 I/O在机械硬盘上训练会变慢SSD 上基本无感。import os from torch.utils.data import Dataset class CatDogSegDataset(Dataset): def __init__(self, images_dir, masks_dir, file_list, target_size(256, 256)): # file_list 是 train.txt 读出来的列表例如 [cat_001, dog_001, ...] with open(file_list, r) as f: self.names [line.strip() for line in f if line.strip()] self.images_dir images_dir self.masks_dir masks_dir self.target_size target_size def __len__(self): return len(self.names) def __getitem__(self, idx): name self.names[idx] image_path os.path.join(self.images_dir, name .jpg) mask_path os.path.join(self.masks_dir, name .png) image, mask load_pair(image_path, mask_path, self.target_size) # 转成张量并调整维度HWC - CHW image torch.from_numpy(image).permute(2, 0, 1) mask torch.from_numpy(mask) return image, mask这段代码有两个地方值得说明。第一个是file_list传入的是 txt 文件的路径而不是文件对象因为__init__里直接用open读这样外部只需要维护一个 txt 即可不用手动去拼路径。第二个是permute(2, 0, 1)OpenCV 读出来的是 H×W×C 排布PyTorch 卷积网络期望的是 C×H×W这个转换必不可少。如果你用的是 TensorFlow/Keras这个维度调整要反过来很多跨框架切换时踩的坑都在这一个维度顺序上。3.3 数据增强的边界翻转和裁切必须同时作用于图像和掩码数据增强是分割任务的双刃剑。分类任务里增强只改原图标签不变分割任务里增强必须同时改图像和掩码否则你让模型学习的“两幅对应的图”就对不上了。最常见的错误是只用 PyTorch 的transforms.RandomHorizontalFlip翻转图像掩码没跟着翻转训练起来 loss 永远降不下去因为模型学到的是“猫的像素在左边掩码的猫在右边”。用albumentations库是最省心的做法它天然支持同时变换 image 和 maskimport albumentations as A from albumentations.pytorch import ToTensorV2 def get_train_transform(size256): return A.Compose([ A.RandomResizedCrop(size, size, scale(0.8, 1.0)), A.HorizontalFlip(p0.5), A.RandomBrightnessContrast(p0.2), A.Normalize(mean(0.485, 0.456, 0.406), std(0.229, 0.224, 0.225)), ToTensorV2(), ]) def apply_transform(image, mask, transform): # albumentations 接收 image 和 mask 两个参数一起变换 transformed transform(imageimage, maskmask) return transformed[image], transformed[mask]注意这个增强管线里的RandomResizedCrop它会随机裁剪并 resize对原图和掩码用的是同一组裁剪坐标所以两者依然对齐。Normalize只作用于图像掩码不受影响这也是 albumentations 的默认行为。如果你不想引入额外依赖用 PyTorch 内置的torchvision.transforms也可以但必须自己保证 mask 和 image 走同一套随机种子操作起来比 albumentations 麻烦不少。数据增强的度也要控制分割任务里翻转和缩放是安全的颜色抖动要谨慎因为颜色变化不影响分割边界但过度改变亮度对比度可能导致模型在测试集上对原图的颜色分布敏感。4. 用 UNet 在猫狗分割数据集上跑通训练模型、损失函数与评估4.1 为什么从 UNet 起步小数据集上分割的主流选择对于猫狗图像分割数据集这种量级的数据UNet 是最稳妥的选择。它的结构特点是编码器逐层下采样提取特征解码器逐层上采样恢复分辨率中间有 skip connection 把编码器的高分辨率特征直接拼到解码器对应层所以分割边界保留得比较好。相比 DeepLabV3 这类需要预训练主干网络的模型UNet 可以从零训练数据量小也不容易欠拟合相比 FCNUNet 在边界精度上明显更有优势。实现 UNet 的代码在网上到处都是PyTorch 官方也给了示例这里不贴完整实现只展示训练脚本里如何实例化和调用import torch import torch.nn as nn from torch.utils.data import DataLoader model UNet(in_channels3, out_channels3) # 3 类背景、猫、狗 model model.cuda() criterion nn.CrossEntropyLoss() # 多类分割用交叉熵 optimizer torch.optim.Adam(model.parameters(), lr1e-4)这里out_channels3对应三个类别。UNet 输出的维度是 B×3×H×W每个像素在三个通道上各有一个 logit取 argmax 得到预测类别。CrossEntropyLoss期望的输入是 B×C×H×W 的 logits 和 B×H×W 的类别索引正好和模型输出、掩码张量对上。如果你用的是二分类任务变体只分割猫不论狗out_channels 就是 2损失函数用BCEWithLogitsLoss并且预测通道压缩到 1逻辑完全不同这个要先想清楚再动手。4.2 最小训练脚本加载数据集、定义模型、跑 20 个 epoch训练循环本身不复杂分四个步骤前向传播算 loss、反向传播清梯度、优化器更新、打印指标。下面给一个去掉断点续训等额外功能的最小版本from cat_dog_dataset import CatDogSegDataset train_dataset CatDogSegDataset( images_dircat_dog_seg/train/images, masks_dircat_dog_seg/train/masks, file_listcat_dog_seg/train.txt, target_size(256, 256) ) train_loader DataLoader(train_dataset, batch_size8, shuffleTrue, num_workers4) for epoch in range(20): model.train() total_loss 0 for images, masks in train_loader: images images.cuda() masks masks.cuda() optimizer.zero_grad() outputs model(images) # shape: (B, 3, H, W) loss criterion(outputs, masks) # masks: (B, H, W) loss.backward() optimizer.step() total_loss loss.item() * images.size(0) avg_loss total_loss / len(train_dataset) print(fEpoch {epoch1}/20, Loss: {avg_loss:.4f})里面几个参数的设定逻辑说一下。batch_size8是 256×256 输入在单张 8GB 显存显卡上的安全值如果你的显存只有 4GB改成 4有 16GB 以上可以试 16 甚至 32。num_workers4表示数据加载用 4 个子进程能掩盖一部分磁盘 I/O 延迟但 Windows 系统下记得把这个值设为 0 或 2否则多进程读取容易报错。lr1e-4是 Adam 在小数据集上的保守选择如果你改用 SGD初始学习率通常要放大到 1e-2 并配合 momentum。4.3 训练集和测试集分开看正确率之外必须看 IoU分类任务你盯着 accuracy 就够了分割任务如果只看 accuracy 会骗到你——大部分分割数据集的背景像素占 70% 以上模型什么都不学全预测为背景accuracy 也能有 70%。分割任务的核心指标是 IoUIntersection over Union也就是预测区域和真实区域的交集除以并集。每个类别单独算然后取平均mIoU。def compute_iou(pred_mask, true_mask, num_classes3): ious [] pred_mask pred_mask.flatten() true_mask true_mask.flatten() for cls in range(num_classes): pred_cls (pred_mask cls) true_cls (true_mask cls) intersection (pred_cls true_cls).sum().item() union (pred_cls | true_cls).sum().item() iou intersection / union if union 0 else 0.0 ious.append(iou) return ious # 返回 [IoU背景, IoU猫, IoU狗]这个函数在验证阶段用每个 batch 统计一次最后对测试集所有样本求平均。训练过程里每次 epoch 结束后用当前的模型跑一遍验证集记录 mIoU 和每一类的 IoU。判断模型是否真的学会了看猫和狗的 IoU 是否在涨——背景 IoU 高不算本事只有猫和狗的 IoU 超过 0.7才说明模型真的找到了目标轮廓。如果训练 loss 在降但猫和狗的 IoU 一直很低大概率是类别不平衡或者损失函数权重分配的问题下一章的避坑内容会展开说。5. 猫狗图像分割数据集训练避坑常见问题与处理办法5.1 掩码变成全黑或全白类型转换与归一化踩坑现象训练时 loss 直接变成nan或者模型预测的掩码全是一个类别没有任何轮廓。检查发现读进来的 mask 数组里全是 0 或全是 2。原因最常见的是数据集里掩码像素值并非 0/1/2而是 0 和 255。标注工具导出的 PNG 通常把背景存成 0、目标存成 255如果直接喂给交叉熵损失模型把 255 当作类别 255损失函数只在背景类上有监督信号训练必然崩溃。另一种情况是读取掩码时用了cv2.imread(mask_path)的默认彩色模式三通道读进来之后像素值变成了 (255, 255, 255) 这样的三元组训练时维度对不上报错说 mask 和 output 的尺寸不一致。解决加载掩码前先做一个统一的数值检查mask cv2.imread(mask_path, cv2.IMREAD_GRAYSCALE) unique_vals np.unique(mask) print(f{mask_path}: unique values {unique_vals}) # 如果看到 [0, 255]做一次映射 mask[mask 255] 1把IMREAD_GRAYSCALE作为读取掩码的唯一方式并且在每个 epoch 最开始打印一次unique_vals确认数据没问题再开始训练。很多数据集不需要这个映射但如果你的数据是从标注工具导出的几乎一定会撞上这个 255 的问题。5.2 训练集测试集划分不当同图不同裁剪造成的“假高分”现象训练时 loss 正常下降验证集 mIoU 也一路涨到 0.9 以上但你拿一张测试集图片去跑实际预测效果却差得离谱边界全是锯齿甚至把墙面预测成猫。原因拆数据集时用了“每个目录下随机抽 20% 当测试集”但这个随机是文件级别的。实际图片可能是一段视频里连续帧同一只猫在连续几帧里都有出现其中一帧进了训练集另一帧进了测试集。模型训练时见过这只猫的姿势和背景测试时遇到同一只猫的另一帧相当于“背题”指标虚高。这类问题在猫狗分割数据集里很常见因为很多数据集是把视频抽帧后做成图片。解决划分测试集时按“场景”或“目标个体”切而不是简单按文件比例切。不换数据集的情况下把训练集里和测试集高度相似的那些样本找出来看下文件名前缀是否相同或连续。如果在拿到数据集时就遇到这个问题只能硬着头皮重新划分——比如连续编号的图片每 10 帧取 1 帧进测试集。提示一个快速自查方法训练结束后记录训练集和测试集各自的 mIoU如果测试集 mIoU 明显高于训练集 mIoU高 5 个百分点以上十有八九是数据泄露赶紧检查数据集划分。5.3 类别不平衡背景占比过大时损失函数怎么调整现象训练了 20 个 epoch背景 IoU 到了 0.95猫 IoU 只有 0.3狗 IoU 只有 0.2。Loss 下降得也很慢到了 epoch 10 之后基本不再变化。原因这类数据里背景通常占 70% 到 90%交叉熵损失在背景像素上积累了绝大多数梯度模型只需要学会预测背景就能把 loss 压下去目标的梯度被淹没。解决给交叉熵损失加类别权重权重按1 / 类别频率计算或者直接手动设。计算方式很简单统计训练集掩码中每个类别的像素总数然后取倒数再归一化。import numpy as np # 统计训练集所有掩码的像素分布 class_counts np.zeros(3, dtypenp.float64) for mask_path in train_mask_paths: mask cv2.imread(mask_path, cv2.IMREAD_GRAYSCALE) class_counts np.bincount(mask.flatten(), minlength3) # 权重 总像素数 / (类别数 * 每类像素数)取倒数避免大数淹没小数 class_weights 1.0 / (class_counts / class_counts.sum()) class_weights torch.from_numpy(class_weights).float().cuda() criterion nn.CrossEntropyLoss(weightclass_weights)加了权重之后模型对猫和狗像素的梯度贡献会被放大即使它们占比小也能学会。如果加了权重还不行另一个选择是换 Dice loss 或 combined loss交叉熵加 Dice。Dice loss 天然对类别不平衡不敏感因为它直接优化区域重叠率但单独用 Dice loss 训练初期容易不稳定常见做法是两者按 0.5 和 0.5 加权混合。5.4 显存不足输入尺寸、batch size 和混合精度怎么取舍现象CUDA out of memory在第一个 epoch 就报出来或者训练跑到一半 GPU 显存满了进程被杀。原因分割模型比分类模型吃显存原因是输出层是逐像素预测特征图的通道数和分辨率都高。UNet 在 512×512 输入下中间层的特征图累积起来显存占用轻松超过 4GB。batch size 设得过大或输入分辨率选得太高都会直接爆显存。解决按优先级依次试这三步。第一步把输入尺寸从 512 降到 256显存占用直接降为原来的四分之一对于猫狗分割这个任务256 完全够用。第二步把 batch size 从 8 降到 4 甚至 2配合梯度累积模拟大 batchloss.backward()之后不step()累积几个 batch 再更新。第三步用混合精度训练PyTorch 自带torch.cuda.amp能大幅减少显存占用并加速训练。scaler torch.cuda.amp.GradScaler() for images, masks in train_loader: images, masks images.cuda(), masks.cuda() optimizer.zero_grad() with torch.cuda.amp.autocast(): outputs model(images) loss criterion(outputs, masks) scaler.scale(loss).backward() scaler.step(optimizer) scaler.update()这个代码里GradScaler负责梯度缩放防止 fp16 精度下梯度下溢。注意 AMP 只在计算 forward 和 loss 时启用模型参数更新仍然在 fp32 下进行所以精度损失很小。实际项目中我一般是先降到 256×256再决定要不要上 AMP因为 256 输入通常已经能让 8GB 显存跑得动了。6. 验证分割结果的一个实用技巧把预测掩码可视化叠加到原图训练完模型之后光看 mIoU 数字不够直观你需要确认模型预测的轮廓是不是贴合真实边界。一个实用的技巧是把预测掩码和原图叠加成一张半透明图保存下来逐张看。步骤不复杂模型对测试集图片推理得到预测掩码给每个类别分配一个颜色背景黑色、猫红色、狗蓝色然后加权叠加到原图上。def overlay_mask(image, mask, alpha0.5): color_map np.array([ [0, 0, 0], # 背景黑色 [255, 0, 0], # 猫红色 [0, 0, 255], # 狗蓝色 ], dtypenp.uint8) colored_mask color_map[mask] # H×W×3 的彩色掩码 overlay cv2.addWeighted(image, 1 - alpha, colored_mask, alpha, 0) return overlay这里color_map[mask]利用了 NumPy 的整数数组索引mask 每个像素值是 0/1/2对应到 color_map 的对应行取颜色一步就完成了映射。addWeighted做线性混合alpha 越大掩码颜色越明显建议 0.4 到 0.6 之间太小看不清轮廓太大遮住原图细节。看叠加图时重点看三个位置猫狗的边缘是否贴合真实边界、有没有把纹理复杂的背景误当成目标、两只动物重叠时是否只预测了其中一只。把测试集里 5 到 10 张图的叠加结果保存到results/目录下选 mIoU 最高和最低的几张各看一眼比盯着终端里的数字更能发现模型的问题。我自己的习惯是每次都保存一批叠加图再下结论因为有一次模型 mIoU 到了 0.82可叠加图里大面积把深色沙发预测成了猫后来才发现是训练时亮度增强参数调得太大模型学的是颜色分布而不是形状特征。这种问题只有看可视化图才能发现。如果你想把验证做得更完整可以再统计每张测试图的单类 IoU 并排序找出最差的几张图来分析失败原因。常见的失败模式是目标太小远处的小猫只有几十个像素和目标重叠这个数据集如果是从日常照片里采集的这两种情况几乎必然存在。希望这套从数据检查到训练避坑再到可视化的流程能帮到你老规矩——先跑通最小的训练流程再去调增强和损失函数别一上来就折腾大模型。本文还有配套的精品资源点击获取