遥感道路分割数据集：预处理完备，可直接训练U-Net

简介遥感影像道路分割数据集包含约4000张已处理好的图像与对应标签覆盖道路等多类别分割任务适用于计算机视觉、遥感解译方向的算法研究与模型训练。包内数据已按训练集与验证集划分完成训练集约2800张图片及掩膜验证集约1200张可直接接入常见图像分割网络使用。压缩包共2000个文件以PNG标签图、JPG原图为主另含1个类别说明txt与1个可视化脚本py整体147.76MB。类别说明文件中标注了背景与道路等类别定义便于理解标签信息可视化脚本会随机抽取一张图片将原始图、GT掩膜和GT叠加在原图上的效果展示并保存便于快速核验标注质量。目前已有59人学习下载适合需要直接开展道路分割实验或改进分割网络的研究者快速上手。1. 遥感影像道路分割这份 4000 张数据集为什么能直接开训做遥感影像分割的同行应该都有体会真正卡住进度的往往不是网络结构而是数据。公开数据集要么是单张超大影像需要自己切瓦片要么标签只有矢量边界没有栅格化等把数据折腾成能喂给 U-Net 的样子一两周就过去了。这份遥感道路分割数据集最实在的地方在于已经替你完成了最脏最累的活儿——约 4000 张影像和配套标签全部处理完毕训练集、验证集划分妥当标签是标准的 0 背景、255 道路二值掩膜拿到手可以直接开始训练。对刚入门语义分割的学生或者急着验证改进思路的从业者来说这相当于省掉了数据预处理这条最容易翻车的路直接进入模型迭代环节。2. 数据格式与目录划分先搞清图片和标签的对应关系2.1 目录结构images 与 masks 的存放逻辑这份数据集的目录组织方式很常规就是images和masks两个顶层目录也有叫images和labels或images和annotations的。往下再按train、val细分。dataset/ ├── train/ │ ├── images/ │ │ ├── 1494.jpg │ │ ├── 2732.jpg │ │ └── ... │ └── masks/ │ ├── 1494.png │ ├── 2732.png │ └── ... └── val/ ├── images/ │ ├── 383.jpg │ ├── 1899.jpg │ └── ... └── masks/ ├── 383.png ├── 1899.png └── ...这里有个细节需要留意原图是.jpgmask 是.png。不是随便选的——JPEG 是有损压缩如果标签也存成 jpg道路边缘会出现压缩伪影等于给标签人为引入了噪声。而 PNG 是无损格式能保持像素级的标签精度。你在写数据加载器时文件后缀名一定要分开处理不能直接用replace(.jpg, .jpg)这种偷懒写法去读取 mask。文件名前缀是严格对应的1494.jpg对应1494.png2732.jpg对应2732.png。这是后续所有训练流程能成立的前提——如果名称对不上数据加载器就会拿到错误的图-标签对模型看到的是“图 A 配标签 B”训练再久也不收敛。2.2 标签定义0 和 255 的二值语义数据集内的classes文件或说明文档会标注0 代表背景background255 代表道路road。这本质上是一个二分类语义分割问题在训练时通常有两种处理方式第一种是保持原始标签值直接训练。把 mask 读进来后不做任何像素值变换0和255分别作为两个类别。这种情况下模型最后一层的输出通道数为2配合 CrossEntropyLoss 使用。PyTorch 的CrossEntropyLoss内部会做 softmax要求标签是[0, N-1]之间的整数所以如果你直接把 255 作为类别标签喂进去就会报错或产生未定义行为——这是最常见的一个坑后面避坑章节会展开。第二种是先把 mask 归一化到0/1再训练。读取时将所有像素值除以 255得到[0, 1]的二值图或者用(mask 255).astype(np.uint8)显式转换。这样标签就是标准的{0, 1}集合配合CrossEntropyLoss或DiceLoss都顺理成章。我一般推荐第二种方式原因很简单避免踩到CrossEntropyLoss对标签取值范围的隐式约束。而且如果后续想切到 Dice Loss 或混合损失0/1标签是通用格式代码改动最少。2.3 训练验证划分2800 1200 的量级分析数据集的划分是已经做好的训练集约 2800 张验证集约 1200 张。比例大概在 7:3这个比例对遥感道路分割任务是合理的。原因有三第一遥感影像的标注成本高验证集留 30% 已经能较稳定地评估模型泛化能力——1200 张验证图足够让验证集 loss 的抖动落在可接受范围。第二道路分割任务的正负样本极不均衡后面细说验证集太小容易造成评估偏差一张图里道路占比高或低都会明显影响 mIoU留足样本量才能抵消单张图的干扰。第三这个比例下训练集仍有 2800 张配合随机裁剪和翻转增强完全够训练一个 U-Net 级别的模型。需要说明的是划分结果已经固定训练脚本应直接复用现有的 train/val 目录。不建议自己重新混洗划分——除非你有意做交叉验证否则这只会引入不必要的变量。3. 可视化脚本与训练管线把标签和原图对齐是第一步3.1 可视化脚本验证标签质量的最直接手段数据集附带了一个可视化脚本作用是从数据集中随机抽一张图生成三张对比图原始遥感影像、GT 掩膜、GT 叠加在原图上的半透明效果图。这个脚本的价值被很多人低估——它不是给你看的是给你验证管线用的。我拿到任何分割数据集第一步永远是随机抽 5-10 张图跑一遍可视化确认三件事一是 mask 和原图的空间范围是否完全对齐有没有偏移二是道路区域是否标注完整有没有漏标、错标三是标签像素值是否符合预期只有 0 和 255没有第三种值。这三项检查全部通过才谈得上训练。import cv2 import numpy as np from glob import glob # 假设数据集在 ./dataset/train 下 img_paths sorted(glob(./dataset/train/images/*.jpg)) mask_paths sorted(glob(./dataset/train/masks/*.png)) # 随机抽一张 idx np.random.randint(0, len(img_paths)) img cv2.imread(img_paths[idx]) img cv2.cvtColor(img, cv2.COLOR_BGR2RGB) mask cv2.imread(mask_paths[idx], cv2.IMREAD_GRAYSCALE) # 检查 mask 的像素值分布 unique_vals np.unique(mask) print(f标签值: {unique_vals}) # 期望输出 [0 255] # 如果出现其他值说明标签有噪声 assert set(unique_vals).issubset({0, 255}), f异常标签值: {unique_vals} # GT 半透明叠加 overlay img.copy() overlay[mask 255] (255, 0, 0) # 道路区域标红 blended cv2.addWeighted(img, 0.6, overlay, 0.4, 0) # 保存可视化结果 cv2.imwrite(sample_original.jpg, cv2.cvtColor(img, cv2.COLOR_RGB2BGR)) cv2.imwrite(sample_mask.png, mask) cv2.imwrite(sample_overlay.jpg, cv2.cvtColor(blended, cv2.COLOR_RGB2BGR))这段代码的逻辑很简单读取原图和三通道用灰度模式读取 mask然后检查 mask 的像素值集合。cv2.IMREAD_GRAYSCALE是关键——如果像读普通图片一样用三通道读 mask拿到的是(H, W, 3)的数组后续无论是检查像素值还是计算 loss都会出问题。叠加时我直接把道路区域像素改成红色再用addWeighted做半透明融合视觉上就能判断出 GT 是否和道路边缘对齐。3.2 数据加载器语义分割训练的标准姿势可视化脚本只是一次性验证真正要跑训练得写一个标准的 Dataset 类。这里给出一个兼容 PyTorch 的写法import torch from torch.utils.data import Dataset import cv2 import numpy as np import os from glob import glob class RoadSegDataset(Dataset): def __init__(self, image_dir, mask_dir, img_size(512, 512)): self.img_paths sorted(glob(os.path.join(image_dir, *.jpg))) self.mask_paths sorted(glob(os.path.join(mask_dir, *.png))) self.img_size img_size # 确保一一对应 assert len(self.img_paths) len(self.mask_paths), \ f图片和掩膜数量不一致: {len(self.img_paths)} vs {len(self.mask_paths)} # 核对文件名前缀匹配 for img_p, mask_p in zip(self.img_paths, self.mask_paths): img_name os.path.basename(img_p).split(.)[0] mask_name os.path.basename(mask_p).split(.)[0] assert img_name mask_name, f文件名不匹配: {img_name} vs {mask_name} def __len__(self): return len(self.img_paths) def __getitem__(self, idx): img cv2.imread(self.img_paths[idx]) img cv2.cvtColor(img, cv2.COLOR_BGR2RGB) img cv2.resize(img, self.img_size, interpolationcv2.INTER_LINEAR) mask cv2.imread(self.mask_paths[idx], cv2.IMREAD_GRAYSCALE) mask cv2.resize(mask, self.img_size, interpolationcv2.INTER_NEAREST) mask (mask 255).astype(np.float32) # 归一化到 0/1 # HWC - CHW归一化到 [0,1] img img.astype(np.float32) / 255.0 img np.transpose(img, (2, 0, 1)) return torch.from_numpy(img.copy()), torch.from_numpy(mask.copy()).unsqueeze(0)这个 Dataset 类里有两个容易被新手的忽略的细节。第一个是cv2.resize的插值方法——图像用INTER_LINEARmask 用INTER_NEAREST。如果 mask 也用线性插值道路边缘会产生介于 0 和 255 之间的中间值标签就被污染了最近邻插值保证输出像素值只可能是 0 或 255。第二个是归一化的顺序——先做(mask 255)转成布尔值再转 float比直接除以 255 更干净因为它显式地强制标签值落在{0, 1}不会出现255/255 1.0但也不会出现意外值。3.3 损失函数选择类别不均衡是遥感分割的第一道坎遥感道路分割里最典型的问题就是正负样本极度不均衡——大多数遥感影像中道路像素占整张图的比例通常在 5%-15% 之间。如果直接用CrossEntropyLoss模型会倾向于把所有像素预测为背景因为这样 loss 就已经很低了。训练初期建议使用 Dice Loss 或 Dice CE 的混合损失。Dice Loss 直接优化区域重叠度对类别不均衡相对不敏感。一个常用的混合损失写法class DiceLoss(torch.nn.Module): def __init__(self, smooth1.0): super().__init__() self.smooth smooth def forward(self, pred, target): # pred: (B, 2, H, W) 或 (B, 1, H, W), target: (B, 1, H, W) if pred.shape[1] 2: pred torch.softmax(pred, dim1)[:, 1:2, :, :] # 取道路类 else: pred torch.sigmoid(pred) intersection (pred * target).sum() union pred.sum() target.sum() dice (2.0 * intersection self.smooth) / (union self.smooth) return 1.0 - dice这里的核心是smooth参数——它的作用是避免分母为 0 的极端情况同时在预测和标签全为空时让 loss 趋近于 1 而不是直接崩掉。实际使用中我会把smooth设在 0.5-1.0 之间。如果你用的是两通道输出加CrossEntropyLoss注意 pred 里的第一维是类别维度取道路类时要跳过背景类。4. 避坑指南四类高频翻车场景与排查思路4.1 Loss 不下降或直接报错标签像素值没有归一化现象同步训练没几步 loss 变成 NaN或者 loss 始终在一个固定值附近震荡不下降。原因这是最常见的新手错误。mask 读取后没有归一化像素值 255 被直接当成了标签类别。CrossEntropyLoss要求标签在[0, C-1]范围内如果类别数 C2 而标签里有 255PyTorch 会用ignore_index的默认行为处理实际效果是那部分像素被忽略了梯度信息丢失模型学不到道路特征。更严重的会直接抛出 index out of range 的报错。解决在__getitem__里加上归一化代码。检查方式是打印一个 batch 的标签取值for batch in dataloader: _, mask batch print(torch.unique(mask)) break正常输出应该是tensor([0., 1.])。如果出现255或者tensor([0., 255.])说明归一化步骤没生效往数据加载的链路上找问题。4.2 训练精度高但可视化效果差mask 插值方式错误现象验证集上的 mIoU 有 0.85 以上但把预测结果叠加到原图上发现道路边缘有明显的锯齿或错位细小的道路断断续续。原因在 resize 时对 mask 用了线性插值INTER_LINEAR。线性插值会在 0 和 255 之间生成中间值比如 128这些中间值在归一化后变成了 0.5 附近的浮点数。除以阈值 0.5 后被归类为道路或背景带有随机性——边缘处每个像素的预测结果都在摇摆反映在可视化上就是锯齿和断裂。解决mask 的 resize 必须使用INTER_NEAREST这一点没有商量余地。训练时可能影响不大因为大部分中间值都在 0.5 附近sigmoid 输出也可能落在模糊区但推理阶段做后处理时问题就会暴露。另外如果训练后要把 mask 转成可视化 RGB记得先(pred 0.5)二值化再映射颜色不要直接拿浮点输出当像素值。4.3 验证集指标正常但新图上泛化差训练/验证同源导致假象现象验证集 mIoU 很高但换一批全新的遥感影像做推理效果断崖式下跌。原因这份数据集的 train/val 划分通常是在同一批影像切片基础上做的随机划分。也就是说验证集里的图像和训练集可能来自相邻的瓦片甚至同一张原始大图的不同切片。它们的成像条件、光照、地物形态高度相似模型在验证集上的表现有虚高成分。这不是数据集本身的问题而是遥感影像切片的固有特性。解决做法上要自己增加一个独立测试集——从别处找几幅完全不同区域的遥感影像切成同样大小的瓦片全程不参与训练只在最后做一次推理评估。如果这个独立测试集上的 mIoU 比验证集低 5 个点以上我一般会先怀疑过拟合然后加数据增强随机翻转、随机旋转 90 度、色彩抖动、随机裁剪。4.4 显存 OOM输入尺寸和 batch size 之间的矛盾现象batch size 设了 8模型是 U-Net输入 512×512一跑训练就报 CUDA out of memory。原因U-Net 的特征图呈金字塔结构512×512 的输入在第一层卷积后就产生 256×256×64 的特征图加上 decoder 侧的拼接操作显存占用远高于同尺寸的分类网络。batch size 8 在这种配置下对 8GB 显存的卡来说基本是极限之上的。解决先减 batch size 到 2 或 4 跑通再逐步上调。如果 batch size 已经很小仍然 OOM就降输入尺寸到 256×256代价是道路细节会有损失。另一个常见做法是开启torch.cuda.amp混合精度训练显存占用能降 30%-40%scaler torch.cuda.amp.GradScaler() for images, masks in dataloader: images, masks images.cuda(), masks.cuda() optimizer.zero_grad() with torch.cuda.amp.autocast(): outputs model(images) loss criterion(outputs, masks) scaler.scale(loss).backward() scaler.step(optimizer) scaler.update()注意GradScaler的引入——混合精度下梯度数值范围变小直接loss.backward()再optimizer.step()容易梯度下溢scaler 的作用是在反向传播前放大梯度更新前再缩回来。5. 从直训到调优这份数据用好的三个进阶习惯5.1 先跑小样本冒烟测试再全量训练拿到数据集后第一次训练不要直接上全部 2800 张。我习惯先随机抽 20-30 张图组成一个微缩训练集跑 2-3 个 epoch目标是验证管线通畅数据能正确加载、loss 能下降、模型能在一个 batch 内过拟合。这一步通常只需要几分钟但能排查掉 80% 的代码级错误。如果全量训练跑到一半才发现问题浪费的时间是小时级别的。冒烟测试通过后再切换回完整数据集。切换时只需改数据集目录路径其他代码不变。这也是为什么 Dataset 类要写干净的原因——你不想在排查问题时还要分心去解耦代码。5.2 看 mask 统计分布决定是否用加权损失训练前跑一个统计脚本算出每张图道路像素占比的均值和分布。如果道路占比普遍低于 10%Dice Loss 基本够用如果某些图道路占比超过 30%而另一些低于 3%说明样本间难度差异极大建议改用 Focal Loss 或在损失函数里对每张图的 loss 按道路占比加权。import numpy as np from glob import glob mask_files sorted(glob(./dataset/train/masks/*.png)) ratios [] for mf in mask_files: mask cv2.imread(mf, cv2.IMREAD_GRAYSCALE) road_pixels np.sum(mask 255) total_pixels mask.size ratios.append(road_pixels / total_pixels) ratios np.array(ratios) print(f道路占比均值: {ratios.mean():.4f}) print(f最小占比: {ratios.min():.4f}, 最大占比: {ratios.max():.4f})这个脚本的价值在于数据驱动地决定损失函数和评估指标。之前我做一个道路分割项目时道路占比只有 4%用 Dice Loss 训练后 mIoU 在 0.7 附近徘徊后来加了每样本的加权因子——道路占比越低的样本权重越高——mIoU 直接涨了 5 个点。这份数据集如果统计结果也偏同样可以套用这个策略。5.3 推理后处理连接断点、去除孤立区域模型输出的概率图是浮点型直接阈值化成二值 mask 往往会有细碎的噪声和断点。我最后的习惯是对预测结果做两步后处理先做形态学闭运算连接断裂的道路段再用连通域分析移除面积小于设定阈值的孤立噪声点。import cv2 import numpy as np # pred_mask: (H, W) 的 0/1 数组float32 pred_mask (pred 0.5).astype(np.uint8) # 闭运算先膨胀后腐蚀连接断开的道路段 kernel cv2.getStructuringElement(cv2.MORPH_ELLIPSE, (5, 5)) closed cv2.morphologyEx(pred_mask, cv2.MORPH_CLOSE, kernel) # 移除小面积孤立区域 num_labels, labels, stats, _ cv2.connectedComponentsWithStats(closed, connectivity8) min_area 100 # 面积小于 100 像素的认为是噪声 filtered np.zeros_like(closed) for i in range(1, num_labels): if stats[i, cv2.CC_STAT_AREA] min_area: filtered[labels i] 1对遥感道路分割来说道路是连通结构断点比误检更影响下游应用——所以闭运算的 kernel 我宁愿稍微大一点也不要让道路断掉。这属于调参中的微调熟练以后最终效果的好坏往往就取决于这些细节。拿到这份数据集我的建议是别急着改网络结构先把上述流程完整跑一遍——从可视化验证、小样本冒烟、统计分布到基线训练。数据本身已经是处理好的状态真正拉开差距的是谁能更快地把数据摸透、把管线的坑提前排除。希望这份笔记能让你少走几个弯路顺利跑出第一版结果。本文还有配套的精品资源点击获取