遥感影像滑坡场景分类：PyTorch迁移学习实践与避坑指南

简介基于Python的遥感影像滑坡场景分类完整项目面向毕业设计、课程设计与项目开发提供经严格测试的源码和项目文档。压缩包共21个文件约1.86MB包含Python脚本、训练/测试文本、pickle特征文件、LDA模型文件model/id2word及Markdown文档代码与说明分层存放便于扩展。目前已有55人学习浏览可作参考项目快速上手。项目以SVM分类器完成滑坡识别流程覆盖光谱特征均值、标准差与GLCM纹理特征提取、K-Means聚类生成视觉词袋、LDA主题抽象得到高级特征并以libsvm格式完成分类整条实验链路可直接复现。附带的文档对特征提取、模型训练等模块做了说明可基于现有代码替换数据、调整参数迁移到其他遥感场景分类任务。1. 遥感影像滑坡场景分类为什么这个毕设题目每年都有人选遥感影像滑坡场景分类听起来是个学术名词实际上一旦投入实践它就是一套再普通不过的深度学习图像分类流程把遥感影像切成规则的小块喂给卷积神经网络让它输出“这是滑坡”还是“这不是滑坡”。这个标题的含金量在于它把毕业设计、课程设计和真实项目三个目标叠在了一起——既要有能直接跑的代码又要有能写进项目文档的完整思路。真正做过这类任务的人都知道工程量的大头不在模型结构而在数据组织、切片策略和那几个决定成败的训练参数上。这篇笔记会从选型、代码实现到排查翻车把一套可以复用到自己数据集上的方案讲透。2. 模型和数据怎么选ResNet迁移学习配影像切块的落地理由2.1 为什么不用自己从零训练一个 CNN很多第一次做深度学习方向毕业设计的同学上来就想自己写一个卷积神经网络结构觉得这样显得工作量足。但滑坡场景分类这个任务本质上是图像分类而图像分类恰恰是迁移学习收益最明显的领域。自己从零训练一个 ResNet、VGG 或者 MobileNet在遥感影像这种训练样本往往只有几千张、上万张的数据规模下收敛速度慢最终精度也普遍低于微调预训练模型。答辩时老师问一句“你的模型和预训练模型差距有多大”局面会很被动。我一般建议把精力花在“怎么把数据处理好”和“怎么把评估做扎实”上模型直接站在 torchvision 预训练权重的肩膀上。常见做法是先固定住骨干网络的参数只训练分类头跑通流程后再解冻整个网络进行微调。这套思路在滑坡识别任务里足够稳健代码量小出问题也好定位。2.2 影像切片先把大影像切成分类器能吃的输入滑坡场景分类的输入通常是几百兆甚至上 GB 级的大幅遥感影像不可能整张塞进网络。第一步是把影像切成固定大小的块切之前要想清楚两个参数切片尺寸和步长。尺寸决定了模型能看到的最小上下文范围步长决定了相邻切片的重叠程度。from PIL import Image import os def split_image(image_path, output_dir, tile_size512, stride384): 将大幅遥感影像按固定尺寸和步长切成小块 image_path: 输入影像路径 output_dir: 输出目录会按 tile_编号 保存 tile_size: 切片尺寸滑坡场景常用 256/512 stride: 步长小于 tile_size 时相邻切片有重叠 os.makedirs(output_dir, exist_okTrue) img Image.open(image_path) w, h img.size count 0 for y in range(0, h - tile_size 1, stride): for x in range(0, w - tile_size 1, stride): tile img.crop((x, y, x tile_size, y tile_size)) tile.save(os.path.join(output_dir, ftile_{count:06d}.png)) count 1 # 处理影像右边缘和下边缘避免漏掉边界区域 if w % stride ! 0 or h % stride ! 0: right_tile img.crop((w - tile_size, 0, w, h)) if w tile_size else None print(f共生成 {count} 张切片宽高不足处请检查边缘覆盖) return count这段代码的关键在于crop的坐标范围和循环边界range(0, h - tile_size 1, stride)保证了切片不会超出影像边界。步长取 384、切片尺寸取 512 时重叠区为 128 像素这样做是为了防止滑坡体正好横跨两张切片的接缝导致模型只能看到半个滑坡。切片尺寸 512 对显存要求较高显存紧张时退到 256 更好代价是模型看到的上下文范围变小容易把大滑坡误判成裸地。2.3 文件夹目录结构毕设文档里最好讲清楚的基建工作分类任务最省事的数据组织方式就是按文件夹分好类别PyTorch 的ImageFolder能直接读取。滑坡场景分类一般按二分类做“正类”是含滑坡的切片“负类”是不含滑坡的普通地表。data/ ├── train/ │ ├── landslide/ # 滑坡切片 │ └── non_landslide/ # 非滑坡切片 └── val/ ├── landslide/ └── non_landslide/标注的时候注意一个容易踩的坑有些公开标注的滑坡轮廓是矢量面文件需要先用 GIS 软件把面转成栅格再跟影像叠加判断每个切片里滑坡像素占比占比超过一定阈值才把切片标为正类。这个阈值我一般取 10% 到 20%太低容易混入大量非滑坡背景太高会让正样本数量急剧萎缩。如果数据来源是课程设计自带标签也得确认标签是像素级的还是场景级的两种标注对应的切片策略完全不同。3. 把训练代码跑起来数据加载、模型定义与训练循环3.1 Dataset 类写法把影像读取和数据增强封装好实际训练之前先定义一个自己的Dataset类而不是直接图省事用现成封装。自己写的好处是可以随时打印样本检查数据是否对齐排查问题时效率高很多。滑坡切片往往存在拍摄季节、光照、土壤背景差异数据增强在这类任务里比模型结构改动更管用。import os import glob from PIL import Image import torch from torch.utils.data import Dataset from torchvision import transforms class LandslideDataset(Dataset): 读取滑坡切片的 Dataset支持训练/验证两种模式 def __init__(self, root_dir, modetrain): self.positive_paths glob.glob(os.path.join(root_dir, landslide, *.png)) self.negative_paths glob.glob(os.path.join(root_dir, non_landslide, *.png)) # 把正负样本路径放同一个列表标签用 1/0 区分 self.image_paths self.positive_paths self.negative_paths self.labels [1] * len(self.positive_paths) [0] * len(self.negative_paths) if mode train: self.transform transforms.Compose([ transforms.RandomHorizontalFlip(p0.5), transforms.RandomVerticalFlip(p0.5), transforms.RandomRotation(15), transforms.ColorJitter(brightness0.2, contrast0.2), transforms.Resize((224, 224)), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]) ]) else: self.transform transforms.Compose([ transforms.Resize((224, 224)), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]) ]) def __len__(self): return len(self.image_paths) def __getitem__(self, idx): img Image.open(self.image_paths[idx]).convert(RGB) label self.labels[idx] img self.transform(img) return img, label这里有几个细节值得注意。glob.glob的读取顺序是不保证稳定的正负样本混进同一个列表后self.labels必须和self.image_paths按下标一一对应否则会出现图像和标签错位的翻车事故。Normalize用的是 ImageNet 的均值和方差因为预训练模型是在 ImageNet 上训出来的输入分布不一致会让迁移效果大打折扣。训练模式下加了随机翻转、随机旋转和色彩抖动滑坡在遥感影像中朝向不固定旋转增强对这任务几乎是刚需。3.2 迁移学习模型定义把最后的全连接层换掉模型结构选择上我推荐从 ResNet18 起步。ResNet18 参数只有一千多万单张消费级显卡就能跑训练一轮也就几分钟迭代调参的体验比 ResNet50 好很多。先跑通一个完整流程再换 ResNet50 提精度这是最稳的节奏。修改模型只需要替换最后一层全连接其他的预训练参数全部保留。import torchvision.models as models import torch.nn as nn def get_model(num_classes2, pretrainedTrue): 加载预训练 ResNet18 并替换分类头 model models.resnet18(weightsmodels.ResNet18_Weights.DEFAULT if pretrained else None) in_features model.fc.in_features # 替换全连接层输出维度改为类别数 model.fc nn.Sequential( nn.Dropout(p0.3), nn.Linear(in_features, num_classes) ) return modelweightsmodels.ResNet18_Weights.DEFAULT是新版 torchvision 的写法它会下载在 ImageNet 上训练好的参数首次运行需要连网。如果网络受限可以提前下载好权重文件后通过load_state_dict加载本地文件。替换后的fc结构里加了一个 Dropout作用是缓解滑坡场景正样本少带来的过拟合这个设计会在文档里写成“引入随机失活提升泛化能力”答辩时也讲得出口。3.3 训练循环先把一个 mini-batch 跑通再说很多同学一上来直接全量训练结果跑了一个多小时发现 loss 是 NaN再回头查数据问题浪费大量时间。我的做法是先把batch_size设成 2跑通一个 batch 的前向传播和反向传播确认 loss 正常下降后再放开 batch_size 开始正式训练。这一步只花一分钟能挡掉至少一半的翻车。import torch import torch.nn as nn from torch.utils.data import DataLoader device torch.device(cuda if torch.cuda.is_available() else cpu) model get_model(num_classes2).to(device) criterion nn.CrossEntropyLoss() optimizer torch.optim.AdamW(model.parameters(), lr1e-4, weight_decay1e-4) train_dataset LandslideDataset(data/train, modetrain) val_dataset LandslideDataset(data/val, modeval) train_loader DataLoader(train_dataset, batch_size32, shuffleTrue, num_workers4) val_loader DataLoader(val_dataset, batch_size32, shuffleFalse, num_workers4) def train_one_epoch(epoch): model.train() total_loss 0.0 for images, labels in train_loader: images, labels images.to(device), labels.to(device) outputs model(images) loss criterion(outputs, labels) optimizer.zero_grad() loss.backward() optimizer.step() total_loss loss.item() print(fEpoch {epoch} loss: {total_loss / len(train_loader):.4f})损失函数直接用CrossEntropyLoss它内部已经包含 Softmax不需要在模型结构里再加一层。优化器用 AdamW 而不是传统 Adam因为 AdamW 在解耦权重衰减之后泛化表现更稳定这是最近几年实践出来的经验。学习率初始设1e-4如果只训练分类头骨干网络冻结可以放大到1e-3但一旦解冻全模型微调学习率必须降回来否则预训练参数会被冲掉。4. 换一个自己的数据集也能用评估指标与推理脚本4.1 评估指标别只盯准确率滑坡分类要看召回率滑坡场景分类的正负样本通常极不平衡负样本远多于正样本这时候准确率这个指标会骗人。假设正样本只占 5%模型把所有切片都判成“非滑坡”准确率也有 95%但一个滑坡都没识别出来这个模型毫无意义。所以评估要同时看准确率、精确率、召回率和 F1 分数重点关注针对滑坡类别的召回率。from sklearn.metrics import confusion_matrix, classification_report def evaluate(model, val_loader): model.eval() all_preds [] all_labels [] with torch.no_grad(): for images, labels in val_loader: images, labels images.to(device), labels.to(device) outputs model(images) _, preds torch.max(outputs, 1) all_preds.extend(preds.cpu().numpy()) all_labels.extend(labels.cpu().numpy()) cm confusion_matrix(all_labels, all_preds) print(混淆矩阵:) print(cm) # target_names 对应 0非滑坡, 1滑坡 print(classification_report(all_labels, all_preds, target_names[non_landslide, landslide]))混淆矩阵能直观看出模型是把滑坡误判成背景还是把背景误判成滑坡。滑坡场景分类实际项目中漏检一个滑坡把滑坡判成非滑坡的代价比误检大得多所以调参时我优先拉升滑坡类别的召回率。常用手段是给正样本更高的权重或者把判定阈值从默认的 0.5 调低到 0.3让模型更“愿意”输出滑坡类别然后再用后处理过滤误检。4.2 推理脚本加载权重预测单张切片训练完成后需要写一个独立的推理脚本这块代码在课程设计和毕业设计里都属于必交付内容。推理脚本要能加载训练好的权重文件对单张影像切片做预测并输出类别和置信度。置信度信息在文档中可以作为模型不确定性的量化指标。import torch from PIL import Image from torchvision import transforms def predict_single_image(model_path, image_path, devicecpu): 加载模型权重并预测单张切片的类别 model get_model(num_classes2, pretrainedFalse) state_dict torch.load(model_path, map_locationdevice) model.load_state_dict(state_dict) model.to(device) model.eval() transform transforms.Compose([ transforms.Resize((224, 224)), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]) ]) img Image.open(image_path).convert(RGB) input_tensor transform(img).unsqueeze(0).to(device) with torch.no_grad(): outputs model(input_tensor) probs torch.softmax(outputs, dim1) confidence, pred torch.max(probs, 1) class_names [non_landslide, landslide] print(f预测类别: {class_names[pred.item()]}) print(f置信度: {confidence.item():.4f}) return class_names[pred.item()], confidence.item()torch.load加载权重时指定map_location很关键在 GPU 上训练的权重直接拿到 CPU 机器上加载可能报设备不匹配错误。load_state_dict要求传入的字典键严格匹配模型结构如果换过分类头而忘了同步改模型定义这里会直接抛出缺失键的报错这也是最常见的推理阶段翻车点。推理时一定要写model.eval()否则模型里 Dropout 层仍然在工作每次预测结果会随机抖动。4.3 训练过程与结果的可视化让报告有图可放毕设文档和课程设计报告里最缺的不是代码而是能直接贴进论文的图表。训练过程中记录 loss 和验证集准确率的变化曲线评估完成后画混淆矩阵热力图这两张图基本是答辩展示的标配。建议把训练过程封装进一个history字典每轮结束时追加记录最后统一画图。import matplotlib.pyplot as plt def plot_training_curve(history, save_pathtraining_curve.png): 绘制训练过程中的 loss 和准确率曲线 epochs range(1, len(history[train_loss]) 1) plt.figure(figsize(12, 4)) plt.subplot(1, 2, 1) plt.plot(epochs, history[train_loss], labeltrain_loss) plt.plot(epochs, history[val_loss], labelval_loss) plt.xlabel(epoch) plt.ylabel(loss) plt.legend() plt.subplot(1, 2, 2) plt.plot(epochs, history[train_acc], labeltrain_acc) plt.plot(epochs, history[val_acc], labelval_acc) plt.xlabel(epoch) plt.ylabel(accuracy) plt.legend() plt.tight_layout() plt.savefig(save_path, dpi200)如果发现train_loss持续下降而val_loss停住甚至反弹这是过拟合的典型信号。滑坡场景样本通常在几千到几万之间过拟合几乎必然出现可视化曲线可以帮助你判断该在哪个 epoch 提前停止训练early stopping。这也是项目文档里建议保存“最佳模型”而不是“最后一个 epoch 模型”的原因。5. 常见问题排查设好参数却跑不出精度的 5 个坑5.1 预训练权重下载失败训练脚本卡住不动现象运行训练脚本时没有任何报错但进度条长时间不动过一会儿提示网络连接失败或者超时代码直接中断。原因新版本 torchvision 的weightsDEFAULT会尝试从网络下载 ResNet 预训练权重网络环境不稳定时容易出现下载中断而且不会自动断点续传。解决提前在本地目录准备好权重文件。先手动下载.pth文件放到项目目录下然后修改加载逻辑为model.load_state_dict(torch.load(resnet18.pth, map_locationcpu))加载成功后再接训练流程。也可以在代码里做一次判断如果本地文件存在则直接加载本地权重否则回退到在线下载。5.2 切片时把大量黑色边框和无效区域载入训练集现象训练准确率很高但在新影像上预测效果很差检查训练样本时发现很多切片是纯黑色或者大面积无数据区域。原因遥感影像常常带有黑边、水体掩膜或云遮挡这些无效区域的切片被当成“非滑坡”样本送入训练模型学到了“黑色非滑坡”这个错误关联。解决切片生成后加一个过滤步骤计算每个切片的有效像素比例。我一般用 numpy 统计标准差标准差低于阈值如 10说明这个切片内容过于单一直接丢弃。同时要把数据清洗的过程写进项目文档答辩时这是一个很好的加分细节。5.3 正负样本失衡导致模型全体预测为非滑坡现象训练 loss 很快就降到很低但验证集上滑坡类别的召回率是 0模型把所有切片都判成了非滑坡。原因滑坡场景中正样本天然稀少负样本数量可能是正样本的 10 倍以上模型发现把所有样本判成负类能得到很低的损失值自然不愿意输出正类。解决优先做欠采样或过采样。欠采样是随机丢弃部分负样本让正负比接近 1:2过采样是随机重复使用正样本。更平滑的做法是使用加权损失函数给CrossEntropyLoss传入weight参数正类的权重设为负类的倍数。权重的具体值根据正负样本数量倒推避免设得过大导致训练震荡。5.4 验证集精度高但新影像上滑坡漏检严重现象评估指标都很好看但把模型用于新的遥感影像时实际滑坡区域漏检率很高容易滑坡的地方没有被识别出来。原因训练集和验证集可能来自同一景影像的切片空间上相邻的切片高度相似造成数据泄漏。模型实际是“记住”了训练数据而不是学到滑坡的通用特征。解决按空间位置划分数据集而不是按切片划分。确保同一景影像的切片只出现在训练集或验证集中不能同时出现在两边。具体做法是先按地理格网分块把不同块划到不同集合再做切片。另外训练时加入随机旋转等增强手段也可以降低模型对固定朝向的依赖。5.5 彩色影像波段顺序混乱模型学到错误的颜色映射现象模型在测试集上的表现随机训练几次结果差异很大有时精度很高有时接近随机猜测。原因遥感影像可能是 RGBN红绿蓝近红外四波段也可能是 BGR 顺序直接用PIL.Image.open读取会默认按 RGB 解释导致颜色通道错位。模型学到的滑坡特征与影像位深、白平衡设置强相关一旦换一景影像就失效。解决读取影像时先确认波段数和顺序用 GDAL 读取时显式指定波段并在预处理环节统一转成 RGB 三通道。如果只有 RGBN 四波段可以用近红外波段替代红色通道合成伪彩色也可以只取前三个波段关键是训练和测试必须用同一个波段组合。6. 跑通之后怎么进阶热力图验证、交叉验证与工程化部署模型能跑出结果的准确率之后别急着收工。答辩或者项目验收时比起“我的准确率是 95%”更有说服力的是展示模型到底在看影像的哪个区域做判断。Grad-CAM 热力图是个立竿见影的工具把滑坡切片的特征图加权叠加回原图如果高亮区域集中在滑面、滑壁而不是山体阴影或道路说明模型学对了特征。这步用pytorch-grad-cam这个库可以快速实现核心就是把某个类别得分的梯度回传到最后一层卷积的特征图上。交叉验证是另一个值得多花半天做的事。用 5 折交叉验证代替固定划分的训练/验证集得到的模型精度均值±方差比单次划分可靠得多。对于滑坡场景分类的报告写成“5 次实验平均 F1 为 0.87±0.02”会让审阅者明显觉得方法更扎实。代价是训练时间增加 5 倍如果机器允许建议完整跑一轮至少跑出两个折做个对照。离线评估时还要额外做一个归一化阈值的调优画出召回率和误检率的平衡曲线把最优阈值写进推理脚本的配置里而不是默认用 0.5。工程化部署上常见做法是把训练好的 PyTorch 模型导出为 ONNX 格式然后用 ONNX Runtime 做 CPU 推理这样不依赖 PyTorch 环境也能跑。导出时注意把输入尺寸固定成 224×224并把torch.no_grad()包住导出过程。如果你是自己练习先别急着上这些工具打开你常用的 Python 环境先把这篇文章里的训练脚本缩成一个能复现的流程。最后说一个我自己的习惯任何新数据集跑训练前我一定会先用 2 个 batch 做一次冒烟测试确认前向、反向、权重更新三个环节都正常再启动全量训练。这个习惯救过我很多次也让我少熬了不少夜。希望帮到你。本文还有配套的精品资源点击获取