遥感影像零样本分割实战：Segment Geospatial从瓦片到矢量

遥感影像分割这块我折腾了快六年从最早手写 NDVI 阈值、到后来拿 U-Net 一帧一帧标样本训练再到这两年被 Segment Geospatial 这种把「分割任意模型」包进 Python 工作流的工具改写流程感受挺复杂。传统路子不是不行而是太贵——贵在标注、贵在调参、贵在换个区域就崩。而分割任意模型Segment Anything Model 这一类零样本分割模型给了一个新选项不用训练给点提示就能出掩膜。问题是把这个模型直接怼到地理空间数据上八成第一张图就翻车16 位深影像被压成一片黑、上万像素的整景被缩到 1024 边长导致小目标全丢、输出掩膜没有坐标系飘到隔壁测区、多边形面积算出来是「平方度」。Segment Geospatial 这个 Python 库干的活本质就是把这些坑一个个填平——读栅格、切瓦片、反算地理坐标、矢量化导出、批量跑。这篇写给三类人做遥感解译和地类提取的、做 GIS 数据生产的、以及想用零样本分割模型快速验证想法的开发者。基础弱一点也能照着跑通我会把每个参数为什么这么设讲清楚。1. 遥感影像为什么不能直接把分割任意模型怼上去1.1 传统流程的三个成本瓶颈逼着人找新路子先说清楚痛点不然没法理解为什么值得换工具。传统遥感分割流程走的是「选样—训练—推理—后处理」四段式第一段就劝退很多人一个县级行政区的地物提取要覆盖耕地、林地、建设用地、水域、裸地几大类每个类目在不同光照、不同季相、不同地形下表现都不一样合格的训练样本轻松上千个图斑还得人工勾绘边界、保证纯净度。这笔人力成本在小项目里根本摊不平。第二个瓶颈是模型本身。U-Net、DeepLab 这类语义分割网络超参敏感度极高学习率、批大小、损失函数权重、数据增强策略任何一项调不好结果就是「训练集 IoU 0.92、验证集 0.61」的经典过拟合。而且模型和区域强绑定南方水田训出来的权重拿到西北旱区精度直接掉一大截等于每个新项目都要重来一遍。第三个瓶颈是交付节奏。很多业务场景要的是「今天给我这块地的图斑」不是「三个月后给你一个模型」。零样本分割模型最大的价值就在这不需要训练集给几个提示点或者一个框几秒钟出掩膜。它当然不可能一步到位替代精调模型但作为快速摸底、样本预标注、变化初筛的工具性价比高得离谱。我现在的习惯是先用它跑一遍出初稿再人工修整体工时能压到原来的三成左右。1.2 模型的三个「水土不服」是踩坑的根源分割任意模型是为自然图像设计的它的假设和遥感影像的实际状况有几处硬冲突不理解这几点后面所有参数都设不明白。第一处是输入尺寸。这类模型内部会把输入图像的长边缩放到固定边长常见是 1024短边补零。你把一张 12000×12000 像素的正射影像整张喂进去缩放比例是 0.085原本 0.5 米分辨率的影像等效分辨率变成接近 6 米。一辆车、一条田埂、一栋独立小楼在缩放后只剩几个像素模型的编码器根本提取不到有效特征输出要么是空的要么是一大片糊在一起的掩膜。所以整景必须切瓦片这是硬性要求不是「内存够就能整张跑」的问题。第二处是波段与位深。模型吃的是 8 位三通道 RGB。遥感影像常见的是 16 位、四波段含近红外甚至多光谱几十个波段。你要是直接把 DN 值 clip 到 0–255得到的图几乎全黑——因为很多传感器的有效 DN 值集中在几百到一两千这个区间映射完就剩一片深灰。正确做法是按百分比做线性拉伸比如取 2%–98% 分位数拉伸到 0–255让地物对比度出来。波段组合也得挑真彩色红、绿、蓝对建筑物、道路友好假彩色近红外、红、绿对植被和耕地边界更敏感这个选择直接决定后面分割的质量上限。第三处是坐标系。模型输出的是像素索引的布尔掩膜它不知道地球是圆的。从掩膜到可交付的矢量图斑中间必须走一次仿射变换把像素行列号换算成地图坐标。这一步用错 transform、或者栅格和矢量用了不同 EPSG结果就是你打开 GIS 软件一看图斑整体偏移几百米甚至跑出测区。我见过最离谱的一次是同事把行列号顺序写反了结果整个成果镜像翻转还自以为精度不错。1.3 Segment Geospatial 到底补了哪几块板这个库的定位很清楚它不是新模型是工程封装层。核心能力大概分四块。一是栅格读写与坐标管理底层靠 rasterio 完成读进来的影像带着 CRS 和 transform切瓦片的时候同步记录每个瓦片在原图中的偏移量这样掩膜拼回去的时候坐标不会错。二是瓦片化推理调度把大图按设定的尺寸和重叠度切成块逐块送进模型再把结果融合回去重叠区用投票或者取并集的方式消解。三是掩膜后处理与矢量化包括按面积过滤碎斑、形态学开闭运算、多边形简化最后输出 GeoJSON 或者 GeoPackage。四是批量与提示工程支持网格点自动生成掩膜也支持用已有的矢量、手画的框、甚至文本提示来引导分割。我特别喜欢它的一点是接口设计得很「GIS 味」generate()出全图掩膜、segment()用提示出单个目标、raster_to_vector()转矢量函数命名一看就知道干什么不用翻半天文档猜。对做数据生产的人来说这种直白比什么花哨特性都值钱。2. 环境搭建与数据准备八成的问题出在这一步2.1 权重选型与显存预算先算清楚再动手模型权重一般有三档规模参数量从几千万到六亿多不等。选哪档不是看哪个精度高就选哪个得看你的显存和交付时限。我给个实测参考最小的那档单张 1024 瓦片推理显存占用大概 2–3 GB速度最快适合先跑通流程和做大范围初筛中间档 4–5 GB精度明显好一截是我日常的默认选择最大那档要 7–8 GB 起步对细小地物边界更细腻但速度慢一倍以上只在成果质量要求高的项目里用。装依赖这块建议单独建虚拟环境主体是栅格处理、矢量处理、深度学习框架和模型本体几类库。有个坑要提前说深度学习框架的版本和模型库的版本对不上经常报一些莫名其妙的算子错误或者权重加载失败。我的做法是先按模型库的官方要求锁框架版本再装其他库别反过来。首次运行会自动下载权重文件几百兆到两三个 G网络不稳的话容易下到一半断掉留下一个损坏的缓存文件之后每次加载都报格式错误。遇到这种情况别怀疑代码直接去缓存目录把权重文件删掉重下。我在一个网络受限的环境里被这个问题卡了整整一个下午。2.2 位深拉伸与波段组合让影像「看起来正常」这一步最容易被跳过但也最容易导致结果惨不忍睹。核心操作是把 16 位或者高位深影像按分位数拉伸到 8 位。具体做法对每个参与组合的波段统计其像素值的 2% 和 98% 分位数记为 lo 和 hi然后按(value - lo) / (hi - lo) * 255线性映射超出范围的值截断到 0 或 255。为什么用 2%/98% 而不是最小最大值因为遥感影像里总有几个极端亮斑云、裸白建筑屋顶和极端暗值水体阴影、云影用最大最小值拉伸会把整个有效区间压扁地物对比度全丢。2%/98% 相当于砍掉两端各 2% 的异常值剩下的动态范围更贴近真实地物分布。波段组合我给几个常用配置直接照抄目标地物推荐波段组合说明建筑物、道路、硬化地表红、绿、蓝真彩色与自然图像分布最接近模型泛化最好耕地、林地、园地边界近红外、红、绿标准假彩色植被在近红外波段反射强边界对比明显水体提取绿、近红外、红水体在近红外强吸收与陆地反差大裸土、沙地短波红外、近红外、红对含水量和矿物成分敏感如果影像本身只有 RGB 三波段那就省事了但拉伸这步还是不能省。另外注意有些影像带 alpha 通道或者第 0 波段是填充值读取时要显式指定参与组合的波段索引别想当然按 1、2、3 取。还有一个细节如果原影像的 NoData 值比如 -9999没处理拉伸时它会拉低分位数导致整图偏亮。读进来先做一次掩膜把 NoData 置为无效值再统计分位数。2.3 瓦片尺寸与重叠度把参数算出来别凭感觉瓦片怎么切直接决定结果的完整性和接缝质量。参数就三个瓦片边长、重叠像素数、缩放策略。瓦片边长主流是 1024。原因是模型内部就是缩放到这个尺度你切 1024 送进去是 1:1不损失细节切 512 送进去会被放大到 1024反而引入了插值伪影切 2048 送进去会被缩小细节又丢了。所以 1024 是最优解没必要折腾。重叠度我一般设 128 像素也就是瓦片边长的 1/8。为什么需要重叠因为切在边界上的地物会被切成两半两块瓦片各自只看到一个残片模型可能都判成背景或者各判一半产生错位。有了重叠区同一个地物在至少一块瓦片里是完整的融合时取并集就能补回来。重叠太小比如 32补不回来重叠太大比如 512计算量翻倍还容易在融合区产生重复图斑。128 这个值是我试过比较平衡的。瓦片数量可以提前算出来公式是n ceil((W - tile) / stride) 1其中stride tile - overlap。举个例子一张 10000×10000 的影像瓦片 1024、重叠 128、步长 896横向瓦片数 ceil((10000 - 1024) / 896) 1 ceil(10.02) 1 12纵向同样是 12总共 144 块。这个数字很关键它决定了你的时间预算。按中档权重、单块推理加后处理 3–5 秒估算144 块大概 8–12 分钟可以接受。但如果你的影像边长是 40000 像素瓦片数直接飙到 1900 多块跑两个小时以上中间还可能因为显存碎片累积崩掉这时候就得考虑降采样、分块调度或者分批落盘。3. 从影像到矢量成果完整实操链路3.1 提示策略怎么选网格点、框、还是矢量引导分割任意模型的推理必须带提示提示方式不同产出形态完全不同。网格点自动模式是最省事的在瓦片内均匀撒 N×N 个点每个点让模型吐出若干个候选掩膜再用非极大值抑制去重。参数就是points_per_side设 32 意味着每边 32 个点、共 1024 个提示点理论候选掩膜上千个。设小了比如 8会漏掉大片地物设大了64计算量翻四倍但收益递减。我一般从 32 起步小目标密集的场景提到 48。这个模式的问题是「碎」。遥感地物是大块连通的而网格点会在一块完整农田里撒十几个点每个点独立出一个掩膜去重后虽然合并了但边界往往是不规则的锯齿状。解决办法是配合crop_n_layers参数做多尺度裁剪让模型在不同尺度上各跑一遍再把结果融合边界会平滑很多。框提示模式适合已知目标大概位置的场景比如你已经有一份粗精度的建筑物普查数据拿图斑外接矩形当提示让模型精修边界。这个用法在数据更新项目里非常好用把老图斑喂进去模型输出新边界人工只需要判断「变没变」工作量降一个量级。点提示模式是最灵活的正样本点标在目标内部负样本点标在紧邻的背景上。负样本这个技巧很多人忽略但它对抑制「过度生长」特别有效——模型有时候会把一栋楼和它旁边的硬化地面连成一片加一两个负样本点就能切开。矢量引导是把已有的面要素转成提示适合大批量处理。我做过一个园地提取的活先用粗略的缓冲区生成候选区域再逐块送进去分割最后按面积和形状过滤整体效果比纯网格点好而且可控。3.2 掩膜后处理三个参数决定成果能不能用模型出来的原始掩膜是不能直接交付的必须过一遍后处理。这里有三个关键参数我按重要性排。第一个是掩膜质量阈值。模型对每个候选掩膜会给一个预测质量分和一个稳定性分通常设 0.88 和 0.92 作为下限低于这个值的直接丢。设太松0.7会混进大量噪声掩膜设太紧0.95会把一些边界模糊但实际正确的目标也丢掉。这两个值的含义不一样质量分反映「这个掩膜像不像一个真实物体」稳定性分反映「把掩膜二值化阈值上下浮动一点结果变不变」。后者对遥感尤其重要因为地物边界常常是渐变的。第二个是最小区域面积。这个参数单位是像素作用是把零碎的小掩膜清掉。换算成地面面积要考虑分辨率0.5 米分辨率的影像100 像素大约 25 平方米。我一般按目标地物的最小合理尺寸反推比如提取建筑物最小独栋按 20 平米算那就是 80 像素取 100 比较稳妥。这个值设太大细碎但真实的地物比如小水池、田埂边的机井房会被误删。第三个是多边形简化容差。矢量化后的多边形顶点数可能成千上万一个图斑几百 KB几万个图斑的文件根本打不开。简化容差同样按地面距离换算成像素我一般取 1–2 个像素对应 0.5–1 米的地面精度。这个尺度上的简化肉眼看不出差别但顶点数能砍掉 70% 以上。除了这三个参数还有两步值得加形态学开运算先腐蚀后膨胀用来断开细小的粘连闭运算先膨胀后腐蚀用来填补内部小孔洞。掩膜里那种「甜甜圈」形状的孔洞特别常见多来自屋顶上的设备或者树冠遮挡用闭运算填一下图斑会干净很多。但注意核大小别超过 3×3否则会把真实的凹陷边界也抹平。3.3 矢量化与属性回写坐标一致性是生死线从掩膜到矢量这一步核心是仿射变换。栅格的 transform 对象记录了像素坐标系到地图坐标系的映射关系公式是x a * col b * row cy d * col e * row f。绝大多数情况下 b 和 d 是 0没有旋转所以其实就两个参数左上角原点坐标和像素分辨率。用栅格转矢量的标准接口把掩膜数组、transform、CRS 一起传进去输出的 GeoJSON 就自带正确坐标系了。这里有个隐蔽的坑如果你是自己切瓦片、自己拼掩膜拼回去的时候忘了把瓦片的偏移量加回去结果就是所有图斑集中在原点附近。我建议的做法是切瓦片时同步生成一个「瓦片索引表」记录每块的 row_off、col_off拼掩膜时按索引表贴回去比手工算偏移可靠得多。矢量化之后还要检查两件事。一是几何有效性自动分割出来的多边形经常有自相交、重复顶点、零面积环这些毛病用矢量库的修复接口过一遍否则后续做空间分析、入库都会报错。二是面积计算如果你的数据是地理坐标系经纬度直接算面积得到的单位是「平方度」这是一个毫无物理意义的数值。必须先把矢量投影到等积投影坐标系再算面积或者用测地线面积算法。我给个具体做法先判断 CRS 是不是地理坐标系如果是按数据覆盖范围选一个合适的投影带我国常用高斯-克吕格分带或者 Albers 等积投影投影后再算面积算完把面积字段写回属性表。这一步做得不对后面的统计报表全是错的而且错得很隐蔽——数字看着挺正常就是单位不对。最后补充一点实践经验大批量矢量化时不要一次性把所有掩膜转完再统一写文件内存扛不住。我的做法是每处理 50–100 块瓦片就落一次盘写成 GeoPackage 的追加模式中途崩了也不至于全部重来。4. 精度调优参数怎么试效果怎么验4.1 提示点密度与组合策略的对照实验我做过一组对照实验同一张 2000×2000 的城区影像固定其他参数只改提示策略结果差异很明显。提示策略参数配置图斑数量目视效果耗时网格点稀疏points_per_side16约 180大建筑完整小建筑成片粘连40 秒网格点中等points_per_side32约 420大部分建筑独立边界略锯齿95 秒网格点密集points_per_side48约 610小建筑也能出但碎斑增多210 秒多尺度裁剪points_per_side32, crop_n_layers1约 450边界明显平滑粘连减少160 秒框提示精修输入粗图斑外接框等于输入数量边界贴合度最高30 秒结论很清楚单纯堆点密度不划算收益递减还带来碎斑crop_n_layers1这个多尺度策略性价比最高用 1.7 倍的时间换来明显更好的边界质量。如果手上已经有粗精度的矢量框提示精修是效率之王。还有一个组合技巧值得单独说框加点混合。给一个目标的外接框再在框内中心给一个正样本点、在框角给一个负样本点模型会以框为约束、以点为引导输出精度通常比单用框还好。这个用法在提取规则形状地物矩形厂房、标准农田时特别有效。4.2 后处理参数的取值逻辑与一张速查表参数不是调出来的是算出来的。我习惯先确定「最小可接受目标的地面尺寸」再反推所有像素单位参数。假设分辨率 0.5 米我要提取的最小地物是 30 平米的独栋小楼。那么最小面积 30 / (0.5 × 0.5) 120 像素。多边形简化容差取半个像素到一像素即 0.25–0.5 米地面误差够用。形态学核 3×3 对应 1.5 米刚好能断开宽度小于 1.5 米的粘连。参数作用起始建议值调整方向预测质量分下限过滤低置信掩膜0.88碎斑多则调高漏提多则调低稳定性分下限过滤边界不稳的掩膜0.92同上但比质量分更敏感最小区域面积像素清除碎斑按最小地物反推误删小目标则调低简化容差像素压缩顶点数1.0文件过大则调高边界失真则调低瓦片重叠像素消解接缝128接缝处断裂则调高多尺度裁剪层数改善边界平滑度1大目标边界粗糙则加到 2提醒一句这些参数是联动的别一次改三个。我的习惯是固定其他项只动一个跑一小块样本区看效果满意了再上全图。全图跑一次十几分钟盲目调参纯属浪费。4.3 怎么验证不能只看图好看自动化流程最危险的地方在于「看起来对」。一张叠加图放大看图斑和建筑对得挺齐很容易就判合格了。但真正的错误往往藏在中尺度——整体偏移、系统性漏提某类地物、边界普遍外扩半米。我一般走三层验证。第一层是目视叠加把矢量以半透明描边叠加到影像上缩放到 1:2000 看局部重点看四类地方阴影区、高层建筑侧面、树遮挡区域、地物交界处。这四处是失误高发区。第二层是量化抽查。随机抽 50–100 个图斑人工勾一遍参考边界算交并比。建筑物这类边界清晰的目标零样本模型在好影像上通常能到 0.7–0.85边界模糊的植被、裸地会低不少。低于 0.6 的就要分析原因了是提示不足还是后处理过头。第三层是总量校验把提取结果按类别统计面积和已有的统计数据或者高精度参考数据对比。如果某类地物的总面积偏差超过 15%基本可以判定参数有问题不用逐个图斑去查。这个方法粗糙但高效能在几分钟内发现系统性错误。5. 踩过的坑与排查速查5.1 显存溢出与进程卡死最典型的报错是显存不足。但要注意很多时候不是单块瓦片太大而是循环里没有及时释放中间变量显存碎片一点点累积跑到一两百块的时候突然崩掉。解决办法是在每块瓦片处理完后显式清理缓存、把不再需要的张量置空并且用分批落盘的方式控制内存增长。另一个隐蔽问题是某些瓦片特别慢跑到某一块卡住不动。八成是那块瓦片刚好覆盖了大片水域或者纯黑区域模型在自动生成掩膜时产生了海量候选NMS 阶段耗时暴涨。可以在送模型前加一道判断统计瓦片的标准差低于阈值的基本是纯色直接跳过标记为无效区。5.2 接缝错位与重复图斑如果成果里出现「一条笔直的断线把整块农田切成两半」那就是接缝没消解好。先查重叠度够不够再查融合逻辑是取并集还是取交集。取交集会在边界处产生细缝取并集会产生重叠带。我推荐的做法是重叠区按掩膜中心到瓦片中心的距离加权靠近哪块瓦片就信哪块这样过渡自然。还有一种情况是融合后出现「双份图斑」同一个建筑被提取了两次位置略有偏移。这是去重没做好需要在融合后加一轮基于交并比的去重交并比超过 0.6 的两个图斑合并成一个。5.3 坐标系与面积单位的连环坑前面说过面积单位的问题这里补充两个衍生问题。一个是矢量与影像对不上在 GIS 里打开发现整体偏移。先查两边的 CRS 声明是否一致再查投影变换时有没有做基准面转换。有些数据源声明的是某个地理坐标系但实际坐标值已经被加密偏移过这种情况只能靠控制点做配准没有别的办法。另一个是导出格式的精度损失。GeoJSON 默认用经纬度存储如果你的成果是投影坐标导出时会被强制转换来回折腾几次精度就损了。大批量成果建议直接用 GeoPackage 或者 Shapefile 存投影坐标需要发布时再转。5.4 结果全空或者全是噪声全空的情况先检查影像拉伸做没做。我遇到过好几次同事直接拿 16 位原始数据送模型输出一片空白还以为是模型坏了。把拉伸加上结果立刻正常。全是噪声的情况通常是提示点撒到了无效区。比如影像四周有大片黑边旋转校正留下的网格点全落在黑边上模型当然只能输出垃圾。解决办法是先算一个有效数据范围的掩膜只在有效区内撒点。另外NoData 值如果没设对被当成真实的 0 值参与统计拉伸参数就会算偏也会导致结果异常。还有一种特别隐蔽的情况模型确实在正常工作但你的后处理把结果全过滤掉了。比如最小面积设成了 5000 像素而实际目标平均只有 300 像素那出来的东西就全被清空了。排查时把中间掩膜先存一张出来看看比盯着最终成果猜要快得多。我个人在实际操作中的体会是这套流程真正的门槛不在模型本身而在数据准备和结果校验这两头。中间那段推理是最省心的反而是位深拉伸的参数、瓦片的重叠度、面积单位这些「不性感」的细节决定了成果能不能交付。还有个小习惯分享一下每次跑新数据前先裁一块 2000×2000 的样本区用三组参数各跑一遍五分钟内就能摸清这片影像的脾气比直接上全图省太多时间。至于零样本模型和精调模型的关系我的看法是它把「从零到能用」的门槛拉低了但「从能用 to 好用」那段路还是得靠人工和领域知识去补。