自监督双路径网络：无需海量标注的医学图像分割实战

简介该资源为基于自监督学习与双路径网络的医学图像分割完整项目面向医学影像分析研究者、算法工程师及具备一定深度学习基础的学生旨在解决标注数据稀缺和精细结构分割困难等问题。项目利用自监督预训练方式初始化双路径网络两条路径分别捕捉全局结构与局部细节可在标注数据有限时提升CT、MRI等影像的分割精度与鲁棒性。资源包共19个文件体积约1.34MB包含4个Jupyter Notebook示例、2个Python脚本模型构建与工具函数、若干BMP/PNG样例图像以及README说明便于对照运行和二次开发。目前已有135人学习下载。通过源码可查看完整的网络设计、预处理流程、训练逻辑与分割可视化结果既能用于脑部CT、乳腺X光等实际场景的快速实验也可作为自监督医学分割方向的入门参考与改进基线对科研转化与工程落地均有实用价值。1. 医学图像分割的自监督双路径网络为什么没有海量标注也能训练出可用的分割模型医学图像分割有个反直觉的事实模型最后能不能收敛往往不取决于你有多少张标注图而取决于初始权重里已经带了多少组织先验。这个基于自监督双路径网络实现的 FuseNet 项目就把这条路线做成了完整源码先用无标注图像做上下文重建和几何变换预测让网络先学会人体组织的纹理、轮廓与空间关系再用少量掩码样本微调分割头。仓库以 Jupyter Notebook 为入口普通版和 Colab 版两个跑法都有input_images 与 GT 目录齐全按顺序跑完单元格就能拿到可复现的分割结果。适合标注紧张、想做自监督预训练加分割微调对比实验的算法工程师和高年级研究生。2. 拆解 FuseNet 项目结构与自监督原理双路径各学了哪些特征自监督双路径网络的叫法很多真正落地时无非做两件事设计一个不依赖标签的自监督任务再设计一个能同时看全局和局部的双分支结构。这份源码的价值在于把两件事串成了一条可执行的训练流程而且每一步都留了可视化中间结果的单元格比直接丢给你一堆 .py 文件要友好得多。先别急着跑代码把结构看清楚再动手后面排错会省一半时间。2.1 解压后的文件清单与四条运行主线压缩包解开之后目录结构和我平时接到的训练工程差不多核心文件就六个其余是辅助材料。按职责列一下文件/目录职责使用时机FuseNet.ipynb主流程 Notebook含自监督预训练、分割微调、验证可视化本地有 GPU 时用FuseNet_colab.ipynbColab 版多一步挂载 Google Drive 的单元格本地无 GPU、想白嫖云端算力时用utils.py数据加载、遮挡生成、几何变换生成、可视化辅助被 Notebook 调用不需要单独运行model_utils.pyFuseNet 模型定义global/local 双路径与融合层被 Notebook 调用requirements.txt依赖清单torch、torchvision、numpy 等建环境时用input_images/ 与 GT/原图和对应掩码目录训练和评估阶段读取image.png / image-1.png结构示意图或分割效果对比图对照理解网络结构用注意这里有一个关键设计自监督预训练阶段完全不碰 GT 目录只有最后微调分割头时才加载 GT。这意味着你手里即使只有几十张带标注的图像也可以先拿几百张无标注的原图把网络底层的特征训起来再用那几十张标注去微调。这正是自监督学习在医学影像场景里最实用的价值点。整个 Notebook 的运行主线是固定的四条上下文重建预训练、几何变换分类预训练、分割头微调、批量推理。前两个阶段都用无标注数据第三个阶段用 input_images 和 GT 的配对数据第四个阶段把训练好的权重落到测试图上。你运行的时候不需要改动阶段顺序前两个阶段产出的 checkpoint 会被第三个阶段自动加载如果手动改路径反而容易断链。2.2 上下文重建与几何变换预测自监督预训练的两个任务自监督任务的选择直接决定预训练权重好不好用。FuseNet 用了两个任务组合上下文重建和几何变换预测。前者强迫网络理解组织之间的空间关系后者强迫网络理解结构的朝向和纹理两个任务共享同一个编码器等于对底层的特征表达做了双重约束。第一个任务的做法是把图像按 3×3 网格切分随机挖掉一块用固定灰度值填充然后让网络重建出完整的原图。这部分逻辑在 utils.py 里对应一个遮挡生成函数核心流程如下def corrupt(images, grid3, fill_value128): 对 batch 内每张图随机遮挡一个网格块 batch [] for img in images: im img.copy() h, w im.shape[:2] # 随机选一个网格位置例如 (0,0) 到 (2,2) gx np.random.randint(grid) gy np.random.randint(grid) x1, y1 gx * w // grid, gy * h // grid x2, y2 (gx 1) * w // grid, (gy 1) * h // grid im[y1:y2, x1:x2] fill_value batch.append(im) return torch.tensor(batch, dtypetorch.float32)这段代码里 grid 控制遮挡块的颗粒度填 3 表示 3×3 九宫格是论文里常用的默认值fill_value 是遮挡填充灰度项目里常用 128但我实际复现时更推荐改成与图像同分布的高斯噪声后面避坑章节会细说原因。图像被挖掉一块后网络想重建出来就必须依赖周围的器官边界、灰度和纹理关系做推理这就是自监督信号来源。第二个任务是对输入图像随机施加七种几何变换中的一种然后让网络判断到底做了哪种变换。变换集合一般是 0 度原图、90/180/270 度旋转、水平翻转、垂直翻转、转置这七类代码里通常会维护一个变换标签列表# 变换与标签的对应关系 TRANSFORMS [ (identity, 0), # 原图 (rot90, 1), # 逆时针旋转 90 度 (rot180, 2), # 旋转 180 度 (rot270, 3), # 逆时针旋转 270 度 (flip_h, 4), # 水平翻转 (flip_v, 5), # 垂直翻转 (transpose, 6), # 转置 ]给模型加一个轻量的分类头输入变换后的图像输出 7 类概率。这个任务表面上看和分割无关但它迫使编码器去捕捉血管走向、器官轮廓的方向性特征这对后续分割边界的定位非常有帮助。两个任务联合训练时重建损失和分类损失会以加权方式相加权重一般取 1:0.5让重建任务主导、变换任务做正则化。2.3 全局路径与局部路径通道拼接、尺度对齐与融合层双路径是 FuseNet 结构上的核心创新。全局路径接收的是整张图像的下采样版本负责回答「这个器官在哪里、周围是什么组织」局部路径接收的是原分辨率下的裁剪块负责回答「器官边缘具体落在哪几个像素上」。两条路径使用相同结构的编码器但在不同尺度上工作。model_utils.py 里对应一个融合层模块它做的事情是把两条路径的特征图在通道维度上拼起来再经过 1×1 卷积降维让网络自己学习如何分配全局信息和局部信息的权重。常见的实现长这样class FuseLayer(nn.Module): def __init__(self, in_ch, out_ch): super().__init__() # 全局特征分辨率通常比局部特征小一倍先上采样对齐 self.up nn.Upsample(scale_factor2, modebilinear, align_cornersFalse) self.conv nn.Conv2d(in_ch * 2, out_ch, kernel_size1) def forward(self, global_feat, local_feat): g self.up(global_feat) # 尺度对齐 fused torch.cat([g, local_feat], dim1) # 通道拼接 return self.conv(fused)这段代码里 in_ch 是单条路径的特征通道数常见的配置是 128out_ch 是融合后的通道数常设为 64。scale_factor2 是默认假设如果你的输入尺寸不是严格的 2 倍关系需要先验算特征图的宽高再调整。1×1 卷积的作用不是提取新特征而是把两份特征按学习到的权重混合这个设计比简单的相加求和更灵活。这里有个细节值得注意两条路径不是从头到尾都独立。在编码器前几层各自提取低层特征在中间层通过 FuseLayer 完成第一次融合在解码器末端还会再做一次融合用于分割头。这样设计的好处是低层特征保持各自的分工高层特征共享综合信息避免两条路径学到完全重复的表达。理解了这个结构你就知道为什么双路径模型比单路径模型更吃显存——它本质上是在同时跑两个编码器后面避坑章节的显存问题也源于此。3. 环境搭建与数据目录准备从 requirements.txt 到 GT 掩码校验自监督项目最怕的不是模型跑不起来而是环境不一致导致的结果不可复现。FuseNet 项目的依赖不算复杂基本就是 PyTorch 生态的标准组合但如果 Python 版本太新、CUDA 版本和 torch 不匹配会在 import 阶段就卡住。这一章把环境、数据目录和两个 Notebook 的差异一次说清楚。3.1 依赖安装与运行环境选择拿到压缩包后第一步是建独立环境不要直接往 base 环境里装否则 torchvision 的版本冲突会牵连其他项目。推荐用 conda 管理conda create -n fusenet python3.8 -y conda activate fusenet cd 医学图像分割_基于自监督双路径网络实现的医学图像分割算法_附项目源码_优质项目实战 pip install -r requirements.txtPython 版本尽量选 3.8 或 3.9不要直接用 3.11/3.12。原因很现实requirements.txt 里锁定的 torch 版本发布较早新版 Python 的 pip 解析器会把 torch 解析到不兼容的编译版本装完一跑就报 illegal instruction。装完依赖后先验证 GPU 是否可用import torch print(torch.__version__) print(torch.cuda.is_available())torch.cuda.is_available() 返回 False 时不要继续跑训练FuseNet 双路径结构在 CPU 上前向一次的时间足够你喝完一杯水。我一般会检查一下 torch 版本与 CUDA 驱动的对应关系CUDA 11.x 配 torch 1.11 到 2.0CUDA 12.x 配 torch 2.1 以上。项目 requirements 里没有指定 CUDA 版本时pip 默认装的是 CPU 版这一步最容易被忽略。如果本地实在没有 NVIDIA 显卡就用 FuseNet_colab.ipynb。Colab 的免费 GPU 跑这个项目没有压力但需要把整个压缩包上传到 Google Drive然后在 Notebook 里先执行挂载单元格把数据解压到 /content/data 下。注意 Colab 每次会话重启后 /content 目录都会清空checkpoint 一定要存到 Drive 路径而不是本地路径。3.2 数据目录组织与预处理参数项目里 input_images 和 GT 是两个平级目录文件名一一对应同一个编号的图像和掩码共享同一个文件名前缀。这种组织方式在医学分割项目里最常见也最容易维护。如果你要替换成自己的数据按下面结构整理mkdir -p input_images GT # 把训练原图放 input_images同名掩码放 GT # 例如: # input_images/patient_001.png # GT/patient_001.png整理完成后先打印一遍两边的文件名列表确认数量一致、后缀一致再用脚本做一次尺寸统计。文件名大小写不一致、GT 多了一个隐藏副本这类问题都是在训练到一半才暴露的到时候排查成本比现在高得多。预处理参数上项目推荐这几个默认值参数推荐值说明输入尺寸512×512保持原分辨率避免小病灶被 resize 抹掉GT 插值方式nearest掩码必须用最近邻插值双线性会引入中间灰度图像归一化min-max 到 [0,1]比 z-score 更容易调试视觉效果直观掩码阈值127读取后做二值化大于 127 置 1否则置 0通道模式灰度单通道MRI/CT 推荐单通道RGB 彩图则保留 3 通道灰度单通道这一点值得多说一句。很多医学影像本身就是单通道的 DICOM 或 NIFTI 数据项目里读入后转成灰度图计算网络第一层卷积的输入通道数要与之对应。如果直接拿彩色 PNG 训练而 model_utils.py 里第一层定义的是单通道输入会直接报维度错误反过来 RGB 模型接了灰度图也能跑但特征表达能力会损失一部分。跑之前先确认模型第一层的 in_channels 和实际数据的通道数一致。3.3 本地版与 Colab 版两个 Notebook 的差异FuseNet.ipynb 和 FuseNet_colab.ipynb 在模型结构和训练逻辑上完全一致差异只在数据路径和挂载方式。本地版读取 input_images 用的是相对路径工作目录必须是项目根目录Colab 版把所有路径前缀改成了 /content/drive/MyDrive/并在第一个单元格里加入了 Google Drive 的挂载代码。如果你在本地误用了 Colab 版或者反过来都会在数据加载的第一步报文件不存在。Colab 版必跑的第一个挂载单元格长这样from google.colab import drive drive.mount(/content/drive) # 解压数据到本地磁盘训练速度比直接读 Drive 快 !unzip -q /content/drive/MyDrive/fusenet_data.zip -d /content/data先挂载再解压到 /content/data而不是直接在 Drive 路径上训练。原因很直接Drive 走网络 I/O每次读 batch 都从远端拉数据训练速度会被拖慢一半以上。训练过程中的 checkpoint 则要存回 Drive用一个变量统一定义路径前缀避免 Notebook 里散落一堆硬编码路径。后面避坑章节会讲到因为路径写死导致 checkpoints 代码丢失的问题这里先记住一条原则所有相对路径写在同一个配置变量的下游不要让它散落在各个单元格里。4. 训练与推理实操自监督重建损失、Dice 指标与预测后处理训练阶段的配置直接决定这个项目复现出来是「效果可观」还是「勉强能跑」。FuseNet 的训练分成两个独立阶段自监督预训练和微调。两个阶段的学习率、损失函数、数据加载方式完全不同混在一起调参是新手最容易翻车的地方。这一章给出可抄作业的参数配置和核心代码逻辑。4.1 自监督阶段遮挡重建与变换分类的训练参数预训练阶段的目标不是让分割指标好看而是让编码器学到通用的组织特征所以评价指标不是 Dice而是损失值是否下降到合理区间。常用的参数配置如下参数推荐值说明优化器Adam比 SGD 更容易稳定收敛β2 保持默认 0.999初始学习率1e-3预训练阶段可以偏大微调阶段必须调低训练轮数200不必等到完全收敛150 轮后看重建损失是否下降Batch Size168GB 显存建议降到 8见避坑章节重建损失权重1.0主任务占主导变换分类权重0.5辅助任务防止主任务过拟合本地 patch 尺寸160×160局部路径的输入大小显存不足时可降到 128核心训练循环在 Notebook 里对应一个单元格逻辑可以简化为for epoch in range(200): for images, _ in loader: # 任务一: 上下文重建 masked, target corrupt(images) # utils.py 里的遮挡函数 restored model.reconstruct(masked) # 重建分支输出 loss_re F.mse_loss(restored, target) # 像素级重建损失 # 任务二: 几何变换分类 tf_img, tf_label random_transform(images) # 随机施加 0-6 号变换 pred_tf model.classify(tf_img) # 7 类分类输出 loss_tf F.cross_entropy(pred_tf, tf_label) loss loss_re 0.5 * loss_tf # 双任务联合 opt.zero_grad() loss.backward() opt.step()双任务联合训练的意义在于共享编码器。重建任务迫使编码器保留足够的纹理和空间信息变换分类任务迫使编码器对方向敏感两个目标互相约束得到的特征比单独跑任何一个任务都更鲁棒。loss 权重的取值上我建议保持重建主导变换分类的权重超过 1.0 后会出现分类任务压过重建任务的现象底层的特征会偏向方向判别而丢失灰度细节最终影响微调阶段的分割精度。4.2 分割微调阶段损失函数组合与评估指标预训练完成后把模型头部从重建头和分类头换成分割头开始用 input_images 与 GT 的配对数据做微调。这一步的关键是学习率必须降下来因为编码器参数已经被自监督任务预热过了过大的学习率会把学好的特征全部冲掉。我常用的配置是学习率 5e-4 到 1e-4训练 100 轮左右batch size 8。数据量少时建议先冻结编码器训练 50 轮再解冻全部参数微调这样分割头先学会用现有特征后面微调编码器时才不会一起乱掉。损失函数建议用 Dice Loss 和 BCE 的组合。FuseNet 原始实现里大量使用二元分割即每个像素属于目标还是背景所以 Dice 系数是最直观的评估指标。计算 Dice 的脚本如下def dice_score(pred, target, eps1e-6): # pred 是 sigmoid 后的概率图target 是 0/1 掩码 pred (pred 0.5).float() inter (pred * target).sum() return (2 * inter eps) / (pred.sum() target.sum() eps)eps 的作用是防止空掩码除零。注意如果 GT 目录里的掩码是 0 和 255 的 PNG必须先做(mask 127).astype(np.float32)转换直接用原始灰度值参与计算Dice 会被无限放大造成指标虚高的假象。Batch 内的最终指标取所有样本的均值不要直接对 batch 内所有像素求和再算整个 batch 的 Dice因为不同图像的器官大小差异很大这样做小器官的贡献会被大器官稀释。4.3 对 input_images 批量推理与掩码后处理微调完成后把模型切到 eval 模式对 input_images 里的测试图做推理。推理脚本很短但有几个容易忽略的细节。先看代码model.eval() with torch.no_grad(): out model(img_test) # 输出 1x1x512x512 的概率图 mask torch.sigmoid(out) 0.5 # 默认阈值 0.5 转二值sigmoid 前的原始输出是 logits必须先经过 sigmoid 转换到 0-1 概率区间再做阈值化。直接对 logits 做 0.5是错的因为 logits 的范围是整个实数域这个阈值判断毫无意义。推理时强制开torch.no_grad()否则显存会随前向传播逐步累积计算图跑十几张图就会 OOM。后处理要根据任务决定是否做。如果目标是粗筛候选区域直接输出二值掩码即可如果想拿这个结果做定量评估建议加一步连通域过滤把面积小于某个阈值的独立小区域删掉。用 scipy.ndimage 可以几行实现from scipy import ndimage labeled, count ndimage.label(mask) # 只保留面积大于 50 像素的连通域去除散点噪声 mask ndimage.labeled_comprehension( mask, labeled, list(range(1, count 1)), lambda x: len(x) if len(x) 50 else 0, mask, int) 0医学图像里的散点噪声通常来自脏器边缘的灰度波动面积阈值设多少取决于你的最小目标尺寸。如果目标本身很小比如几毫米的早期病灶阈值设得过高会把真实目标也删掉。我一般先打印连通域的面积分布直方图看有没有明显断档再选断档位置作为阈值而不是拍脑袋定 50 这个数。5. 避坑指南显存溢出、标签错位、全黑分割与指标失真自监督双路径项目相比普通单路分割模型多了一倍的前向计算量也多了一倍出问题的地方。这一章记录我复现 FuseNet 过程中实际踩过的坑每一条都按「现象→原因→解决」整理基本覆盖了初学者容易卡住的大部分问题。5.1 显存溢出双路径等于两个编码器同时前向现象训练刚开始没几个 step直接报 CUDA out of memory把 batch size 调到 4 还是崩换成单路径模型却能正常训练。原因FuseNet 在一个前向过程里同时跑了全局路径和局部路径两套编码器显存占用约等于两个独立模型之和。加上 Notebook 里还保留了中间变量用于可视化显存消耗比同样参数量单路径模型高 60% 以上。我碰到过 8GB 显存跑 512 分辨率加 batch 16 直接崩掉的情况。解决按优先级依次调。第一batch size 降到 8这是影响显存最直接的参数第二全局路径的输入尺寸从 512 降到 256全局支路本来就是看整体位置不需要那么高的分辨率第三局部路径的 patch 从 160 降到 128。三步都做完基本能压到 8GB 以内。如果还不行把 model_utils.py 里的骨干网络从 resnet34 换成 resnet18这对小数据集的提升也不止是显存过拟合风险还会降低。5.2 分割结果几乎全黑先检查 GT 的读入通道与文件名后缀现象训练 loss 正常下降验证曲线看着也挺好但推理出来的掩码几乎全黑偶尔有几个散落的白点。原因最常见的两个原因一个是 GT 读入时没有做二值化掩码变成 0 和 255 的灰度图模型把 255 当成最大值输出Dice 运算全部扭曲另一个是文件名对不上input_images 里的图在 GT 目录里没有对应文件数据加载器的配对逻辑自动跳过等于拿着空掩码训了好几个 epoch。解决训练前写一段校验脚本遍历 input_images 的所有文件名检查 GT 目录是否存在同名文件并打印三类统计——图像数量、GT 数量、配对数量。同时把 GT 的像素值分布打出来如果只有 0 和 255 两个值就强制加一行(mask 127).astype(np.float32)。跑第一个 epoch 前用 matplotlib 把原图、GT、模型第一次前向输出并排画三张图肉眼看一眼这一步比看任何指标都管用。5.3 重建任务退化成输出均值遮挡填充与损失选择现象上下文重建的 loss 降到 0.2 左右就不再下降把重建图显示出来发现全是模糊的色块器官边缘完全消失网络像是学会了输出一个平均模糊图像。原因这是 L2 损失的经典陷阱。L2 对低频误差敏感对高频细节不敏感输出整张图的均值就能把 loss 压到比较低。尤其在遮挡填充值是固定 128 的时候网络很容易发现「只要把遮挡区域填成周围颜色的平均值loss 就差不多了」根本不需要真正理解组织结构。解决遮挡区域不要用固定常量改成高斯噪声填充噪声分布与图像灰度分布一致网络就没法耍小聪明了。损失函数上把纯 L2 换成 L1 和 L2 的混合0.5 * L1 0.5 * L2。L1 对边缘位置更敏感能有效抑制模糊输出。改完这两个地方之后重建结果的边缘锐利度会有肉眼可见的提升后面微调的分割精度也随之上涨。这个坑不看重建图根本发现不了只看 loss 曲线你会以为一切正常。5.4 Colab 与本地实验结果不一致检查点路径与随机种子现象同一个 Notebook本地跑能收敛放到 Colab 上结果波动很大有时 loss 直接变 NaN有时训练到一半 checkpoint 找不到。原因第一个原因是路径checkpoint 写在 /content 临时目录Colab 会话一断就全没了重新连接后加载权重时报文件不存在第二个原因是环境差异两个环境的 PyTorch 版本、cuDNN 的算法选择不一致导致结果不完全相同极端情况下 cuDNN 的某些实现会有 NaN 风险。解决检查点路径统一收敛到一个环境变量比如DATA_ROOT /content/drive/MyDrive/fusenet所有保存和加载都从这个变量派生保存完 checkpoint 后用!ls -lh确认文件真实存在再继续下一个单元格。复现性方面在训练主循环前固定随机种子torch.manual_seed(42) np.random.seed(42) torch.backends.cudnn.deterministic True torch.backends.cudnn.benchmark Falsedeterministic 设为 True 后 cuDNN 会选择确定性的算法训练速度会有少量下降但换来的是两个环境跑出几乎一致的结果这对实验对比和论文复现都很重要。如果设了 deterministic 之后显存反而涨了不要慌这是某些卷积算法用更大内存换取确定性的正常现象优先保证结果一致性能后面再优化。6. 复现后的进阶验证三权重对比实验与双路径特征可视化跑通只是第一步真正要把这份自监督双路径源码的价值体现出来需要做两个验证实验。第一个是三权重对比回答「自监督预训练到底有没有用」第二个是双路径特征可视化回答「全局和局部两条路径到底学到了什么差别」。这两个实验也是我复现 FuseNet 后最常被导师和同事追问的点。三权重对比的操作方法如下固定同一个网络结构和同一份标注数据分别用随机初始化、ImageNet 预训练权重、本项目自监督权重作为三个起点在相同条件下微调 100 轮最后在测试集上分别计算 Dice。测试集建议选三张特点不同的图一张大器官、一张小病灶、一张边界模糊区域。按经验大器官上三个起点的差距不大因为这类目标分割简单靠底层纹理就能解决小病灶和边界模糊区域才是分水岭自监督权重在这两类上的 Dice 通常比随机初始化高 8 到 15 个点比 ImageNet 预训练也有两到三个点的优势。原因符合预期ImageNet 学的是自然图像的物体边界而自监督预训练学的是医学图像的组织灰度和纹理模式领域更贴近。这个实验做完自监督的价值就有数据支撑了。第二个实验是双路径特征可视化。FuseNet 的 model_utils.py 里两条路径都有独立的 layer4用 register_forward_hook 把特征图导出再插值到原图尺寸与输入图像叠加显示。feats {} def hook_fn(name): def fn(m, i, o): feats[name] o.detach().cpu() return fn model.global_path.layer4.register_forward_hook(hook_fn(global)) model.local_path.layer4.register_forward_hook(hook_fn(local)) # 推理一张测试图然后分别取出两路特征图 model(valid_img) g_feat feats[global][0].mean(dim0).numpy() # (H, W) l_feat feats[local][0].mean(dim0).numpy()特征图取通道均值后归一化到 0-255用 matplotlib 的 subplot 并排输出。正常情况下你会看到全局路径的响应覆盖器官整体范围像一个粗略的热区局部路径的响应则集中在器官边缘和灰度突变处。这种互补关系正好解释了为什么 FuseLayer 的通道拼接比单路径更有效——两路特征各管一段拼接后分割头既知道目标在哪又知道边界在哪。如果两路特征图长得几乎一样说明双路径设计没有真正起作用要回去检查局部路径的 patch 裁剪是不是出了问题比如裁剪中心没有对齐输入图像的像素坐标。从那以后我养成了个习惯任何分割模型第一次跑之前先 hook 一下模型的关键层把中间特征图和 GT 叠在一张图上看看。这个习惯帮我提前拦下过三档标签错位和通道错乱的无效训练——有一次全局路径和局部路径接反了就是靠特征图一眼看出来的。项目源码里给的工具函数已经够用把这两个验证实验做扎实这份自监督双路径资源才算真正变成你自己的东西。希望帮到你。本文还有配套的精品资源点击获取