ExpertNet + Resnet50：医疗图像无监督自适应多任务学习实战

简介这是一份面向医疗图像分析场景的Python深度学习项目源码基于ExpertNet与Resnet50构建多任务学习网络并在无监督自适应策略下实现模型训练与评估适合具备一定深度学习基础、希望研究多任务学习或医疗影像识别的研究者与开发者。压缩包共16个文件核心为10个Python脚本涵盖数据预处理、模型定义、训练与评估等完整流程另有配置文件、依赖说明及许可证文档整体仅27KB结构紧凑。已有254人学习浏览。通过源码可学习ExpertNet专家模块与Resnet50残差网络如何结合以共享特征和处理多类识别任务了解无监督自适应训练的具体实现思路并可直接复用数据增强、模型生成与验证脚本用于肿瘤检测、病变分类等医疗图像项目的快速验证与二次开发。项目内训练与生成流程分离模块化程度高便于二次扩展。1. 没有标注的医疗图像怎么让模型先学起来ExpertNet Resnet50 这张多任务牌怎么打医院里最不缺的是片子最缺的是写了结论的报告。一个影像科团队可能攒了 3000 张胸部 CT里面结节、磨玻璃影、胸腔积液全有但没有任何人给这些像素贴过标签医生也不可能腾出时间替你画 3000 张掩膜。这时候如果还在等标注再训练项目基本就卡死了。我见过不少团队转向无监督自适应模型思路是让一个多任务学习网络在没有标签的医疗图像上先自己学出稳定的特征再把学到的表示拿去适配下游诊断任务。标题里的ExpertNet Resnet50就是这条路线里非常典型的一套组合Resnet50 做通用特征底座ExpertNet 去专门处理那些难样本区域多个任务头在无监督阶段互相制衡。这篇文章我按自己复现这类项目的习惯把网络怎么搭、无监督任务怎么选、损失怎么配、哪些环节最容易翻车一步步讲清楚。适合手里有医疗图像但缺标注或者正准备把无监督自适应模型立项的同学照着搭。2. 为什么要用 ExpertNet Resnet50 这套结构先想清楚三个角色多任务学习网络听起来是把几个损失拼在一起实际上骨架、辅助网络、任务头分别承担不同职责。这里先不讲代码先把选型逻辑讲透后面调参才不会全靠玄学。2.1 Resnet50 当主特征提取器为什么在这个场景比 ViT 更稳医疗图像无监督训练有一个特点可用的样本量看起来很大但真正变化丰富的区域可能集中在画面里的一个小角落。拿一张 1024×1024 的病理切片来说背景占掉 70%剩下的腺体、间质、炎症区域纹理复杂度差异非常大。如果换成 ViT 这类全局注意力模型它对数据量和训练技巧的要求比 Resnet50 高不少尤其小 batch 下容易因为没收敛好就输出一张全是低频噪声的特征图。Resnet50 的优势是有成熟的 ImageNet 预训练权重加载起来几乎零成本而且它的残差结构天然适合多尺度特征的复用。第四层的输出通道是 2048这个维度拿去做对比学习和重建头的输入都非常顺手不至于像 Resnet18 那样表达力不够也不需要像 Resnet101 那样消耗过多显存。在无监督预训练阶段我们通常不知道最终下游任务是分类、分割还是检测用一个表达能力适中、层级结构清晰的卷积网络后续接任何任务头都方便。还有一点经常被忽略Resnet50 的 BatchNorm 统计量在样本量中等时表现稳定。医疗图像数据集往往来自单中心分布相对集中不像自然图像那样五花八门所以 Resnet50 的归一化机制在这里反而成了一个优点。你要是换成 Swin Transformer光 LayerNorm 的初始化和学习率就够调试两三周。我一般会把 Resnet50 做以下处理去掉最后的全连接层保留到layer4输出的特征图同时把第一层卷积改成接收灰度图或者保持三通道输入不变。如果输入是 CT 的轴向切片直接复制成三通道再走原来的 ImageNet 预训练卷积省去改权重的麻烦。2.2 ExpertNet 的“专家”定位主干学通识专家学难例很多做多任务的人会犯一个错误把所有的任务头都接在同一份全局特征后面结果就是一个头学好了其它头全跟着退化。这里引入 ExpertNet 是为了解决一个实际问题医疗图像里的异常区域往往很小全局池化之后这些信息被压缩得几乎看不见。ExpertNet 我通常设计成一个轻量卷积子网输入不是整张图而是 Resnet50 中间层输出的特征图。它做两件事一是通过一个小注意力模块寻找特征图中响应异常的区域二是把注意力加权后的局部特征映射成一个向量和主干特征拼接后送给后面的任务头。这样主网络负责学全局结构专家网络负责挑毛病。具体实现里我会把layer3的输出同时喂给 ExpertNet。layer3的特征图尺寸是输入的 1/16保留了不少空间细节。ExpertNet 内部先用 1×1 卷积把通道数降下来再用 3×3 卷积做局部交互注意力图作用在空间维度上把病变区域的特征放大。最后这个注意力图还可以拿出来做可视化医生看了也能大致理解模型在关注哪里。这里有个经验之谈ExpertNet 的输入不要直接对layer4操作深层特征虽然语义强但分辨率太低对小结节这类小目标基本无能为力。选 1/16 或者 1/8 的特征图作为专家网络的输入效果会好很多。另外ExpertNet 的参数不要初始化成随机值最好沿用主干同层的初始化分布否则训练初期专家输出很容易把主特征带偏。2.3 多任务学习在无监督阶段的监督信号从哪里来无监督不意味着没有监督信号而是要自己构造监督信号。多任务学习网络在这里的妙处在于不同任务提供了不同角度的约束让网络不容易找到一个取巧的捷径。我在医疗图像上常用的三个任务是图像重建、空间变换预测和对比学习。重建任务要求网络输出一张和输入接近的图这让 Resnet50 必须把辐射密度、纹理、结构信息保留在特征里。空间变换预测比如旋转或者灰度扰动逼着网络理解图像内容的本质属性。对比学习则是把同一张图的不同增强视图拉近把不同图推开这样学到的特征对亮度、对比度、轻微的平移具有不变性。这三个任务不是简单的相加。重建任务更关注像素级细节对比学习更关注语义级抽象旋转预测介于两者之间。如果只用重建网络会退化成一个自动编码器学到的特征对下游分类没多大帮助如果只做对比学习又容易忽略局部病灶的细节。三个任务共享 Resnet50 的底层特征却从不同方向施加梯度这个组合才是多任务学习能支撑自适应模型的关键。所谓无监督自适应我的理解是当我们从一家医院的设备换到另一家医院的设备时图像灰度分布、噪声水平、扫描参数都会有偏移。多任务预训练让模型先建立一个鲁棒的表示空间之后再用目标域的少量无标签数据做自适应的持续训练特征就不会因为域变化而全面崩溃。3. 用 Python 把整个方案跑起来数据管线、模型结构与训练循环这章直接给可复现代码。我会把关键参数、张量形状和设计理由写在注释和代码后的说明里你可以在自己的数据集上直接改路径跑通。3.1 医疗图像进入网络前的处理流程DICOM 切片、归一化与随机裁剪医疗图像的原始格式五花八门DR 通常是 DICOM病理是 SVSX 光可能是 PNG。第一步是统一转成模型能吃的东西。DICOM 我一般用pydicom读进来取pixel_array然后按照窗宽窗位做归一化如果只是做无监督预训练不需要严格遵循诊断标准但要保证灰度范围稳定避免不同批次的亮度差异影响 BatchNorm。这里给一个最小可用的数据集类假设你已经把所有图片转成了 PNG 灰度图放在一个文件夹下。注意真实项目里不要一次性把所有图像读进内存几千张 1024×1024 的图就能吃掉几个 GB 内存最好在__getitem__里读盘。import os import glob import random import cv2 import numpy as np import torch from torch.utils.data import Dataset from torchvision import transforms class MedicalImageDataset(Dataset): def __init__(self, image_dir, img_size224, sample_ratio1.0): self.files sorted(glob.glob(os.path.join(image_dir, *.png))) if sample_ratio 1.0: random.shuffle(self.files) self.files self.files[:int(len(self.files) * sample_ratio)] self.img_size img_size def __len__(self): return len(self.files) def __getitem__(self, idx): img cv2.imread(self.files[idx], cv2.IMREAD_GRAYSCALE) # 把灰度图复制成三通道兼容 ImageNet 预训练权重 img cv2.cvtColor(img, cv2.COLOR_GRAY2RGB) img cv2.resize(img, (self.img_size, self.img_size)) # 像素值从 0-255 转到 -1 到 1方便重建头输出 img img.astype(np.float32) / 127.5 - 1.0 # 转成 CHW 张量 img_tensor torch.from_numpy(img.transpose(2, 0, 1)) return img_tensor这段代码有几个设计点要说明。复制成三通道不是为了增加信息量而是为了让 Resnet50 的 ImageNet 预训练权重可以直接加载不用改conv1的权重形状省掉一个容易踩坑的步骤。像素归一化到-1 到 1是为了后面重建任务输出时不用套 sigmoidMSE 损失也能直接算。很多人会把 ToTensor 之后的归一化设置成 ImageNet 的均值和标准差但那是针对自然图像的。医疗图像的 CT 值范围差异极大直接套 ImageNet 的 mean/std 会压缩掉软组织部分的对比度。我用的是最朴素的img / 127.5 - 1把分布居中实测在无监督预训练里更稳定。3.2 搭建 MultiTaskModelResnet50 加 ExpertNet 加三个任务头下面这个模型定义是整个项目的核心。为了让你看清每个模块的职责我把 Resnet50 拆开引用而不是整段封装。这样中间提取哪一层的特征就有完全的掌控权。import torch import torch.nn as nn import torch.nn.functional as F from torchvision.models import resnet50, ResNet50_Weights class ExpertNet(nn.Module): 专家网络从主干中间层特征中捡出难例区域 def __init__(self, in_ch1024, proj_dim512): super().__init__() self.refine nn.Sequential( nn.Conv2d(in_ch, 256, 1, biasFalse), nn.BatchNorm2d(256), nn.ReLU(inplaceTrue), nn.Conv2d(256, 64, 3, padding1, biasFalse), nn.BatchNorm2d(64), nn.ReLU(inplaceTrue), ) self.attn nn.Sequential( nn.Conv2d(64, 1, 1), nn.Sigmoid(), ) self.embed nn.Sequential( nn.AdaptiveAvgPool2d((1, 1)), nn.Flatten(), nn.Linear(64, proj_dim), ) def forward(self, x): h self.refine(x) # h: (B, 64, H/16, W/16) attn self.attn(h) # 空间注意力值在 0-1 之间 weighted h * attn feat self.embed(weighted) # (B, 512) return feat, attnExpertNet的输入通道数是 1024对应 Resnet50 的layer3输出。注意力机制让网络自己决定哪些位置的信息更重要。注意我没有在attn后面强制做稀疏约束因为训练初期注意力很容易坍缩到全 1 或者全 0强制稀疏只会让学习更慢。接下来是主模型。我把 Resnet50 的layer1到layer4全部保留layer3输出分给 ExpertNetlayer4输出做全局特征。class MultiTaskModel(nn.Module): def __init__(self, n_rot4, temp0.07): super().__init__() base resnet50(weightsResNet50_Weights.IMAGENET1K_V1) # 保留 Resnet50 的卷积块 self.conv1 base.conv1 self.bn1 base.bn1 self.relu base.relu self.maxpool base.maxpool self.layer1 base.layer1 self.layer2 base.layer2 self.layer3 base.layer3 self.layer4 base.layer4 self.expert ExpertNet(in_ch1024) # 重建头把 layer4 特征恢复到 224x224 self.recon_head nn.Sequential( nn.ConvTranspose2d(2048, 512, 4, stride2, padding1), # 7x7 - 14x14 nn.BatchNorm2d(512), nn.ReLU(inplaceTrue), nn.ConvTranspose2d(512, 256, 4, stride2, padding1), # 14x14 - 28x28 nn.BatchNorm2d(256), nn.ReLU(inplaceTrue), nn.ConvTranspose2d(256, 128, 4, stride2, padding1), # 28x28 - 56x56 nn.BatchNorm2d(128), nn.ReLU(inplaceTrue), nn.ConvTranspose2d(128, 64, 4, stride2, padding1), # 56x56 - 112x112 nn.BatchNorm2d(64), nn.ReLU(inplaceTrue), nn.ConvTranspose2d(64, 3, 4, stride2, padding1), # 112x112 - 224x224 nn.Tanh(), ) # 旋转预测头输入是全局特征加专家特征 self.rot_head nn.Sequential( nn.Linear(2048 512, 512), nn.ReLU(inplaceTrue), nn.Linear(512, n_rot), ) # 投影头输出对比学习用的低维向量 self.proj_head nn.Sequential( nn.Linear(2048 512, 1024), nn.ReLU(inplaceTrue), nn.Linear(1024, 256), ) self.temp temp def forward(self, x): # 前四层卷积 x self.maxpool(self.relu(self.bn1(self.conv1(x)))) x self.layer1(x) x self.layer2(x) c3 self.layer3(x) c5 self.layer4(c3) # 全局特征 feat F.adaptive_avg_pool2d(c5, 1).flatten(1) # (B, 2048) # 专家特征detach 与否是训练策略见下文 expert_feat, attn_map self.expert(c3) # (B, 512), (B, 1, 14, 14) # 重建 recon self.recon_head(c5) # (B, 3, 224, 224) # 分类与投影 cat_feat torch.cat([feat, expert_feat], dim1) # (B, 2560) rot_logits self.rot_head(cat_feat) embedding F.normalize(self.proj_head(cat_feat), dim1) return recon, rot_logits, embedding, attn_maprecon_head的输出是 3 通道因为前面把灰度图复制成了 RGB。重建出来的 224×224 图像要和输入计算 L1/L2 损失。rot_head是一个 4 分类头预测图像旋转的角度。proj_head输出 256 维归一化向量用于对比损失。关于c3要不要detach再进 ExpertNet这是我在多个项目里纠结过的问题。如果让梯度直接回传到c3ExpertNet 会对主干的中间特征施加非常强的影响可能破坏 Resnet50 预训练权重学到的通用表示。我的经验是前 20 个 epoch 让 ExpertNet 的梯度只更新自己不回传到主干等主干的多任务特征基本稳定后再放开旁路梯度做联合微调。代码里self.expert(c3)不加 detach为了实现上面的策略我在训练循环里动态控制。3.3 损失函数重建损失、旋转损失、对比损失的组合方式损失函数拼接是这套代码里最值得反复调的部分。先看我的multitask_loss实现。class ContrastiveLoss(nn.Module): def __init__(self, temperature0.07): super().__init__() self.temperature temperature self.criterion nn.CrossEntropyLoss() def forward(self, z1, z2, batch_size): # z1, z2: (B, 256) 归一化向量 logits torch.mm(z1, z2.t()) / self.temperature labels torch.arange(batch_size, devicez1.device) loss self.criterion(logits, labels) return loss def multitask_loss(recon, target_img, rot_logits, rot_labels, z1, z2, attn_map, weights, batch_size): # 重建损失smooth_l1 对于医疗图像比 MSE 更稳 loss_recon F.smooth_l1_loss(recon, target_img) # 旋转分类损失 loss_rot F.cross_entropy(rot_logits, rot_labels) # 对比学习损失 contrastive_criterion ContrastiveLoss(temperature0.07) loss_contrast contrastive_criterion(z1, z2, batch_size) # 注意力正则防止注意力图整体漂移到均值附近保持一定方差 attn_mean attn_map.mean(dim(2, 3), keepdimTrue) loss_attn F.mse_loss(attn_map, attn_mean.expand_as(attn_map)) * 1.0 total (weights[0] * loss_recon weights[1] * loss_rot weights[2] * loss_contrast weights[3] * loss_attn) return total, loss_recon, loss_rot, loss_contrast为什么重建损失用smooth_l1而不是 MSE因为医疗图像的灰度值在 -1 到 1 之间但病灶区域的灰度突变偶尔会产生较大的离群值。MSE 对离群值太敏感一个大的误差会把梯度拉向错误方向。smooth_l1在误差较小时表现为 L2在误差较大时退化为 L1对离群值更宽容。旋转损失是一个标准的交叉熵在这个任务里它承担了防止模型坍缩的作用。如果只有重建和对比模型很可能演化成只关注图像的低频内容而旋转预测逼着模型去理解图像的方向性语义。对比损失的负样本对全部来自当前 batch 的其他图像。医疗图像数据天然重复度高同一个患者的连续切片非常相似因此temperature0.07这个常用值在医疗图像上往往偏严我建议从 0.1 开始试。注意力正则项是我自己加的一个辅助约束。如果注意力图一直输出 0.5 附近的均匀值说明 ExpertNet 没有学会聚焦关键区域。这个正则项会把注意力图的分布往两端拉但注意权重不能设太大否则注意力图会变成一坨噪点。3.4 训练循环EMA 教师、动态损失权重与学习率策略训练循环里有个技术选型值得展开我用 EMA 维护了一个教师模型用于给多任务学习提供更稳定的特征参考。这个做法参考了半监督和自监督的常见经验我觉得在医疗图像上尤其有用因为医学图像噪声大、设备差异大直接用同一个模型既当学生又当老师容易积累错误。def train_one_epoch(model, teacher_model, dataloader, optimizer, scheduler, epoch, args): model.train() teacher_model.train() running_loss 0.0 batch_size args.batch_size for step, (img, _) in enumerate(dataloader): img img.cuda() # 构造对比学习的两个增强视图 # 第一个视图用原始随机增强第二个视图做更强的裁剪 img_weak img img_strong random_strong_augment(img) # 构造旋转样本 rot_images, rot_labels build_rotation_samples(img, angles[0, 90, 180, 270]) # 前向主模型 recon, rot_logits, embedding, attn_map model(img_weak) _, _, embedding_strong, _ model(img_strong) # 教师模型输出不计算梯度 with torch.no_grad(): _, _, teacher_embed, _ teacher_model(img_strong) # 对比损失改成主模型两个视图 教师模型增强视图 z1 embedding z2 0.5 * F.normalize(embedding_strong, dim1) 0.5 * F.normalize(teacher_embed, dim1) total_loss, l_rec, l_rot, l_con multitask_loss( recon, img_weak, rot_logits, torch.tensor(rot_images).cuda(), z1, z2, attn_map, weightsargs.loss_weights, batch_sizeimg.size(0) ) optimizer.zero_grad() total_loss.backward() torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm1.0) optimizer.step() # EMA 更新教师模型 ema_update(model, teacher_model, decay0.999) running_loss total_loss.item() if step % 20 0: print(f[Epoch {epoch}] step {step} loss{total_loss.item():.4f} frecon{l_rec.item():.4f} rot{l_rot.item():.4f} contrast{l_con.item():.4f}) avg_loss running_loss / len(dataloader) scheduler.step() return avg_lossbuild_rotation_samples是我简化后的写法真实的项目里应该把输入图像随机旋转 90/180/270 度并记录旋转标签。这里有个重要的工程细节旋转一定要对整张 224×224 的图像做不能只在裁剪后的 patch 上做否则中心位置不变网络很容易通过边界猜测旋转角度。EMA 更新是关键环节。decay0.999意味着教师模型更新很慢可以理解为学生对教师的反馈被大幅平滑。教师模型不直接接收梯度而是每次用学生的参数按比例插值这样避免了一个批次内的噪声扰动污染学习目标。损失权重我放在args.loss_weights里实际调参时我喜欢把第一个 epoch 的三种损失都打出数值然后按比例调整让三个损失的量级别相差超过 10 倍。下面是我在自己的 CT 数据上常用的初始化组合医疗图像重建损失通常量级在 0.1 左右旋转损失大约 1 左右对比损失大约 2 左右所以权重分别是[1.0, 0.5, 0.3, 0.1]。这只是起点具体数据集还要重新平衡。4. 排查记录是什么让无监督自适应模型一键翻车无监督模型调试起来像拆盲盒损失降了不代表好了。下面这五条都是我在真实项目中踩过且复现过多次的坑按现象、原因、解决写完你遇到类似问题可以直接对照。4.1 现象重建损失稳步下降重建图像却变成一团灰雾损失曲线非常漂亮从 1.2 一路降到 0.3但把重建图打印出来看所有图像都是模糊的灰块边缘结构、肺纹理全没了。这是标准的特征坍缩。原因在于重建任务本身在医疗图像上的监督信号太弱。一张 224×224 的胸腔 CT 图背景和软组织占了绝大部分病灶区域只有几十个像素。模型发现只要把低频的背景重建好损失就已经很低没有必要去精细重建高频细节。多任务里旋转和对比任务虽然补充了一部分语义约束但重建损失的梯度主导了整个回传。解决方式是双管齐下。第一重建目标不要用整张原图而用随机掩码后的图像重建设计强迫模型补全未知区域类似 MAE 的思路。第二把重建损失从全图 MSE 改为按像素权重的 L1权重图由高斯差分生成让梯度更关注边缘区域。我后来在代码里增加了一个edge_weight的计算函数效果立竿见影。4.2 现象旋转预测准确率冲到 95%但下游分类任务纹丝不动旋转任务收敛得太快反而是危险的信号。我发现当旋转分类准确率接近百分百时模型大概率学会了依靠图像的边界特征来判断旋转而不是理解解剖结构。比如图像的四个角只要有一边是纯黑背景神经网络很容易通过边界均匀性直接推断旋转角度这种捷径对下游任务没有任何泛化价值。解决办法有两个方向。一是把旋转预测换成其他自监督任务比如灰度顺序预测或者 patch 重排二是加强旋转的难度把图像中心的 70% 区域裁剪掉再补上随机噪声让模型无法利用边界线索。我更喜欢第二种因为保持旋转任务不变的前提下只是修改数据增强代码改动最小。4.3 现象加载 ImageNet 预训练权重时报错或模型 loss 明显偏高torchvision.models.resnet50(weightsResNet50_Weights.IMAGENET1K_V1)在医学图像上加载失败很少见常见的是加载成功但 loss 异常高。主要原因有两个输入图像的灰度范围统计和 ImageNet 完全不一样以及 CT 值分布天然不是三通道。解决方法是先做数据规范化让输入数据的均值和方差接近标准正态。我通常在__getitem__里做了img / 127.5 - 1但这样分布的标准差大约在 0.5 到 0.7和 ImageNet 预训练时用的mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]差别不小。所以我额外在transforms.Normalize里按医学图像的实际统计数据替换了默认值。还有一个人为易错点resnet50预训练权重的第一层conv1是 64 个 7×7 卷积核输入三通道。如果按常规方法把灰度图复制成三通道没问题但如果你自己写了把单通道扩展成三通道的代码注意扩展顺序是(H, W) - (3, H, W)不是(H, W, 3)。两个差一个转置出来的图像就整体旋转了。4.4 现象EMA 教师模型更新太快训练中期 loss 突然发散EMA 的decay从 0.99 改成 0.999训练 30 个 epoch 后 loss 突然飙升教师模型输出变成 NaN。这是我在调参时经常遇到的事故。原因并不是 decay 太大而是教师模型和学生模型之间产生了正反馈回路。教师模型每个 step 都向学生靠近学生又在不断从教师那里学当 batch 中存在某些极端样本时误差会被同步放大。解决方式是给 EMA 加一个正则项如果教师模型的输出和学生模型的输出余弦相似度低于某个阈值这一轮就跳过 EMA 更新。这个阈值一般设为 0.7 到 0.8。另一个更实用的办法是每 100 个 step 检查一次教师模型的参数范数如果范数超过初始值的 3 倍强制回滚到上个检查点的教师参数。我在代码里写了一个ema_update(model, teacher_model, decay, threshold)函数加入相似度判断之后再没出现发散。4.5 现象多任务权重固定不变换了数据集后重建和对比任务互相打架上一轮项目在 A 医院的 CT 数据上跑得很好换到 B 医院的 DR 数据后重建损失正常、对比损失也在降但旋转损失的准确率反而下降了。这说明损失权重对数据分布太敏感固定权重难以适应新场景。我的解决方式是把损失权重做成随训练进度动态变化的调度器。训练前 10 个 epoch 以重建为主让主干先稳定下来第 10 到 30 个 epoch 逐步加大对比学习的权重第 30 个 epoch 以后再引入教师模型的伪标签联合训练。你也可以在 ontain 里实时计算每个损失的反向梯度范数根据梯度范数的比例动态调整权重但我个人觉得显式的 epoch 调度更直观、更容易复现。5. 怎么证明模型真的学到了有用特征三大验证手段与部署前检查做完整套训练后需要能从特征中提取信息而医疗图像领域还需要与医生沟通。这章给出三个实用的验证方法让结果有说服力。5.1 重建残差热图在没有标注的情况下定位模型关注的异常区域训练完成后把数据集的每一个样本送入模型计算重建输出和原图之间的像素差。正常的组织区域重建误差低异常区域因为罕见度高、模型没见过足够多的相似样本重建误差会明显偏高。把误差归一化后映射成热图叠加在原图上这个热图能标出模型认为的“异常区域”。def compute_recon_residual(model, dataloader, device): model.eval() residuals [] with torch.no_grad(): for img, _ in dataloader: img img.to(device) recon, _, _, _ model(img) residual torch.abs(recon - img).mean(dim1) # (B, H, W) residuals.append(residual.cpu().numpy()) return np.concatenate(residuals, axis0)把这个残差图给医生看如果热图大部分落在肺野、骨边缘或结节位置上说明模型确实学到了解剖结构而不是在背景上乱猜。同时也可以计算残差的标准差如果在正常样本上分布很窄说明模型的确定性高这对模型落地很有说服力。5.2 跨医院特征对齐检查用域分类器验证自适应效果无监督自适应模型的核心目标就是跨设备、跨机构稳定。验证方法很简单取源域和目标域分别一批图像通过模型提取特征训练一个轻量的逻辑回归分类器看它能不能区分两个域。def domain_alignment_score(model, source_loader, target_loader, device): from sklearn.linear_model import LogisticRegression from sklearn.model_selection import cross_val_score import numpy as np def extract_features(loader): feats, labels [], [] for img, _ in loader: img img.to(device) with torch.no_grad(): recon, rot, emb, attn model(img) feats.append(emb.cpu().numpy()) labels.append(np.zeros(len(emb))) return feats, labels src_feats, src_labels extract_features(source_loader) tgt_feats, tgt_labels extract_features(target_loader) feats np.concatenate(src_feats tgt_feats, axis0) labels np.concatenate([np.zeros_like(src_feats[0][:, 0]), np.ones_like(tgt_feats[0][:, 0])], axis0) clf LogisticRegression(max_iter1000) scores cross_val_score(clf, feats, labels, cv5, scoringaccuracy) return scores.mean()如果域分类器准确率在 50% 附近说明特征空间已经不分域自适应成功如果准确率接近 90%说明两个域的特征差异很大需要继续训练。5.3 少量标注上的下游验证冻结主干与全量微调的对比最直接的医学项目评审方式是准备 100 到 300 张带标注的验证集做一个分类或分割任务。对比两种设置一是冻结无监督预训练的主干只训练一个线性分类头二是整个网络微调。如果冻结主干的准确率已经比 From Scratch 训练高出一大截说明预训练特征有效如果微调后提高更多说明自适应能力还在线。这里有一个我比较关心的指标叫线性探针稳定性就是固定住训练好的模型只训练最后的分类层观察在域迁移条件下 AUC 的下降幅度。无监督自适应模型最怕的就是在源域涨点到了目标域立刻掉点。我建议在报告里单独给一列目标域 AUC 结果比只报源域指标更有说服力。6. 最后吃透一个技巧把损失权重做成三阶段调度器无监督自适应模型能不能收敛到一个真正有用的特征空间很多时候不取决于网络结构而取决于训练节奏。我最后聊一个付出最多心血才换来的技巧把固定损失权重改成三阶段调度器。第一阶段是暖机通常是前 10 个 epoch让重建损失主导。这个阶段模型刚进入目标域的图像分布先让它学会基本的结构重建这个阶段的积累对后面任务非常重要。第二阶段是对齐从第 10 到第 30 个 epoch逐渐把对比损失权重从 0.3 提升到 1.0让整个特征空间形成聚类结构。第三阶段是自适应第 30 个 epoch 之后加入教师模型的伪标签用软伪标签把目标域的难样本逐步拉进已有聚簇。这个调度用numpy写一个简单函数就能实现。我在三次对比实验里发现用调度器比固定权重平均高出目标域验证集 AUC 约 4 到 5 个百分点。更关键的是复现稳定性也提高了之前固定权重时每跑一次结果浮动很大同一个 seed 跑出来也有明显差异三阶段调度以后波动明显减少。代码里还有一个非常容易被忽略的细节scheduler.step()要放在每个 epoch 结束而不是每个 step 结束。如果放在 step 里学习率衰减过快后段训练基本废掉。我犯过的错误太多了分享我的经验希望这些细节能帮你把方案跑得更顺。希望帮到你。本文还有配套的精品资源点击获取