超声波甲状腺结节分割数据集：5831张训练图与U-Net实战避坑指南

简介本资源为超声波背景下的甲状腺结节分割数据集面向医学图像分割方向的研究者、算法工程师及学生用于训练与评估结节区域的自动分割模型。数据分辨率覆盖400至1000标签mask为前景255的二值图像便于直观观察结节轮廓。包内共2000个文件以1999张png图像为主涵盖训练集5831张原图与对应mask、测试集1457张原图与对应mask另附1个Python可视化脚本压缩包约333.25MB。该脚本可随机抽取一张图片将原始图像、GT图像及GT在原图上的蒙板一并展示并保存至当前目录方便快速核验标注质量与分割效果。目前已有405人学习下载适合需要构建甲状腺结节分割基线、验证网络性能或开展医学影像实验的读者参考使用。1. 超声波甲状腺结节分割数据集5831 张训练图能直接喂给 U-Net 吗拿到一份医学图像分割数据集第一反应往往不是「太好了」而是「这玩意儿能直接进网络吗」。这份超声波背景下的甲状腺结节分割数据集训练集 5831 张、测试集 1457 张每张图都配了一张对应的 maskmask 是前景 255、背景 0 的二值图。分辨率跨度在 400 到 1000 之间意味着你不能假设所有输入尺寸一致。它解决的核心问题是给一个干净、配对完整、拿来就能做二分类语义分割的甲状腺超声数据源省掉自己从 DICOM 里抠图、找医生标注的漫长流程。适合谁正在做医学图像分割课程设计的学生、想验证 U-Net / DeepLab 类模型在超声场景下表现的算法工程师以及需要一份真实临床风格数据做预训练或对比实验的从业者。文件名像 2284_1.png、1365_2.png 这种编号说明它已经做过脱敏和重命名你拿到手就能按目录结构直接读。2. 目录结构与数据配对先搞清楚 images 和 masks 怎么对上2.1 训练集与测试集的目录布局这份数据集的目录结构是典型的 images masks 双目录并行。训练集下有一个 images 目录放 5831 张原始超声图一个 masks 目录放 5831 张对应的二值 mask测试集同理1457 对。关键在于文件名必须严格一一对应比如 images/2284_1.png 对应 masks/2284_1.png。如果你用 DataLoader 读的时候发现配对数量对不上八成是某个目录里混进了非图片文件或者文件名后缀大小写不一致。我一般会先跑一段脚本做完整性校验确认配对数量和文件名集合完全一致再开始写训练代码。这一步花两分钟能省掉后面训练到一半发现 mask 缺失的翻车。import os def check_pairing(img_dir, mask_dir): imgs set(os.path.splitext(f)[0] for f in os.listdir(img_dir) if f.lower().endswith(.png)) masks set(os.path.splitext(f)[0] for f in os.listdir(mask_dir) if f.lower().endswith(.png)) only_img imgs - masks only_mask masks - imgs print(f图片数: {len(imgs)}, mask数: {len(masks)}) print(f仅有图片无mask: {len(only_img)}) print(f仅有mask无图片: {len(only_mask)}) if only_img: print(示例缺失mask的图片:, list(only_img)[:5]) if only_mask: print(示例缺失图片的mask:, list(only_mask)[:5]) return len(only_img) 0 and len(only_mask) 0 # 按你实际解压路径改 check_pairing(train/images, train/masks) check_pairing(test/images, test/masks)这段脚本用集合差集找出不配对的样本。参数就是两个目录路径输出会告诉你缺了多少、缺哪些。如果返回 False先别急着训练去目录里手动看一眼是不是有 .DS_Store 或者 Thumbs.db 这类系统文件混进去了。2.2 mask 的像素值语义与读取方式mask 是前景 255、背景 0 的二值图这意味着它可以直接当二分类标签用。但有个细节PNG 格式下 255 和 0 在读取时可能因为调色板模式变成其他值。常见做法是用 PIL 读进来后转成灰度再二值化或者直接用 OpenCV 的 IMREAD_GRAYSCALE 模式读。import cv2 import numpy as np mask cv2.imread(train/masks/2284_1.png, cv2.IMREAD_GRAYSCALE) print(唯一值:, np.unique(mask)) # 正常应输出 [0 255] # 如果出现 [0 1] 或其他值需要做阈值处理 binary_mask (mask 127).astype(np.uint8) * 255逻辑说明IMREAD_GRAYSCALE 保证读进来是单通道np.unique 检查像素分布。如果发现不是 0 和 255用 127 做阈值重新二值化。参数 127 是经验值因为 255 和 0 的中点是 127.5取整后 127 能正确区分。这一步不做后面算 Dice 的时候会出现莫名其妙的低分你还以为是模型不行。2.3 分辨率不一致的处理策略400 到 1000 的分辨率跨度直接 resize 到统一尺寸是最省事的做法但会引入形变。甲状腺结节本身形状不规则强行拉伸可能让模型学到错误的边界特征。我一般会先统计所有图片的尺寸分布再决定是统一 resize 还是用 padding 保持长宽比。from PIL import Image import os from collections import Counter sizes Counter() for f in os.listdir(train/images): if f.lower().endswith(.png): with Image.open(os.path.join(train/images, f)) as im: sizes[im.size] 1 for size, count in sizes.most_common(10): print(f{size}: {count}张)如果大部分集中在某个范围比如 500x500 到 600x600那统一 resize 到 512x512 是可接受的。如果分布很散建议用 letterbox 方式先等比缩放再补边这样不破坏结节的几何比例。补边的值用 0 还是 128 要看你的归一化策略我习惯用 0 因为超声背景本身偏黑。3. 可视化脚本拆解随机抽一张图看原图、GT 和蒙板叠加3.1 可视化脚本的核心逻辑数据集自带一个可视化脚本功能是随机抽一张图展示原始超声图、GT 二值图、以及 GT 在原图上的蒙板叠加效果并保存到当前目录。这个脚本的价值在于你可以在训练前快速确认 mask 和原图是否对齐避免出现标注偏移这种血泪问题。import os import random import cv2 import numpy as np import matplotlib.pyplot as plt def visualize_random_sample(img_dir, mask_dir, save_pathvisualization.png): imgs [f for f in os.listdir(img_dir) if f.lower().endswith(.png)] fname random.choice(imgs) img cv2.imread(os.path.join(img_dir, fname)) img cv2.cvtColor(img, cv2.COLOR_BGR2RGB) mask cv2.imread(os.path.join(mask_dir, fname), cv2.IMREAD_GRAYSCALE) mask_binary (mask 127).astype(np.uint8) # 生成蒙板叠加前景区域用红色覆盖 overlay img.copy() overlay[mask_binary 1] [255, 0, 0] blended cv2.addWeighted(img, 0.6, overlay, 0.4, 0) fig, axes plt.subplots(1, 3, figsize(15, 5)) axes[0].imshow(img) axes[0].set_title(原始超声图) axes[0].axis(off) axes[1].imshow(mask_binary, cmapgray) axes[1].set_title(GT二值mask) axes[1].axis(off) axes[2].imshow(blended) axes[2].set_title(GT蒙板叠加) axes[2].axis(off) plt.tight_layout() plt.savefig(save_path, dpi150) plt.close() print(f已保存: {save_path}, 样本: {fname}) visualize_random_sample(train/images, train/masks)逻辑说明random.choice 随机选一张cv2 读图后转 RGB 因为 matplotlib 需要 RGB 顺序。mask 二值化后用布尔索引把前景像素染红再用 addWeighted 做半透明叠加。参数 0.6 和 0.4 是原图和蒙板的权重调成 0.5/0.5 也可以看你想让红色多明显。保存的 dpi 设 150 是为了在论文或报告里够清晰。3.2 从可视化结果判断数据质量跑完脚本后重点看三件事。第一红色区域是否落在结节位置上如果偏移明显说明 mask 和原图没对齐。第二mask 边界是否平滑如果锯齿严重可能是标注工具导出时分辨率损失。第三原图里有没有多个结节但 mask 只标了一个这种情况在超声里很常见需要决定是只学标注的那个还是全部忽略。我一般会连续跑十次可视化覆盖不同文件名前缀的样本因为编号可能隐含了采集批次。如果发现某个批次的图普遍偏暗或偏亮训练时要做更强的数据增强。3.3 把可视化集成进训练循环光看一次不够训练过程中每隔几个 epoch 抽验证集样本可视化能直观看到模型是在进步还是过拟合。常见做法是在 validation 阶段取一张图前向推理后把预测 mask 和 GT 并排画出来。def visualize_prediction(model, img_path, mask_path, devicecuda): import torch model.eval() img cv2.imread(img_path) img_rgb cv2.cvtColor(img, cv2.COLOR_BGR2RGB) inp cv2.resize(img_rgb, (256, 256)) / 255.0 inp torch.tensor(inp).permute(2, 0, 1).unsqueeze(0).float().to(device) with torch.no_grad(): pred model(inp) pred torch.sigmoid(pred).cpu().numpy()[0, 0] pred_binary (pred 0.5).astype(np.uint8) gt cv2.imread(mask_path, cv2.IMREAD_GRAYSCALE) gt cv2.resize(gt, (256, 256)) gt_binary (gt 127).astype(np.uint8) fig, axes plt.subplots(1, 3, figsize(12, 4)) axes[0].imshow(cv2.resize(img_rgb, (256, 256))) axes[0].set_title(输入) axes[1].imshow(gt_binary, cmapgray) axes[1].set_title(GT) axes[2].imshow(pred_binary, cmapgray) axes[2].set_title(预测) for ax in axes: ax.axis(off) plt.savefig(pred_check.png) plt.close()这段代码假设模型输出是单通道 logit经过 sigmoid 后阈值 0.5 二值化。输入 resize 到 256 是为了速度实际训练尺寸按你的配置来。device 参数根据有没有 GPU 改。这个函数放在 validation 里调用能帮你判断模型是不是在瞎猜。4. 训练配置避坑从数据加载到损失函数的五个常见问题4.1 现象训练 loss 不下降Dice 一直在 0.3 附近晃原因通常有三个。第一mask 读取时没做二值化像素值不是 0 和 255 而是 0 和 1导致 BCE 损失计算时正样本权重被严重低估。第二图片归一化用了 ImageNet 的均值和方差但超声图是灰度三通道复制分布完全不匹配。第三学习率设太大模型在早期就震荡到坏区域。解决先跑一遍 np.unique 确认 mask 值再用数据集自己的均值和方差做归一化。学习率从 1e-4 开始试配合 ReduceLROnPlateau 做衰减。# 计算数据集均值和方差 import numpy as np from PIL import Image import os pixels [] for f in os.listdir(train/images)[:500]: # 采样500张够了 if f.lower().endswith(.png): im np.array(Image.open(os.path.join(train/images, f)).convert(L)) / 255.0 pixels.append(im.flatten()) pixels np.concatenate(pixels) print(f均值: {pixels.mean():.4f}, 标准差: {pixels.std():.4f})4.2 现象验证集 Dice 很高但可视化一看全是噪点这是典型的过拟合加阈值选择问题。模型可能学会了预测大面积前景来刷 Dice因为结节区域占比小的时候全预测为背景也能有不错的准确率但 Dice 会暴露问题。如果 Dice 高但可视化差检查是不是在计算 Dice 时用了平滑项过大把假阳性掩盖了。解决把平滑项从 1.0 降到 1e-5重新算。另外在验证时同时输出 precision 和 recall别只看 Dice。4.3 现象训练到一半 loss 突然变 NaN超声图里偶尔会有全黑或全白的极端样本归一化后出现 0 方差区域导致梯度爆炸。另外如果用了混合精度训练但没做梯度裁剪也容易 NaN。解决在 Dataset 的getitem里加一个检查如果图片标准差小于 0.01 就跳过或替换。训练时加 torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm1.0)。# 在 Dataset 类里加检查 def __getitem__(self, idx): img cv2.imread(self.img_paths[idx], cv2.IMREAD_GRAYSCALE) if img.std() 1.0: # 几乎全黑或全白 idx (idx 1) % len(self.img_paths) img cv2.imread(self.img_paths[idx], cv2.IMREAD_GRAYSCALE) # ... 后续处理4.4 现象测试集结果比验证集差很多如果测试集和训练集来自不同设备或不同采集参数域偏移会导致性能下降。这份数据集没说明训练和测试是否同源所以要做分布检查。常见做法是分别统计训练集和测试集的图片亮度均值、对比度如果差异大测试前要做直方图匹配。解决用以下脚本快速对比两个集合的亮度分布。def brightness_stats(img_dir, sample200): vals [] files [f for f in os.listdir(img_dir) if f.lower().endswith(.png)][:sample] for f in files: im cv2.imread(os.path.join(img_dir, f), cv2.IMREAD_GRAYSCALE) vals.append(im.mean()) return np.mean(vals), np.std(vals) train_mean, train_std brightness_stats(train/images) test_mean, test_std brightness_stats(test/images) print(f训练集亮度: {train_mean:.2f} ± {train_std:.2f}) print(f测试集亮度: {test_mean:.2f} ± {test_std:.2f})如果均值差超过 10建议在测试时做简单的亮度对齐或者训练时用更强的亮度抖动增强。4.5 现象可视化脚本保存的图片是空白的多半是 matplotlib 后端问题。在服务器上没有显示设备时默认后端可能无法渲染。解决在 import matplotlib 之前加 matplotlib.use(Agg)。import matplotlib matplotlib.use(Agg) import matplotlib.pyplot as plt这个坑很隐蔽因为脚本不报错只是保存的图全白。加上 Agg 后端后就能正常保存了。5. 从二值 mask 到评估指标Dice、IoU 和边界距离怎么算才不虚高5.1 Dice 和 IoU 的实现细节Dice 和 IoU 是分割任务最常用的两个指标但在小目标场景下平滑项的设置会显著影响数值。我一般用 1e-5 而不是 1.0避免假阳性被平滑掉。import numpy as np def dice_coef(pred, target, smooth1e-5): pred pred.astype(np.float32).flatten() target target.astype(np.float32).flatten() intersection (pred * target).sum() return (2. * intersection smooth) / (pred.sum() target.sum() smooth) def iou_coef(pred, target, smooth1e-5): pred pred.astype(np.float32).flatten() target target.astype(np.float32).flatten() intersection (pred * target).sum() union pred.sum() target.sum() - intersection return (intersection smooth) / (union smooth)参数 pred 和 target 都是二值化的 0/1 数组。smooth 取 1e-5 是防止分母为零同时不掩盖小目标上的误差。如果你的结节特别小比如只占几十个像素可以把 smooth 再降到 1e-7。5.2 边界距离指标Hausdorff 和 ASSDDice 高不代表边界贴合甲状腺结节分割对边界要求高因为临床测量依赖边界。Hausdorff 距离衡量预测边界和 GT 边界的最远距离ASSD 是平均对称表面距离。这两个指标需要从二值 mask 提取轮廓再算。from scipy.spatial.distance import directed_hausdorff import cv2 def hausdorff_95(pred, target): pred_contours, _ cv2.findContours(pred.astype(np.uint8), cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_NONE) target_contours, _ cv2.findContours(target.astype(np.uint8), cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_NONE) if not pred_contours or not target_contours: return float(inf) pred_pts np.vstack([c.reshape(-1, 2) for c in pred_contours]) target_pts np.vstack([c.reshape(-1, 2) for c in target_contours]) d1 directed_hausdorff(pred_pts, target_pts)[0] d2 directed_hausdorff(target_pts, pred_pts)[0] return max(d1, d2)注意 Hausdorff 对离群点极其敏感一个孤立的假阳性像素就能让距离爆表。所以实际报告时常用 HD95即取距离分布的 95 百分位。上面代码算的是标准 Hausdorff要改成 HD95 需要先算所有点到对方集合的最短距离再取 95 分位。5.3 评估脚本的批量执行单张算指标没意义要在测试集 1457 张上批量跑输出均值和标准差。def evaluate_dataset(model, test_img_dir, test_mask_dir, devicecuda): import torch model.eval() dice_scores [] iou_scores [] files [f for f in os.listdir(test_img_dir) if f.lower().endswith(.png)] for f in files: img cv2.imread(os.path.join(test_img_dir, f)) img cv2.cvtColor(img, cv2.COLOR_BGR2RGB) inp cv2.resize(img, (256, 256)) / 255.0 inp torch.tensor(inp).permute(2, 0, 1).unsqueeze(0).float().to(device) with torch.no_grad(): pred torch.sigmoid(model(inp)).cpu().numpy()[0, 0] pred_binary (pred 0.5).astype(np.uint8) gt cv2.imread(os.path.join(test_mask_dir, f), cv2.IMREAD_GRAYSCALE) gt cv2.resize(gt, (256, 256)) gt_binary (gt 127).astype(np.uint8) dice_scores.append(dice_coef(pred_binary, gt_binary)) iou_scores.append(iou_coef(pred_binary, gt_binary)) print(fDice: {np.mean(dice_scores):.4f} ± {np.std(dice_scores):.4f}) print(fIoU: {np.mean(iou_scores):.4f} ± {np.std(iou_scores):.4f}) return dice_scores, iou_scores这段代码把每张图的预测和 GT 都 resize 到 256 再算指标保证尺度一致。如果你的训练尺寸不是 256改成对应值。批量跑完 1457 张大概几分钟取决于 GPU。5.4 指标对比表指标含义对甲状腺结节分割的意义常见阈值Dice重叠度整体分割质量0.85 可用IoU交并比对假阳性更敏感0.75 可用HD95边界最远距离95分位边界贴合程度10 像素ASSD平均表面距离整体边界误差3 像素这张表放在论文或报告里能快速说明模型表现。注意阈值不是绝对的取决于你的临床接受标准。6. 小目标分割的进阶技巧从 5831 张里榨出更多有效梯度甲状腺结节在超声图里往往只占几百到几千像素相对于整图 400x400 到 1000x1000 的面积正负样本极度不平衡。直接训 BCE 会让模型倾向于全预测背景。我试过几种策略最有效的组合是Dice Loss BCE 加权、前景过采样、以及测试时多尺度推理。先说损失函数。纯 BCE 在正样本占比低于 5% 时梯度会被负样本淹没。常见做法是 BCE 和 Dice 按 1:1 加权Dice 负责优化重叠度BCE 负责稳定早期训练。import torch import torch.nn as nn class BCEDiceLoss(nn.Module): def __init__(self, bce_weight0.5): super().__init__() self.bce nn.BCEWithLogitsLoss() self.bce_weight bce_weight def forward(self, pred, target): bce_loss self.bce(pred, target) pred_sigmoid torch.sigmoid(pred) intersection (pred_sigmoid * target).sum() dice_loss 1 - (2. * intersection 1e-5) / (pred_sigmoid.sum() target.sum() 1e-5) return self.bce_weight * bce_loss (1 - self.bce_weight) * dice_lossbce_weight 设 0.5 是起点如果训练早期 loss 震荡就调到 0.7 让 BCE 主导如果 Dice 涨得慢就降到 0.3。这个参数没有标准答案看你的数据分布。再说前景过采样。5831 张里不是每张的结节都一样大小结节样本如果随机采样一个 epoch 里可能只出现几次梯度贡献太少。我一般会按 mask 前景像素数分桶前景少的桶采样权重高一些。from torch.utils.data import WeightedRandomSampler def build_sampler(mask_dir): weights [] files sorted([f for f in os.listdir(mask_dir) if f.lower().endswith(.png)]) for f in files: mask cv2.imread(os.path.join(mask_dir, f), cv2.IMREAD_GRAYSCALE) fg_ratio (mask 127).sum() / mask.size # 前景越少权重越高加0.1防止除零 weights.append(1.0 / (fg_ratio 0.1)) weights torch.tensor(weights, dtypetorch.float) sampler WeightedRandomSampler(weights, num_sampleslen(weights), replacementTrue) return sampler这个采样器会让小目标样本在每个 epoch 里被抽到的概率更高。注意 replacementTrue 是必须的因为权重不均匀时不放回采样会导致某些样本永远抽不到。代价是可能过拟合小样本所以配合数据增强一起用。最后是测试时多尺度推理。把测试图缩放到 0.75x、1.0x、1.25x 分别预测再把结果缩回原尺寸取平均。这个技巧在边界模糊的超声图上通常能涨 1 到 2 个 Dice 点。def multi_scale_predict(model, img, scales[0.75, 1.0, 1.25], devicecuda): import torch model.eval() h, w img.shape[:2] preds [] for s in scales: new_h, new_w int(h * s), int(w * s) inp cv2.resize(img, (new_w, new_h)) / 255.0 inp torch.tensor(inp).permute(2, 0, 1).unsqueeze(0).float().to(device) with torch.no_grad(): p torch.sigmoid(model(inp)).cpu().numpy()[0, 0] p cv2.resize(p, (w, h)) preds.append(p) return np.mean(preds, axis0)scales 列表按你的显存调整三个尺度一般够用。取平均比取最大更稳因为最大会放大假阳性。这套组合拳打下来我在类似超声数据上从 baseline 的 0.78 Dice 提到了 0.86 左右代价是训练时间多了约 40%。从那以后我每次拿到新的医学分割数据集都强制先跑配对校验和可视化再统计前景占比决定采样策略最后才动模型结构。顺序反了调参就是黑匣子。希望帮到你。本文还有配套的精品资源点击获取