微生物图像识别数据集处理：类别字典对齐与训练基线实践

简介这是一套面向医学图像分类与微生物识别任务的8类数据集包含阿米巴、眼虫属、水螅、草履虫等类别适合用于训练和评估分类网络或YOLOv5分类模型。数据已按训练集与测试集划分并存放在文件夹中训练集共630张图片测试集共150张另附类别字典JSON文件可直接读取各类别标签与序号。资源内还提供可视化脚本运行后便于快速检查各类别图片质量与样本分布。压缩包共792个文件以jpg、png、jpeg图片为主另有py脚本和json字典整体大小约101.99MB目录结构清晰开箱即用。目前已有177人学习下载适合刚接触医疗影像识别、需要现成微生物数据集进行模型验证的开发者使用。通过该资源可省去自行爬取与整理图片的时间快速进入模型训练、精度对比及YOLOv5分类迁移学习等环节。1. 拿到8种微生物识别数据集先别急着开训字典对齐比选模型更重要一次做医学图像分类时我拿到一份划分好的微生物图像识别数据集train/val/test三个文件夹摆得整整齐齐还带了一个类别字典文件。当时觉得结构一目了然用ImageFolder直接开训结果第一轮混淆矩阵完全错位损失还在降预测类别却和真实标签对不上。追踪到最后问题出在“文件夹排序”和“类别字典编码”没有对齐。这类按文件夹保存、带类别字典文件的数据集核心价值不只是8类微生物图像本身而是把“图片在哪、类别是几、显示名是谁”钉死在一份可追溯的资产里。它适合新手在医学图像分类上快速建立可信基线也适合熟手把它改造成自己的数据管线起点。2. 数据集结构与类别字典先给8类微生物图像做“底数核查”拿到数据集的第一件事不是看网络结构而是翻目录、读字典、数样本。文件夹保存只是物理形态类别字典才是逻辑契约二者对齐后后续训练代码才有意义。如果你是从YOLOv8“训练自己的数据集”那套流程过来的别急着找每张图的txt框文件图像分类数据集里目录名就是标签不需要额外标注文件。下面四步是我每次拿到类似数据集都会做的可以直接照抄。2.1 文件夹保存为什么天然适合微生物图像分类目录即标签、切分即权限这种数据集的常见结构如下实际目录名可能不同以你拿到的为准microbe8_dataset/ ├── train/ │ ├── class_0/ │ │ ├── 001.tif │ │ └── 002.tif │ └── class_1/ ├── val/ │ ├── class_0/ │ └── class_1/ ├── test/ │ ├── class_0/ │ └── class_1/ └── label_dict.json相比打成单个h5或npy文件文件夹保存最直白的好处是“目录名标签”。不需要额外解析库操作系统的文件管理器就能抽查某类图像PyTorch的ImageFolder也能直接扫目录。另一个容易忽略的点是固定划分train/val/test被文件夹物理隔离不会出现代码里random_split随机种子不一致导致验证集混进训练数据的情况。医学图像分类里样本常来自同一批培养或同一台显微镜固定切分能避免很多“泄漏”争议也让复现实验的人少一个变量。另外如果你之前一直用检测类数据集习惯是每张图带一个标签框文件换成这个分类数据集后要改掉这个思维。分类的“标签”就是文件夹位置类别字典文件负责把目录名翻译成人类可读的名字中间不再需要任何中间标注文件。这一条想清楚后面代码才不会写得拧巴。2.2 类别字典文件的两种典型结构字符串键与嵌套字段类别字典最常见的形式是JSON键是类别编码值是类别名。下面这个结构只是示意不代表这份数据集的具体内容{ 0: Escherichia_coli, 1: Staphylococcus_aureus, 2: Salmonella_typhi, 3: Vibrio_cholerae, 4: Bacillus_subtilis }JSON标准里的key一定是字符串所以即使值看起来是数字读取后也要注意类型。为什么这个文件重要因为模型输出的只是个索引比如预测结果是tensor(3)没有字典你根本不知道它是“弧菌”还是“芽孢杆菌”。医学图像分类的报告、随访、复查都需要可追溯的标签字典就是这条追溯链的锚点。也有的数据集会把字典做成嵌套结构比如“0”这个键对应一个对象里面同时放folder_name、display_name、name_en这样文件夹可以用无意义编号展示层用中文论文层用英文三层互不干扰。这种结构在第3章会专门处理。如果拿到的是yaml或txt也不用慌yaml直接读成dicttxt按行读进列表、行号当索引本质上是一致的。2.3 目录与字典的一致性检查统计每个split的类别和样本数这一节要做的事很机械但价值很高确认“字典里写了8类”和“文件夹里真的有8类”是一回事。脚本同时检查目录差异和样本量分布这样能提前暴露空目录、多余目录和类别不均衡问题。import json import os from collections import Counter IMAGE_EXTS {.jpg, .jpeg, .png, .bmp, .tif, .tiff} root microbe8_dataset with open(os.path.join(root, label_dict.json), r, encodingutf-8) as f: label_dict json.load(f) # 从字典提取“预期存在的文件夹名” expected_folders set() for key, entry in label_dict.items(): if isinstance(entry, dict): expected_folders.add(entry.get(folder_name, entry.get(name_en, key))) else: expected_folders.add(entry) print(字典类别数:, len(label_dict)) for split in [train, val, test]: split_root os.path.join(root, split) if not os.path.isdir(split_root): print(f[WARN] {split} 不存在) continue actual_dirs set(os.listdir(split_root)) missing expected_folders - actual_dirs extra actual_dirs - expected_folders - {label_dict.json} if missing: print(f[FAIL] {split} 缺目录: {sorted(missing)}) if extra: print(f[WARN] {split} 多目录: {sorted(extra)}) counter Counter() for class_dir in sorted(actual_dirs): class_path os.path.join(split_root, class_dir) if not os.path.isdir(class_path): continue n sum( 1 for f in os.listdir(class_path) if os.path.splitext(f)[1].lower() in IMAGE_EXTS ) counter[class_dir] n print(f[{split}] 总样本数: {sum(counter.values())}) for class_dir, n in counter.items(): print(f {class_dir}: {n})逻辑说明先读字典并生成expected_folders然后逐个split对比实际目录缺失会打印FAIL多余会打印WARN。样本量统计用的是扩展名过滤不会打开图片文件本身所以速度很快。参数说明root改成你的数据集根目录IMAGE_EXTS按实际格式调整如果全是png只留png能避免把隐藏系统文件算进去。这里有个容易踩的细节字典的key是字符串排序时要用int(k)而不是直接排字符串否则“10”会排在“2”前面。2.4 图片损坏体检用PIL verify扫描全量文件很多训练代码半路报“OSError: image file is truncated”或“cannot identify image file”原因就是数据集里混进了损坏文件或扩展名伪造的文件。这类问题在显微镜导出的图像里并不少见比如采集中断、转存失败。在第一天做一次全量体检比训练到第5个epoch再排查省心得多。from PIL import Image import os root microbe8_dataset bad_files [] for split in [train, val, test]: split_root os.path.join(root, split) if not os.path.isdir(split_root): continue for class_dir in sorted(os.listdir(split_root)): class_path os.path.join(split_root, class_dir) if not os.path.isdir(class_path): continue for fname in os.listdir(class_path): fpath os.path.join(class_path, fname) try: with Image.open(fpath) as img: img.verify() except Exception as exc: bad_files.append((split, class_dir, fname, str(exc))) if bad_files: print(f发现 {len(bad_files)} 个异常文件:) for split, class_dir, fname, reason in bad_files[:50]: print(f {split}/{class_dir}/{fname}: {reason}) else: print(所有图片校验通过)逻辑说明verify()只校验文件头部和完整性不读取整张图像所以即使有几万张图也能在可接受时间内跑完。注意verify()之后这个Image句柄不能再用于其他读取操作但这里用with提前关闭了后续训练重新打开文件不受影响。参数说明异常文件只有几十个时可以直接删除或从原始压缩包重新解压如果有几百个说明解压过程可能中断此时不要自己补图先回去检查数据源头。数万张图片的扫描结果里偶尔出现一两个损坏文件可以容忍如果比例超过1%这个数据集的交付质量就值得怀疑了。3. 接上训练流水线用类别字典对齐ImageFolder的“排序黑匣子”目录和字典核对完毕接下来就是写加载代码。这一章重点解决一个很实际的错位问题PyTorch的ImageFolder会自作主张给文件夹排序而排序结果不一定和你的类别字典一致。如果不在入口处把映射固定死后面无论换什么模型结果都可能莫名其妙地错位。3.1 为什么不能直接依赖ImageFolder的class_to_idxtorchvision.datasets.ImageFolder默认按文件夹名的字母序生成class_to_idx这个顺序对英文名可能碰巧和字典一致但一旦出现中文名、带前导零的编号、或新增第10类字符串排序就会和“字典里定义的0-7编码”产生偏移。更隐蔽的情况是文件夹名是纯数字比如0到7ImageFolder按字符串排序得到0, 1, 2, ...看起来没问题但某天多了个10排序就变成0, 1, 10, 2, ...所有后续类别全部错位。class_to_idx对初学者是个黑匣子它把目录名映射成索引但索引从哪来、顺序怎么定全在源码内部。医学图像分类要的是可追溯不是碰运气。所以我的做法是不信任class_to_idx只信任label_dict.json自己做一张从类别名到标签的查找表。3.2 自定义Dataset严格按类别字典构造样本映射下面这个Dataset类不依赖ImageFolder手动遍历目录但标签完全由字典决定。它兼容“值直接是字符串”和“值是嵌套dict”两种数据结构可以直接拿去用。import json import os from PIL import Image from torch.utils.data import Dataset class DictAlignedFolderDataset(Dataset): def __init__(self, folder_path, label_dict_path, transformNone): with open(label_dict_path, r, encodingutf-8) as f: raw json.load(f) # 统一键类型按 int 排序保证类别顺序和字典一致 self.class_names [ raw[k] if isinstance(raw[k], str) else raw[k].get(name_en, str(k)) for k in sorted(raw.keys(), keylambda x: int(x)) ] self.name_to_label {name: i for i, name in enumerate(self.class_names)} self.samples [] for class_name in self.class_names: class_dir os.path.join(folder_path, class_name) if not os.path.isdir(class_dir): print(f[WARN] 缺少目录: {class_dir}) continue for fname in sorted(os.listdir(class_dir)): if fname.lower().endswith((.jpg, .jpeg, .png, .bmp, .tif, .tiff)): path os.path.join(class_dir, fname) self.samples.append((path, self.name_to_label[class_name])) self.transform transform def __len__(self): return len(self.samples) def __getitem__(self, idx): path, label self.samples[idx] image Image.open(path).convert(RGB) if self.transform: image self.transform(image) return image, label逻辑说明构造顺序是“先读字典、后扫目录”。class_names严格按字典索引排序name_to_label把类别名映射成0到7的整数扫描目录时只用这个映射不依赖目录在磁盘上的出现顺序。遇到缺目录时只警告不崩溃这样你可以继续看完整日志再统一处理。参数说明folder_path传入某个split的路径比如microbe8_dataset/trainlabel_dict_path传入字典文件路径transform在外部构造推荐至少包含Resize和ToTensor。__getitem__里我强制转了RGB灰度图和带alpha通道的PNG在这里都会被统一成三通道避免后续网络输入维度报错。使用示例from torch.utils.data import DataLoader from torchvision import transforms transform transforms.Compose([ transforms.Resize((224, 224)), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]), ]) train_ds DictAlignedFolderDataset( folder_pathmicrobe8_dataset/train, label_dict_pathmicrobe8_dataset/label_dict.json, transformtransform, ) val_ds DictAlignedFolderDataset( folder_pathmicrobe8_dataset/val, label_dict_pathmicrobe8_dataset/label_dict.json, transformtransform, ) train_loader DataLoader(train_ds, batch_size32, shuffleTrue, num_workers2) print(classes:, train_ds.class_names) print(train samples:, len(train_ds))这里的batch_size按显存调整8G显存跑ResNet1832没问题如果换ResNet50或更大输入图降到16。num_workers在Linux可以调到4或8Windows下开多进程偶尔会有内存波动遇到问题先改成0。3.3 文件夹名和类别名不一致时的兼容写法有些数据集为了让目录排序稳定把文件夹命名为0、1、2类别字典里却是英文名或中文名。此时class_names不能直接当目录名用需要在字典里增加一个folder_name字段专门承担目录匹配职责。{ 0: { folder_name: 0, display_name: 大肠杆菌, name_en: Escherichia_coli }, 1: { folder_name: 1, display_name: 金黄色葡萄球菌, name_en: Staphylococcus_aureus } }对应的关键改动是把“类别名到标签”的映射换成“文件夹名到标签”的映射folder_to_label {} class_names [] for key in sorted(raw.keys(), keylambda x: int(x)): entry raw[key] if isinstance(entry, dict): folder_name entry.get(folder_name, entry.get(name_en, key)) class_names.append(entry.get(name_en, entry.get(display_name, key))) else: folder_name entry class_names.append(entry) folder_to_label[folder_name] int(key)逻辑说明扫描目录时用folder_to_label[folder_name]取标签class_names只用于展示和评估报告。这样文件夹叫什么都不影响标签语义字典里的display_name还能单独用于生成中文报告各层各司其职。实际项目里我宁可多写一个字段也不愿靠“目录名恰好等于类别名”这种脆弱的假设。4. 8类微生物识别常见问题排查标签错位、样本不均衡与通道陷阱这部分是我在类似项目里反复踩过的坑每一条都真实发生过。它们不会让代码“立刻崩溃”但会让训练结果慢慢跑偏等你发现时往往已经消耗了大量时间。4.1 训练loss正常下降但混淆矩阵方向错位现象loss从1.8一路降到0.3验证准确率看起来也还行但把预测结果和真实类别逐条打印发现预测索引和真实索引之间存在固定偏移比如总是差1。原因训练时用ImageFolder的class_to_idx评估时又用label_dict.json的0-7编码两边索引规则不一致。模型其实学得很好只是你的评估代码在“翻译”阶段对错了表。解决加载阶段只认字典用第3章的DictAlignedFolderDataset替换ImageFolder。如果模型已经训到一半先打印当前的class_to_idx和字典做对比手动写一个idx_mapping把预测索引转回来但这只是补救下次重训前务必把入口对齐。训练过程中也可以加一段快速自检看前10个batch的标签分布是否覆盖0到7from collections import Counter seen Counter() for step, (images, labels) in enumerate(train_loader): seen.update(labels.tolist()) if step 9: break print(sorted(seen.items()))预期输出里应该包含0到7的全部索引且分布相对均匀。如果某个索引完全没出现多半是目录扫描或采样环节漏了类先停下来查不要等几个小时的epoch跑完再回头。4.2 少数类样本只有百余张整体准确率虚高少数类全是“复读机”现象验证集整体准确率到了0.94但按类看recall某两类只有0.3左右大量样本被预测到了样本最多的类别上。原因8类微生物图像在真实场景里天然不均衡。难培养的物种图片少易培养的物种图片多默认的CrossEntropyLoss会被多数类主导少数类学不到有效决策边界。解决最常见的做法是双管齐下用WeightedRandomSampler调整采样权重同时给loss也加上类别权重。这样少数类既能被更多次采样到梯度又不会被多数类淹没。import numpy as np import torch from torch.utils.data import WeightedRandomSampler labels np.array([label for _, label in train_ds.samples]) class_counts np.bincount(labels) if (class_counts 0).any(): raise ValueError(存在样本数为0的类别先回第2章检查目录) weight_per_class 1.0 / class_counts.astype(np.float64) sample_weights weight_per_class[labels] sampler WeightedRandomSampler( sample_weights, num_sampleslen(sample_weights), replacementTrue, ) train_loader DataLoader( train_ds, batch_size32, samplersampler, num_workers2, ) _, counts np.unique(labels, return_countsTrue) loss_weight torch.tensor(1.0 / counts, dtypetorch.float32) criterion torch.nn.CrossEntropyLoss(weightloss_weight)参数说明WeightedRandomSampler按sample_weights概率有放回抽取样本replacementTrue表示可以重复抽到少数类样本num_samples一般设为样本总数保证每个epoch步数稳定。loss_weight用的是1/counts这个值可以调比如换成total / (num_classes * counts)权重会平滑一些训练初期更稳。如果你的训练数据严重不均衡且少数类样本低于200张光靠加权还不够配合数据增强会更有效对少数类做随机旋转、平移、色彩抖动本质上是把“重复采样”变成“变换采样”降低过拟合风险。4.3 灰度图、RGBA、16bit TIFF混在一起训练到一半直接崩现象训练到第2个epoch突然报“cannot identify image file”或者loss直接变成nan。细查发现有的图片是单通道灰度有的是RGBA四通道还有16bit的TIFF。原因显微镜导出格式不统一很常见。有的软件把灰度图存成带alpha通道的PNGnp.array出来shape是(H, W, 4)有的系统直接存16bit单通道TIFF普通网络输入是三通道8bit数值范围也对不上。解决在数据入口统一转成RGB这就是DictAlignedFolderDataset里convert(RGB)的作用。如果遇到PIL读不了的16bit TIFF用tifffile兜底import numpy as np import tifffile arr tifffile.imread(path) if arr.ndim 2: arr np.stack([arr] * 3, axis-1) elif arr.ndim 3 and arr.shape[2] 4: arr arr[:, :, :3] arr arr.astype(np.float32) arr (arr - arr.min()) / (arr.max() - arr.min() 1e-8)逻辑说明先统一维度再归一化到0-1范围这样16bit数据和8bit数据在数值尺度上一致不会因为像素值范围不同导致白化或nan。加1e-8是为了防止纯色图像标准差为0时除零。医学图像里这类问题比自然图像常见因为采集设备五花八门。我一般会在__getitem__里打印一次数据shape和取值范围确认无误后再关掉打印避免每次迭代都输出日志拖慢速度。4.4 固定划分不代表泛化同源样本让验证集“虚高”现象在数据集自带的验证集上准确率0.95但换到另一台显微镜或另一批培养条件下拍到的新样本准确率掉到0.6。原因这8类微生物图像可能来自同一批样本、同一台设备、同一个采集日背景光照、培养基颜色、染色程度高度一致。模型学到了“背景模式”而不是微生物本身的形态特征。固定划分只能保证file不重叠不能保证分布不重叠。解决项目早期就建立外部确认集哪怕只有几十张也必须来自不同批次或不同设备。没有外部数据时用颜色抖动、模糊、随机裁剪做压力测试如果性能剧烈波动说明模型特征不稳健。固定划分更适合做训练过程中的相对比较不能作为最终交付指标。这类问题没有完美解法只能是“数据够不够多样、划分够不够独立”。我的经验是把这类数据集当成基线资源而不是终点。用它验证代码流程、模型选型和超参逻辑真正上线前再补充多样化的真实数据。5. 用10个epoch的轻量基线验证数据管线冻结backbone只训分类头调参有玄学但数据管线有没有问题10个epoch就能暴露。这一章用一个轻量基线把“数据读取、标签映射、增强链路”全部验证一遍后续再考虑换大模型。5.1 为什么要先跑一个“只训分类头”的基线直接上来就微调ResNet50或EfficientNet训练慢出问题也难定位。常见做法是先用ResNet18预训练权重冻结backbone只训练最后的全连接层跑10个epoch。这一步不是为了刷准确率而是为了验证三件事图片能不能被正确解码、标签和目录是否对齐、当前学习率和batch size是否合理。如果连这种简单配置都能正常收敛说明数据侧没问题模型侧才有优化的空间如果loss不降或准确率徘徊在随机水平问题大概率出在前面的加载代码而不是网络结构。5.2 最小训练循环从预训练权重到8分类输出import torch from torch import nn, optim from torchvision import models device torch.device(cuda if torch.cuda.is_available() else cpu) model models.resnet18(weightsmodels.ResNet18_Weights.IMAGENET1K_V1).to(device) # 冻结主干只训练分类头 for param in model.parameters(): param.requires_grad False in_features model.fc.in_features model.fc nn.Linear(in_features, 8).to(device) optimizer optim.Adam(model.fc.parameters(), lr1e-3) criterion nn.CrossEntropyLoss() for epoch in range(10): model.train() running_loss 0.0 for images, labels in train_loader: images, labels images.to(device), labels.to(device) optimizer.zero_grad() outputs model(images) loss criterion(outputs, labels) loss.backward() optimizer.step() running_loss loss.item() * images.size(0) epoch_loss running_loss / len(train_ds) model.eval() correct, total 0, 0 with torch.no_grad(): for images, labels in val_loader: images, labels images.to(device), labels.to(device) outputs model(images) _, preds torch.max(outputs, dim1) correct (preds labels).sum().item() total labels.size(0) val_acc correct / total print(fepoch{epoch:02d} loss{epoch_loss:.4f} val_acc{val_acc:.4f})逻辑说明冻结主干后backbone只做前向特征提取梯度只回传到最后的全连接层显存占用和训练时间都大幅降低。model.fc的输出维度从预训练的1000改成8对应8类微生物。lr1e-3对分类头是安全起点如果解冻backbone做全模型微调学习率通常要降到1e-5到1e-4。参数说明输出维度写死8但这个数字应该始终从len(train_ds.class_names)获取而不是硬编码。如果以后数据集扩展成10类这里忘记改就会在加载checkpoint时出现shape不匹配这类错误越早暴露越好。5.3 判断基线是否健康的三个检查点检查点看什么异常信号训练loss前3个epoch应明显下降loss完全不降先查学习率和数据归一化验证准确率10个epoch后应明显高于随机水平始终在0.2以下优先怀疑标签映射loss波动小幅波动正常出现nan回看4.3的通道与位深问题三个检查点里我最看重标签映射。如果前几个epoch loss还在正常下降但val_acc纹丝不动先别怀疑模型或超参把训练集和验证集的标签分布各打印一遍看两边是否使用了同一套编码。很多项目在这上面浪费了一两周最后发现只是train和val的class_to_idx不一致。6. 把类别字典当作长期资产维护训练、推理、checkpoint共用一份映射最后说一个我自己的习惯类别字典不是训练时才用的临时配置而是整个项目的数据契约。训练、评估、推理、生成报告所有环节都只从这一份字典取类别名绝不写死在代码里。说清楚很容易坚持做需要三个具体动作。6.1 训练前自动比对文件夹和字典把第2章的检查逻辑提成一个函数放进每个训练脚本的开头或者注册成git的pre-commit钩子。一旦有人改了目录名而没有更新字典当天就会被拦住。import json import os import sys def check_consistency(rootmicrobe8_dataset): with open(os.path.join(root, label_dict.json), encodingutf-8) as f: label_dict json.load(f) expected set() for key, entry in label_dict.items(): if isinstance(entry, dict): expected.add(entry.get(folder_name, entry.get(name_en, key))) else: expected.add(entry) for split in [train, val, test]: split_root os.path.join(root, split) actual set(os.listdir(split_root)) missing expected - actual extra actual - expected - {label_dict.json} if missing: print(f[FAIL] {split} 缺少: {missing}) sys.exit(1) if extra: print(f[WARN] {split} 多余: {extra}) print([OK] label_dict 与目录结构一致) if __name__ __main__: check_consistency()这个函数的成本很低但能阻止一类特别不值当的翻车模型训练完了结果发现实验记录里的类别编号顺序和实际模型输出的顺序不一致所有结论都得推倒重来。6.2 checkpoint里保存字典推理时直接取用保存模型时不要把字典留在外部文件里而是直接写进checkpointtorch.save({ model_state: model.state_dict(), optimizer_state: optimizer.state_dict(), label_dict: label_dict, num_classes: len(label_dict), }, fmicrobe8_{len(label_dict)}cls.pth)推理时加载ckpt torch.load(microbe8_8cls.pth, map_locationcpu) label_dict ckpt[label_dict]这样即使几个月后自己都忘了“3号是什么”打开checkpoint也能拿到权威答案。模型文件名也建议带上字典版本号比如microbe8_8cls_v2.pth。我吃过“旧模型配新字典”的亏模型还在字典被覆盖最后的预测结果完全没有追溯性那感觉就像费了半天劲做了一锅没法回头的饭。这套“先读字典、再动目录、保存时带上字典”的习惯是我做医学图像分类项目以来最值得保留的一条。它不带来理论创新也解决不了8种微生物识别里的全部难点但它保证你每一步实验结果都不会因为标签混乱而作废。希望帮到你。本文还有配套的精品资源点击获取