皮肤癌目标检测数据集实战：从解压到YOLOv8训练

简介这份资源是一套面向医学影像目标检测任务的高质量皮肤癌数据集适合计算机视觉研究者、医学AI开发者和目标检测初学者用于模型训练、算法验证与效果对比。包内包含基底细胞癌、黑色素瘤、银屑病、脂溢性角化病等九类常见皮肤病变的标注图像共计一千五百七十张高分辨率医学图片并已按训练集一千二百五十六张、验证集三百一十四张完成划分可直接用于监督学习流程。压缩包共两千个文件以txt格式标注文件与jpg原图为主其中txt文件对应每张影像的目标框信息jpg为采集到的皮肤病灶图像另含yaml配置文件和docx数据集说明文档整体大小六十八点一六MB。目前已有141人学习。该数据覆盖良性及恶性病变类目丰富且贴近临床实际既可用于检测算法开发也适合作为课程设计、论文实验或比赛训练数据。1. 皮肤癌目标检测数据集先看清这个zip是数据还是半成品皮肤癌目标检测数据集这个zip我拿到手的第一反应是先看目录树而不是急着解压训练。它跟自然图像数据集最大的区别在于数据来源不统一一部分图来自公开的皮肤镜图像库原标注是分割掩码或分类标签另一部分来自机构内部整理标注格式五花八门。这个包的存在意义就是替你把从原始医疗图像到目标检测可用格式的脏活累活干了一部分——但一部分是重点。它适合两类人一是做目标检测算法想找一个非自然图像领域练兵的人二是做皮肤科辅助诊断、需要把检测模型当作前级定位模块的工程师。如果指望解压之后直接跑通你大概率会踩到坐标越界、类别断层、样本不均衡这些基础坑。2. 皮肤病灶检测为什么非用目标检测不可分类标签和边界框之间的差距2.1 一张图一个标签 vs 一个病灶一个框标注语义的质变先说一个很多人忽略的常识不少公开皮肤癌数据集比如ISIC的早期版本是图像级分类一张皮肤镜照片只对应一个病理结果。这种数据拿来训练分类模型没问题但一旦需求变成在整张皮肤图像里圈出所有可疑病灶分类模型完全给不出位置信息。临床上医生看皮肤镜图像第一眼是在找有哪些不规则的病灶区域第二眼才是判断这个区域是良性还是恶性。目标检测数据集把这两步合并了每个病灶实例有一个边界框和一个类别标签模型直接输出一组 (x, y, w, h, class, confidence)。这里有一个我在实际使用中特别在意的点这个zip里的框是从分割掩码直接转出来的还是人工标注的从分割掩码转出来的框四边紧紧贴着病灶边缘框内基本只有病灶自身人工框注则通常带一点安全边距。前者看起来干净但训练出来的模型在遇到真实图像时往往对边缘更敏感因为训练样本的框太紧后者的标签分布更接近人工标注的测试集现实场景中更稳。所以拿到数据集的第一件事是随机挑几十张图把框画出来观察框的风格再决定要不要做后续标签修正。2.2 目录结构是VOC还是YOLO一眼识别数据集的血统目标检测数据集的目录结构基本就是两个流派Pascal VOC 和 YOLO。这个zip可能直接是YOLO布局也可能是VOC布局需要自己转甚至可能是半成品——标注散落在JSON或者CSV里连目录划分都没有。对应三种样式会在下面表格中汇总。布局图片目录标注位置坐标形式YOLOimages/trainlabels/train/*.txt归一化的 cx, cy, w, hPascal VOCJPEGImagesAnnotations/*.xml绝对像素 xmin, ymin, xmax, ymaxCOCOtrain2017annotations/*.json绝对像素 x, y, w, hYOLO格式每一行代表一个目标例如0 0.5123 0.4687 0.1024 0.0876第一个数字是类别ID后面四个是中心点坐标和宽高全部归一到 01。VOC是XML文件一个文件对应一张图。COCO的JSON会把所有标注集中在一个文件里用annotation id关联图片。皮肤癌数据集为了省事常见做法是直接给YOLO格式的txt——因为YOLOv5/v8用户最多。但有些来源的包直接用LabelImg导出的VOC XML各有利弊。如果拿到的是VOC可以用一段转换脚本下面给出通用的转换逻辑。注意VOC坐标是绝对像素转换时要除以图像宽高转出来才是01的归一化坐标。import xml.etree.ElementTree as ET import os def voc_to_yolo(xml_path, out_dir, class_names): tree ET.parse(xml_path) root tree.getroot() size root.find(size) img_w int(size.find(width).text) img_h int(size.find(height).text) lines [] for obj in root.findall(object): name obj.find(name).text if name not in class_names: continue cls_id class_names.index(name) bndbox obj.find(bndbox) xmin float(bndbox.find(xmin).text) ymin float(bndbox.find(ymin).text) xmax float(bndbox.find(xmax).text) ymax float(bndbox.find(ymax).text) # 注意YOLO的w/h是框宽高不是右下角坐标 x_center (xmin xmax) / 2.0 / img_w y_center (ymin ymax) / 2.0 / img_h w (xmax - xmin) / img_w h (ymax - ymin) / img_h lines.append(f{cls_id} {x_center:.6f} {y_center:.6f} {w:.6f} {h:.6f}) base os.path.splitext(os.path.basename(xml_path))[0] with open(os.path.join(out_dir, base .txt), w) as f: f.write(\n.join(lines))这段脚本的关键点在两个地方。第一是 class_names 的排序必须固定一旦中途增删类别已经生成的txt里所有ID都要跟着变否则会出现类别串位——模型把黑色素瘤当成良性痣训练这种错误最隐蔽。第二是输出坐标保留6位小数就够了超过这个精度不会对训练有任何帮助反而让文件变大。实际转换时img_w和img_h应该从图片本身读取而不是从XML里读因为有些标注工具会把width和height写错。2.3 统计类别分布和框尺寸一次看清数据家底在进入训练之前我习惯写一个一页纸的统计脚本把两类信息算出来一是每个类别的图片数和标注实例数二是边界框宽度和高度的分布。皮肤癌数据集里的病灶天然偏小——比如一个直径只有几毫米的早期黑色素瘤在640×640输入下可能只有20×30像素。如果你不统计直接按默认的锚框配置去训练小目标基本会被漏掉。import os from collections import Counter label_dir labels/train img_sizes {} # 假设你已经知道每张图的宽高这里简化为读图片目录 cls_counter Counter() instance_count 0 box_sizes [] for fname in os.listdir(label_dir): if not fname.endswith(.txt): continue with open(os.path.join(label_dir, fname)) as f: for line in f: parts line.strip().split() if len(parts) ! 5: print(f格式异常: {fname} - {line}) continue cls_id int(parts[0]) w float(parts[3]) h float(parts[4]) cls_counter[cls_id] 1 instance_count 1 box_sizes.append((w, h)) print(类别ID分布:, dict(cls_counter)) print(总实例数:, instance_count) # 判断是否存在小目标倾向框宽高归一化后小于0.05的比例 small_ratio sum(1 for w, h in box_sizes if max(w, h) 0.05) / len(box_sizes) print(f归一化最大边0.05的目标占比: {small_ratio:.2%})这个脚本的核心产出不是那张统计表而是三类异常信号。第一类是空标注文件——txt文件存在但没有内容说明可能有图像被跳过或标注丢失第二类是类别ID断层——如果类别ID是0、2、5而中间缺了1和3训练时类别数量设置稍不留神就会错位第三类是尺寸极端分布——如果超过40%的目标归一化最大边小于0.05你的输入分辨率就得认真考虑用960而不是640。3. 拿到zip后先做这三步解压、校验、可视化3.1 Linux下解压数据集编码问题与损坏校验zip是最常见的分发格式但医疗数据集在跨平台传递时最容易翻车的反而是字符编码。Windows上压缩的zip如果含中文文件名在Linux上用unzip解压出来经常是一堆乱码标注文件里的路径也跟着错位。我一般会先用unzip -l列一遍压缩包内容确认有没有异常文件名再决定要不要解压。unzip -l skin_cancer_dataset.zip | head -50 unzip -O gbk skin_cancer_dataset.zip -d ./skin_cancer_dataset第一行先看压缩包里的文件清单。第二行是重点-O gbk指定解压时用GBK编码解释文件名这是Windows中文压缩包的标准处理方式。如果你的包是纯英文路径不需要加这个参数直接用默认UTF-8解压。解压完成后用du -sh看一眼总大小和简介或说明文档里写的容量对一下差太多说明压缩包可能上传不完整。另外解压后建议随手改掉默认的data/这种无意义路径改成skin_cancer/images/、skin_cancer/labels/后面写yaml的时候能少踩很多路径坑。无论使用Linux服务器还是Windows本地解压比如用7-Zip或资源管理器右键核心原则都一样先列清单再解压再核对大小不要一把梭。3.2 校验YOLO标注越界、空标注、类别ID中间断层解压完先跑校验脚本。这个脚本比训练脚本更值得保留因为每次换数据集都要复用。校验点有三个坐标是否都在0到1之间、每个txt里的类别ID是否小于类别总数、是否有空标注文件。import os label_dir labels/train num_classes 7 # 按实际类别数量改 bad_files [] empty_files [] class_ids set() for fname in sorted(os.listdir(label_dir)): if not fname.endswith(.txt): continue fpath os.path.join(label_dir, fname) with open(fpath) as f: lines [line.strip() for line in f if line.strip()] if not lines: empty_files.append(fname) continue for line in lines: parts line.split() if len(parts) ! 5: bad_files.append((fname, 字段数不是5)) continue cls_id int(parts[0]) class_ids.add(cls_id) if cls_id 0 or cls_id num_classes: bad_files.append((fname, f类别ID越界: {cls_id})) try: vals [float(x) for x in parts[1:]] except ValueError: bad_files.append((fname, 坐标不是数字)) continue if not all(0.0 v 1.0 for v in vals): bad_files.append((fname, f坐标越界: {vals})) if vals[2] 0 or vals[3] 0: bad_files.append((fname, 宽或高为0)) print(空标注文件数量:, len(empty_files)) print(异常标注文件数量:, len(bad_files)) print(出现过的类别ID:, sorted(class_ids)) for item in bad_files[:20]: print(item)这里有一个容易忽略的细节YOLO格式的坐标越界检查应该允许极小误差比如1.0000001因为很多标注工具在保存时浮点精度不够四舍五入会造成几个像素的越界。如果是我写我会把容忍度放到-0.001 v 1.001超出这个范围才报错。另外宽或高为0的情况也要单独列出来这类文件在训练时会被当成无效目标跳过但它往往意味着标注工具导出异常越早发现在哪里越好。3.3 用OpenCV把标注框画出来一眼看出数据质量统计脚本能发现数值异常但发现不了标签语义错误——比如框标注在了正常皮肤上或者类别标反了。这一步只能靠人眼。我每次拿到医疗图像数据集都会随机抽三五十张图用OpenCV把框画出来拼成一张网格图过一遍。这也是处理目标检测数据集时最常见的检查手段比盯着指标猜问题靠谱得多。import cv2 import os img_dir images/train label_dir labels/train class_names [melanocytic_nevus, melanoma, basal_cell_carcinoma, actinic_keratosis, benign_keratosis, dermatofibroma, vascular_lesion] def draw_boxes(img_path, label_path, class_names): img cv2.imread(img_path) h, w img.shape[:2] with open(label_path) as f: for line in f: parts line.strip().split() if len(parts) ! 5: continue cls_id int(parts[0]) x, y, bw, bh map(float, parts[1:]) x1 int((x - bw / 2) * w) y1 int((y - bh / 2) * h) x2 int((x bw / 2) * w) y2 int((y bh / 2) * h) color (0, 255, 0) if cls_id 1 else (0, 0, 255) cv2.rectangle(img, (x1, y1), (x2, y2), color, 2) cv2.putText(img, class_names[cls_id], (x1, max(0, y1 - 5)), cv2.FONT_HERSHEY_SIMPLEX, 0.5, color, 1) return img files sorted(os.listdir(img_dir))[:36] tiles [] for fname in files: base os.path.splitext(fname)[0] lb_path os.path.join(label_dir, base .txt) if not os.path.exists(lb_path): continue tiles.append(draw_boxes(os.path.join(img_dir, fname), lb_path, class_names)) grid cv2.vconcat([cv2.hconcat(tiles[i:i6]) for i in range(0, len(tiles), 6)]) cv2.imwrite(visual_check.jpg, grid)用这个脚本生成一张6×6的网格图重点看三个地方。第一框是否紧贴病灶边缘如果框比病灶大很多说明标注质量粗糙第二框内是否包含明显正常皮肤这种情况在人工标注中很常见如果比例过高建议重新标注而不是直接训练第三类别文字是否与病灶形态匹配——这一步是纯粹的经验活皮肤镜图像里黑色素瘤通常边缘不规则、颜色深浅不一良性痣大多边缘均匀。如果你自己拿不准可以找科室医生帮你抽检几十张。这个抽检成本远低于训练完再回头清洗数据的成本。4. 用YOLOv8训练皮肤癌数据集从yaml到第一个能用的模型4.1 划分数据集与dataset.yaml确认标注没问题后先做数据划分。皮肤癌数据集常见的问题是原始划分不均衡有的包只给了train和val没有test有的包train里类别的分布和真实临床场景差异很大。我一般会按8:1:1重新划分并且按类别分层采样——保证每个子集里各类别比例一致。import os import random import shutil random.seed(42) img_dir images label_dir labels train_ratio, val_ratio 0.8, 0.1 all_imgs [f for f in os.listdir(img_dir) if f.endswith(.jpg)] random.shuffle(all_imgs) n_train int(len(all_imgs) * train_ratio) n_val int(len(all_imgs) * val_ratio) splits { train: all_imgs[:n_train], val: all_imgs[n_train:n_train n_val], test: all_imgs[n_train n_val:], } for split, files in splits.items(): os.makedirs(fimages/{split}, exist_okTrue) os.makedirs(flabels/{split}, exist_okTrue) for fname in files: base os.path.splitext(fname)[0] shutil.move(os.path.join(img_dir, fname), fimages/{split}/{fname}) shutil.move(os.path.join(label_dir, base .txt), flabels/{split}/{base}.txt)这段脚本为了演示做成了全量随机分割但实际皮肤癌数据集如果类别不均衡更好的做法是先按标签文件把每个实例的类别收集起来做stratified split。手工实现stratified split也不复杂先按图片主类别分组再在每个组里按比例划分最后合并。之所以要保证划分一致性是因为皮肤癌数据集的验证集如果类分布和生产环境差太远mAP会给你一个虚高或虚低的乐观信号。这个脚本里random.seed(42)是必须的没有固定种子每次运行划分结果都不一样你调参时对比的指标就失去了可比性。数据集目录准备好之后写一个skin_cancer.yamlpath: ./skin_cancer_dataset train: images/train val: images/val names: 0: melanocytic_nevus 1: melanoma 2: basal_cell_carcinoma 3: actinic_keratosis 4: benign_keratosis 5: dermatofibroma 6: vascular_lesionpath是数据集的根目录train和val是相对根目录的子目录。如果path写绝对路径在不同机器之间迁移时要记得改否则会直接报数据集不存在。names的类别顺序必须和标注文件里的ID严格对应尤其注意如果这个zip里类别经过了重新编号这个列表就是唯一权威对应关系。4.2 训练命令和四个关键参数划分完成后再执行训练。我一般用YOLOv8起步原因很直接生态成熟文档全预训练权重好找训练命令也短。如果你更熟悉v5参数基本是通用的。关键不是版本号而是知道每个参数的物理含义。yolo detect train \ dataskin_cancer.yaml \ modelyolov8n.pt \ epochs100 \ imgsz640 \ batch16 \ patience15 \ projectskin_cancer_runs \ namebaseline几个参数的选型逻辑值得细说。参数取值说明modelyolov8n.pt先用nano跑通流程再看资源和效果换s或mimgsz640 或 960皮肤病灶小目标多960通常比640高2-3个点mAPbatch显存允许范围内尽量大16是8GB显存的安全起点epochs100起步医疗数据量小100轮足够看趋势patience15连续15轮val指标不提升就早停imgsz是皮肤癌数据集上最大的杠杆参数。640是通用默认值但皮肤病灶在很多图里只占几个百分点缩到640后小目标信息损失非常严重。如果显卡显存允许16GB以上先用960试一轮baselinemAP50通常会上涨。batch的上限由显存决定一个经验公式是batch × imgsz² 的积保持在某个区间内8GB显存下batch16, imgsz640是安全组合。patience在医疗数据上不要设太大——医学图像数据集通常只有几千张训练到后期val指标波动大设30以上的patience容易浪费时间15轮是一个合理的折中。4.3 训练日志怎么读loss曲线和类别不均衡的预警训练结束后输出目录里会有results.csv和results.png重点看三列train/loss、val/loss、metrics/mAP50(B)。如果val/loss从某个epoch开始反弹而train/loss还在降说明开始过拟合早停会替你掐断。但要特别留意一种医疗数据常见情况val/loss一直降mAP50却在一个低水平横盘这通常说明类别不均衡——占比最多的良性痣把loss拉下去了但模型在黑色素瘤上仍然学不会。遇到这种情况先看confusion_matrix.png矩阵里对应黑色素瘤那一行的数值会非常直观地告诉你它被误分成了哪一类。YOLOv8对类别不均衡没有内置的重采样我一般用两种方式解决一是引入class weights但这个选项在检测头里效果不如分类任务明显二是做图像级复制——把包含稀有类别的整张图复制几份放回训练集实际操作中比调loss更稳妥。此外YOLOv8训练时可通过plotsTrue生成PR曲线和混淆矩阵默认配置已经包含。把baseline的结果当作参照物——后续改分辨率、加数据增强、换backbone所有改动都跟这一版的指标比而不是跟网上别人报的指标比。你手里的数据集和别人的差异可能很大mAP绝对值没有意义相对提升才是你在调参时真正需要盯住的东西。训练完成后用下面的命令快速验证val集上的指标yolo detect val \ modelskin_cancer_runs/baseline/weights/best.pt \ dataskin_cancer.yaml \ imgsz640best.pt对应验证集指标最好的权重last.pt是最后一个epoch的权重。如果两者mAP差距很大说明训练后期波动明显可以考虑用最后一轮之前的权重或者加长训练。验证命令要带上训练时一致的imgsz分辨率不一致会导致mAP不可比较。5. 皮肤癌数据集训练的6个常见坑与排查5.1 坑一解压后没有labels目录标注散落在JSON/CSV里现象解压完只有一张张皮肤镜图片和一个大JSON文件找不到labels目录yaml里直接写train: images/train后训练报labels not found。原因很多数据集打包者没有把标注转成YOLO格式而是保留了最原始的导出格式。COCO的JSON标注或者CSV表格在医疗领域很常见因为这些格式更通用。解决不要手动改yaml先把JSON/CSV转成YOLO txt。COCO JSON转YOLO的脚本网上多的是但注意两点一是JSON里的bbox是[x, y, w, h]绝对像素转的时候要除以图像尺寸二是COCO的类别ID是基于类别名字母序排列的跟你自己定义的类别顺序不一致需要先建立一个映射表再转换。5.2 坑二类别ID中间断层模型训练时类别数量错乱现象训练能启动mAP也能涨但推理结果把黑色素瘤显示成良性痣或者类别名和框完全对不上。原因原数据集的类别ID可能去掉了某些类别比如ID是0、2、5YOLO配置里names列表却按顺序写成了0、1、2。一旦ID错位训练时模型看到的标签语义和你以为的完全不同而且loss不会告诉你出错。解决跑一遍数据校验脚本把所有txt里出现过的类别ID列出来和yaml里names的个数做比对。如果最大ID大于等于names的数量就需要重写ID映射用脚本把所有txt里的类别ID压成连续编号这也是目标检测数据集处理中的高频操作。这一步没有捷径唯一的验收标准就是可视化——把框和类别名画出来人眼核对无误再进训练。5.3 坑三loss正常下降但mAP极低病灶小目标被漏检现象训练日志里loss平滑下降看着一切正常但val集mAP50只有0.2左右预测结果几乎框不出病灶。原因皮肤病灶在整幅皮肤镜图像中占比很小默认640输入下小目标特征在多次下采样后已经消失。这不是训练不收敛是分辨率、锚框和感受野的共同限制。解决先统计框尺寸分布确认超标后把imgsz提到960必要时用yolov8m或yolov8l换更大的模型。如果还是不行给包含小目标的图像做切片——把图切四块单独训练推理时也切块再合并。切片方案虽然粗暴但在高分辨率皮肤镜图像上是可靠的手段。5.4 坑四验证集指标很好真实皮肤镜照片上检测效果差现象val mAP50有0.85但拿手机拍的照片或医院临时采集的图像测试漏检严重。原因训练集和验证集来自同一个源头存在同分布问题真实场景的皮肤镜图像可能来自不同设备、不同放大倍数、不同肤色背景分布偏移直接把模型打出原形。解决把val集另存一份不要参与任何调试另外再找几十张不同来源的皮肤镜图做外部验证集。外部验证集的mAP才是你在汇报时真正能拿出手的指标。另外模型部署时要同时输出置信度和类别让医生来判断低置信度框是否保留这比模型自己硬着头皮给结论靠谱。5.5 坑五训练到一半显存溢出CUDA out of memory现象训练刚开始或第若干轮后报CUDA out of memory进程被杀。原因imgsz和batch组合超出显存或者workers太多导致内存溢出。在皮肤癌数据集这种小数据集上很多人习惯把batch调大结果忽略了显存上限。解决优先把batch减半其次降imgsz。YOLOv8支持batch-1自动寻找最大batch但自动寻找的batch往往偏大我会手动限制一个安全值。如果需要在固定显存下塞更大batch可以开启amp默认开启并关闭cache。另外如果一张图像分辨率超过3000×3000建议先做预处理缩放4000像素宽的皮肤镜原图直接喂给YOLO是在浪费显存。5.6 坑六同类别图风格差异极大模型学到的是拍摄环境不是病灶现象mAP很高但把框可视化后发现模型对暗色图像背景特别敏感亮色背景的图像几乎全部漏检。原因皮肤镜数据集的拍摄条件不统一有的中心有黑圈、有的带刻度尺、有的用不同色温光源。模型学到的是环境特征不是病灶特征。解决训练前做数据清洗把非病灶区域的干扰比如刻度尺、反光点、毛发用预处理遮盖或裁剪。也可以加入随机光照扰动、随机HSV变化等增强手段强制模型不再依赖光源特征。在医疗场景里任何提高泛化的手段都比堆模型大小更值得先做泛化能力在临床数据上比mAP分数更重要。6. 进阶技巧用置信度阈值与TTA把皮损边缘检细到这里你的baseline模型已经能跑了但你大概率会遇到一个很实际的问题皮肤病灶的边界在皮肤镜图像里是渐变的模型输出的框往往比医生真正关注的区域多出一圈或者缺一块尤其是黑色素瘤这种边缘不规则的病灶。YOLO的输出框是矩形天然无法贴合不规则病灶但我们可以从两个方向把结果用得更好。第一个技巧是调整推理时的置信度阈值。皮肤癌目标检测场景下漏检的代价远高于误检——漏掉一个恶性病灶是严重问题多框出一个良性痣最多是麻烦医生看一眼。所以推理时我会把置信度阈值压到0.15甚至0.1配合iou0.4做NMS合并。低阈值会带来大量重复框但这正好交给NMS去合并最终留下的框通常就是病灶核心区域。需要额外说明的是低置信度框不适合直接自动化诊断线上使用要设计一个低置信度队列让这些框进入人工复核流程这也是不少落地项目能通过评审的原因。第二个技巧是TTA测试时增强。YOLOv8自带yolo predict ... augmentTrue推理时对图像做多尺度翻转等变换取平均预测结果。对皮肤镜图像这种高频噪声多的场景TTA能把边界框的位置稳定性提升一个台阶尤其对直径很小的早期病灶有效。它的代价是推理时间翻倍到三倍离线分析无所谓实时辅助诊断如果卡在30毫秒上就得权衡是否只对低置信度候选框做TTA。验证方面我最后做的一步经常被忽略画一张预测结果与原图叠加的拼图按置信度从高到低排成9宫格全部过目一遍。这一步类似于给模型做出厂质检——如果高置信度框里出现明显误检说明数据还有问题如果低置信度框是正确的病灶说明置信度阈值还有下探空间。做一个工程化的医疗检测模型单纯看指标是走不到生产环境的人眼质检是最后一层的兜底。坚持这么干之后我的经验是不急着换更大的backbone先解决低置信度区的漏检效果来得快得多。希望这些踩坑和排查的思路能帮到你。本文还有配套的精品资源点击获取