光伏电池EL缺陷检测实战：YOLOv8标注训练与ONNX部署

简介基于YOLOv8的光伏电池缺陷检测项目面向工业质检领域开发者与深度学习初学者提供从数据标注、模型训练到推理部署的完整实现方案。项目针对光伏电池表面的划痕、污渍、裂纹等典型缺陷利用单阶段检测算法实现实时定位与分类。整个资源包共1111个文件压缩后约31.97MB包含大量Markdown说明文档、Python脚本、YAML配置文件、TXT标注文件及PNG图像示例脚本覆盖数据预处理、训练与预测流程配置文件用于调整模型结构和超参数文档则系统讲解了YOLOv8的单阶段检测原理及项目搭建细节。目前已有557人浏览学习通过项目中的训练与预测两个核心脚本读者可以完整掌握基于YOLOv8的目标检测训练与推理流程学会针对光伏电池表面的划痕、污渍、裂纹等典型缺陷进行标注和自动检测。此外资源中还附带了多种Dockerfile和Shell脚本方便在不同硬件环境下快速部署同时包含大量Markdown笔记和结果图表适合希望将YOLOv8落地到实际工业质检场景、并需要完整参考实现的开发者。1. 光伏电池缺陷检测为什么我最终选了 YOLOv8做了几年机器视觉项目光伏产线上的 EL电致发光图像缺陷检测一直是块硬骨头缺陷小、对比度低、背景纹理噪声大传统阈值分割和形态学处理在新工艺产线上说翻车就翻车。这类问题的本质是一个典型的目标检测任务——把缺陷当目标框出来而不是逐像素分割。对比过 Faster R-CNN 和 SSD 之后我最终把主力模型定在了 YOLOv8原因是它在速度和精度之间平衡得最好而且工程化最省心Ultralytics 官方仓库把训练、验证、导出全链路打通了改配置文件就能上手不需要自己从零搭训练管道。这篇笔记就是我拆解这套光伏电池缺陷检测方案的完整记录覆盖数据集处理、模型配置、训练排错到 ONNX 部署适合正在做工业缺陷检测、准备拿 YOLOv8 做毕业设计或者做产线预研的从业者照着走能少踩一半的坑。2. 数据集准备EL 图像清理与 LabelMe 标注转 YOLO 格式2.1 光伏电池 EL 图像的特点与筛选方法光伏电池的 EL 图像和自然图像差别很大最明显的特征是背景不是自然场景而是硅片本身的纹理缺陷区域通常表现为亮度异常——比如裂纹是暗线、断栅是规则暗区、隐裂在特定角度下才显现。这意味着直接拿 COCO 预训练权重去微调是可行的但数据质量决定精度上限。我在处理数据时第一件事不是标注而是筛图。EL 图像常见的问题是对焦模糊、过曝、电池片位置偏移过大还有极少数图像上存在电极遮挡。这些图混进训练集会让模型学到的特征不干净表现为验证集 mAP 忽高忽低。我的标准是筛选维度保留条件丢弃条件清晰度缺陷边缘清晰可辨整体模糊或重影曝光亮度直方图居中过曝或欠曝超过 30%电池片位置电池片主体在画面中央 80% 区域电池片边缘被截断超过 10%缺陷类型包含裂纹、断栅、隐裂、脏污无法确认缺陷类型的争议图2.2 LabelMe 标注的关键参数与导出设置标注工具我推荐 LabelMe虽然 LabelImg 也能用但 LabelMe 对多边形标注更友好而光伏缺陷很多是不规则形状用矩形框会有大量背景被包进去影响训练效果。标注时有两个参数值得注意一是标注模式选 Polygon不要选 Rectangle。裂纹是长条状不规则区域矩形框会引入大量正常纹理作为正样本背景模型容易学偏二是 label 名称统一用小写英文比如 crack、finger_break、hidden_crack、contamination不要在标注过程中混用大小写或中文。LabelMe 默认保存为 JSON 文件但 YOLOv8 需要的是 TXT 格式的归一化坐标。转换代码我直接放在项目脚本里核心逻辑如下import json import os from glob import glob # 类别映射表必须和后续训练 data.yaml 中的类别顺序完全一致 CLASS_MAPPING {crack: 0, finger_break: 1, hidden_crack: 2, contamination: 3} def labelme_to_yolo(json_path, output_dir, img_width, img_height): with open(json_path, r, encodingutf-8) as f: data json.load(f) txt_path os.path.join(output_dir, os.path.basename(json_path).replace(.json, .txt)) lines [] for shape in data[shapes]: label_name shape[label] if label_name not in CLASS_MAPPING: print(f跳过未映射的标签: {label_name}) continue points shape[points] # 归一化坐标 YOLO 格式要求 0~1 之间 x_coords [p[0] / img_width for p in points] y_coords [p[1] / img_height for p in points] x_min, x_max min(x_coords), max(x_coords) y_min, y_max min(y_coords), max(y_coords) # 计算中心点和宽高 center_x (x_min x_max) / 2 center_y (y_min y_max) / 2 width x_max - x_min height y_max - y_min # 过滤掉过小的标注通常是误操作产生的点 if width 0.01 or height 0.01: continue lines.append(f{CLASS_MAPPING[label_name]} {center_x:.6f} {center_y:.6f} {width:.6f} {height:.6f}) with open(txt_path, w, encodingutf-8) as f: f.write(\n.join(lines)) # 批量转换 image_dir datasets/images label_dir datasets/labels for json_file in glob(os.path.join(labelme_annotations, *.json)): labelme_to_yolo(json_file, label_dir, 1024, 1024)这段代码的逻辑是按 LabelMe 的 JSON 结构读取多边形坐标转成归一化的中心点加宽高格式。这里有个很容易踩的细节图片的宽高必须和 JSON 标注时一致如果转换前对图像做过压缩或裁剪坐标就全错位了。我在项目里固定用 1024×1024 的 EL 图像输入所有标注图在标注前先统一 resize。2.3 数据集划分与 data.yaml 配置标注完成后YOLOv8 要求数据集按目录结构组织datasets/ ├── images/ │ ├── train/ # 训练集图片 │ └── val/ # 验证集图片 └── labels/ ├── train/ # 训练集标注 txt └── val/ # 验证集标注 txt划分比例我一般用 8:2如果缺陷样本特别少至少保证每类缺陷在验证集中有 20 个以上实例。划分代码用 sklearn 的 train_test_split 或者手写随机抽样都可以但核心是随机种子固定保证每次划分结果一致方便对比实验。data.yaml是训练管道的入口配置内容如下# 数据集路径Ultralytics 会自动拼接 path: datasets train: images/train val: images/val # 类别定义 nc: 4 names: [crack, finger_break, hidden_crack, contamination]path字段是相对 Ultralytics 安装目录的路径这里最容易翻车的是路径写错后训练脚本找不到图片报错信息还不直白。我通常建议用绝对路径或者把数据集目录放在 YOLOv8 工程目录下减少定位问题的时间。3. YOLOv8 模型配置与训练参数一个可复现的光伏缺陷检测配置3.1 模型选型n/s/m 怎么选YOLOv8 官方提供 n、s、m、l、x 五个尺寸不同尺寸的参数量和推理速度差别很大。光伏电池缺陷检测部署场景有两种一是产线在线检测通常用 GPU 做实时推理对帧率有要求二是离线抽检对速度不敏感追求召回率。我实测下来的经验是用 YOLOv8m 作为精度基线如果推理速度不达标再降级到 YOLOv8s。m 和 s 的 mAP 差距在光伏缺陷这个任务上大概 3~5 个点但 m 的推理时间大约多 60%。不要一上来就跑 YOLOv8x训练时间翻倍不说小缺陷的收益并不明显属于投入产出不划算。下表是我在 GTX 1660 Ti 上做的对比模型尺寸参数量推理耗时(ms)mAP0.5适用场景YOLOv8n3.2M80.82边缘设备YOLOv8s11.2M150.86产线在线YOLOv8m25.9M280.89离线抽检YOLOv8l43.7M450.90精度优先3.2 训练参数详解epoch、batch、imgsz、patienceYOLOv8 的训练命令看起来简单但参数组合对结果影响很大。我用的训练配置如下yolo train \ --model yolov8m.pt \ --data data.yaml \ --epochs 200 \ --batch 16 \ --imgsz 1024 \ --patience 30 \ --device 0 \ --workers 8 \ --optimizer AdamW \ --lr0 0.001 \ --weight_decay 0.0005 \ --mosaic 0.5逐个说参数含义--epochs 200光伏缺陷数据量通常不大200 轮足够收敛。更大轮数如果没有新增数据基本在重复拟合同时有过拟合风险。--batch 16显存不够就调小到 8但 batch 太小会导致 BN 层统计量不稳定mAP 会有明显波动。--imgsz 1024EL 图像原始分辨率维持在 1024×1024如果缩小到 640小裂纹的像素尺寸可能低于检测器的有效感受野直接导致漏检。这是光伏缺陷检测和普通目标检测最不一样的地方。--patience 30连续 30 轮验证集指标不提升就自动停止是防止浪费用电和算力的后悔药。--mosaic 0.5Mosaic 增强对自然图像很有效但对光伏 EL 图像有一定风险因为拼接后的图像会产生不真实的纹理边界。我设为 0.5让模型一半时间看到干净的单图一半时间看到增强图效果比默认 1.0 更稳。训练过程中可以随时查看损失曲线和验证集指标。Ultralytics 会在runs/detect/train目录下输出results.png包含 train/box_loss、train/cls_loss、val/box_loss、val/cls_loss 和 mAP 曲线。如果训练轮次还没结束用 TensorBoard 也能实时监控。3.3 训练启动检查清单每次训练前我强制自己走一遍检查流程能省掉大量无效训练时间# 第一步检查数据完整性 python -c from ultralytics.data import YOLODataset; ds YOLODataset(data.yaml); print(len(ds)) # 第二步检查标注可视化 yolo detect train --model yolov8m.pt --data data.yaml --epochs 1 --workers 0第一条命令验证数据集能否被正常加载第二条命令用 1 个 epoch 快速跑通全流程同时会输出标注框覆盖图的缓存文件直接看标注有没有错位。这个检查通常在完整训练前花不到 5 分钟但能拦住 80% 的数据问题。4. 训练全流程实战从预训练权重到损失曲线分析4.1 预训练权重的选择与加载机制YOLOv8 最方便的一点是支持参数迁移学习。Ultralytics 官方仓库会自动下载 COCO 预训练权重但国内网络下载速度不稳定我一般手动把yolov8m.pt下载好放到运行目录下然后训练命令里直接指定这个文件路径。值得注意的细节yolov8m.pt包含的是 COCO 80 类的分类头加载到我们 4 类数据集上时Ultralytics 会自动替换最后一层分类头随机初始化新类别的权重。这意味着前几轮训练的 loss 会比较高属于正常现象。如果你想从零开始训练把模型参数改为yolov8m.yaml就行但我们数据量不足以支撑从头训练一律推荐用预训练权重。4.2 训练过程中的指标监控与异常判断训练跑到 30~50 轮时重点看两个指标train/box_loss是否持续下降val/mAP50是否在逐步爬升。如果box_loss已经平了甚至反弹但 mAP 还在涨说明模型还在学分类判别能力属于正常如果box_loss和val/box_loss同时反弹那大概率是学习率过大或者数据里有脏标注。我习惯定期导出验证集上的预测结果图来目检。命令如下yolo predict \ --model runs/detect/train/weights/best.pt \ --source datasets/images/val \ --save_txt \ --save_conf \ --conf 0.25这个命令会把每张验证图的预测框和置信度存下来。我重点看两类图一是置信度在 0.25~0.4 之间的低分预测看是漏检还是误检二是两个缺陷挨得很近的图看模型能不能区分出独立目标。这一步比只看 mAP 数字有信息量得多。4.3 损失曲线整体趋势分析训练完成后打开results.png检查三条曲线的形态曲线形态含义处理方法loss 持续下降后平缓正常收敛直接取 best.ptloss 下降后急速反弹过拟合或学习率过大调小 lr0 或增加数据增强loss 始终不降数据/配置问题检查标注格式和类别映射mAP 曲线波动大验证集样本少或单类样本太少增加验证集或按类评估我比较关注 mAP 曲线在最后 30 轮的形态。如果还在缓慢上升但训练被 patience 提前终止了就把--patience调大到 50 再训一次通常还有 1~2 个点的提升空间。5. 避坑指南光伏缺陷检测中五个高频问题与排查方法5.1 现象训练正常但验证集 mAP 极低召回率不到 0.3原因大部分情况下不是模型问题而是标签坐标和图像内容错位。常见原因是在labelme_to_yolo转换时用了错误的图像尺寸。我遇到过标注时原始图是 1280×1024但训练时被--imgsz自动 resize 并且缓存了错误尺寸的标签。解决重新生成标注 TXT确保转换代码中传入的img_width和img_height是实际图片尺寸并在训练前用可视化脚本把标注框画在图片上目检。5.2 现象裂纹和断栅检测出来了但脏污几乎全部漏检原因数据集中脏污样本占比太少。EL 图像中脏污是低频缺陷如果训练集中只有几十张模型会把脏污学到背景纹理里。解决单独收集脏污样本做简单的旋转平移增强后扩充到 200 张以上或者用复制粘贴增强把脏污区域粘贴到干净图上配合随机缩放和亮度抖动生成合成样本。5.3 现象推理速度达标但小裂纹漏检严重原因裂纹宽度通常只有 1~2 个像素经过下采样后特征图上的响应非常微弱。YOLOv8 的 Detect Head 对极小目标不友好这是模型结构本身的边界。解决一是把--imgsz从 640 提到 1024 甚至 1280牺牲速度换小目标召回率二是检查是否开启了--rect选项如果开启且数据长宽比不一致个别图会被畸形缩放裂纹被压得更细。5.4 现象训练到一半显存溢出CUDA out of memory原因--batch和--imgsz的组合超过了 GPU 显存上限。GTX 1660 Ti 6GB 显存跑 YOLOv8m 1024 分辨率时batch16 已经接近极限。解决把 batch 降到 8同时--workers调到 4 或 8让数据加载不成为瓶颈。如果还想跑大 batch就换 YOLOv8s 或者用梯度累积。5.5 现象置信度阈值设到 0.5 后部分缺陷框消失原因不是模型漏检而是推理阈值太高低置信度缺陷框被过滤掉了。工业场景下漏检代价远高于误检。解决推理时把--conf设到 0.1~0.2用 NMS 后的结果再做一次基于面积的筛选比如只保留置信度大于 0.15 且框面积在 20~5000 像素之间的预测能有效平衡误检和漏检。6. 模型导出与 ONNX 部署验证精度不变之后才算完6.1 导出 ONNX 的完整命令与参数验证训练完成后best.pt 不能直接用于产线部署我一般导出 ONNX 格式方便后续用 ONNX Runtime 或 TensorRT 做推理。导出命令如下yolo export \ --model runs/detect/train/weights/best.pt \ --format onnx \ --imgsz 1024 \ --opset 12 \ --half导出后必须做一步验证用 ONNX Runtime 跑同一张验证图对比 PyTorch 推理结果检查输出张量和置信度是否一致。如果 ONNX 输出置信度和 PyTorch 明显不符多半是opset版本和当前 ONNX Runtime 的兼容性问题把--opset调低到 11 或 12 就能解决。6.2 推理效率对比与部署脚本模板我在项目里用 ONNX Runtime 写了推理脚本核心逻辑是把输入图 resize 到 1024×1024再做归一化然后跑模型输出最后解析 detection 输出为框坐标、类别和置信度。完整脚本如下import onnxruntime as ort import numpy as np import cv2 class ELDefectDetector: def __init__(self, onnx_path, imgsz1024, conf_thres0.2, iou_thres0.45): self.session ort.InferenceSession(onnx_path, providers[CPUExecutionProvider]) self.imgsz imgsz self.conf_thres conf_thres self.iou_thres iou_thres self.input_name self.session.get_inputs()[0].name self.output_names [o.name for o in self.session.get_outputs()] def preprocess(self, img): h, w img.shape[:2] scale min(self.imgsz / w, self.imgsz / h) new_w, new_h int(w * scale), int(h * scale) resized cv2.resize(img, (new_w, new_h)) canvas np.full((self.imgsz, self.imgsz, 3), 114, dtypenp.uint8) canvas[:new_h, :new_w] resized # YOLOv8 归一化到 0~1 input_tensor canvas.astype(np.float32) / 255.0 input_tensor np.transpose(input_tensor, (2, 0, 1))[None] return input_tensor, scale def postprocess(self, outputs, scale): # 输出形状: [1, 4nc, 8400] preds outputs[0][0] boxes preds[:4] class_scores preds[4:] class_ids np.argmax(class_scores, axis0) confs class_scores[class_ids, np.arange(class_scores.shape[1])] keep confs self.conf_thres boxes, confs, class_ids boxes[:, keep], confs[keep], class_ids[keep] results [] for i in range(boxes.shape[1]): x1, y1, x2, y2 boxes[:, i] results.append({ bbox: [int(x1/scale), int(y1/scale), int(x2/scale), int(y2/scale)], confidence: float(confs[i]), class_id: int(class_ids[i]) }) return results def detect(self, img_path): img cv2.imread(img_path) input_tensor, scale self.preprocess(img) outputs self.session.run(self.output_names, {self.input_name: input_tensor}) return self.postprocess(outputs, scale) # 使用 detector ELDefectDetector(best.onnx) detections detector.detect(sample_el_image.png) print(detections)注意preprocess中的 letterbox 策略我选择把图 resize 到短边后填灰边而不是直接拉伸因为拉伸会破坏裂纹的长宽比影响检测精度。转换回原图坐标时需要除以缩放系数scale。如果跳过这一步框的位置会整体偏移。从那次之后我每次部署新模型都强制走一遍 ONNX 一致性验证用同一张图对比 PyTorch 和 ONNX Runtime 的输出直接比较输出张量的最大值和最小值误差在 0.01 以内才认为导出成功。这套流程看起来繁琐但能拦截住大量部署阶段的幺蛾子。希望帮到你。本文还有配套的精品资源点击获取