Python机器视觉实战：基于YOLO的害虫种类识别与数量统计

简介一份基于Python机器视觉的害虫种类识别与数量检测完整项目适用于农业病虫害监测场景可作为毕业设计或课程设计参考。资源将图像预处理、特征提取、机器学习模型训练与结果评估串联为完整流程OpenCV完成灰度化、滤波、边缘检测SIFT、ORB提取特征SVM或CNN用于分类并提供数据库存储样本信息及GUI界面辅助展示。压缩包共163个文件大小约14.58MB以97个jpg图片样本、23个py脚本为主辅以xml标注、npy权重、csv数据、model模型及pdf说明文档目录清晰便于按模块复现。项目包含数据预览、训练与预测脚本、环境配置说明和可视化结果展示可直接运行并二次开发。目前已有171人学习下载对想掌握机器视觉落地流程的初学者和需要完整课设项目的开发者都很有参考价值。1. 虫口密度还在靠数虫板Python机器视觉把害情统计变成一条命令每年春夏季植保员和农户要在田间蹲点把稻飞虱、蚜虫从叶片上一只只数出来一个观测点半小时起数完腰酸眼也花。正因如此“基于Python机器视觉实现害虫种类及数量检测”这类项目才会年年盘踞毕业设计与课程设计的热门榜单——它把机器视觉里两个最常用的任务分类与目标检测拧成了一个真实需求识别图里有哪几种害虫、每类各多少只。这里按做这类机器视觉项目的实际顺序展开先定方案再备数据、训模型最后落到数量统计与排坑。适合正在做这个题目、不想只在论文里贴两张效果图的人也适合想用一个完整案例把Python机器视觉串起来的工程师。2. 检测方案先选型传统CV还是深度学习看这四笔账再动手2.1 传统机器视觉的看家本领HSV阈值与轮廓的局限先别急着装环境第一件事是把“用什么方法检测”定下来。害虫种类和数量检测在机器视觉里属于目标检测问题传统计算机视觉和深度学习都能做但两者的人力、时间、硬件投入完全不同。我一般先问三个问题场景是否可控室内灯箱还是田间自然光、虫体与背景颜色是否可分、需要识别几类虫。田间照片里最难处理的是背景。以水稻叶片上的蚜虫为例叶片大面积是绿色蚜虫有浅黄、深绿、黑色几种。传统机器视觉的做法是先转到HSV颜色空间用颜色阈值把绿色背景挡掉再做形态学开运算过滤噪点最后用轮廓检测统计面积大于某个阈值的连通域代码结构大致是这样import cv2 import numpy as np img cv2.imread(pest_sample.jpg) # 转 HSVH 是色相S 是饱和度V 是明度比 BGR 更贴近人眼对颜色的描述 hsv cv2.cvtColor(img, cv2.COLOR_BGR2HSV) # 绿色叶片的 HSV 范围H 35~85 覆盖黄绿到深绿 lower_bg np.array([35, 40, 40]) upper_bg np.array([85, 255, 255]) mask_bg cv2.inRange(hsv, lower_bg, upper_bg) # 背景取反剩下的大致就是虫体候选区域 mask_pest cv2.bitwise_not(mask_bg) # 开运算先腐蚀再膨胀把细小的噪点抹掉 kernel np.ones((3, 3), np.uint8) mask_pest cv2.morphologyEx(mask_pest, cv2.MORPH_OPEN, kernel) contours, _ cv2.findContours(mask_pest, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) # 面积阈值 30 像素过滤掉碎小的背景残留也过滤掉太小的虫 pest_count sum(1 for c in contours if cv2.contourArea(c) 30) print(pest_count)这套代码跑通很快麻烦的是参数。lower_bg 和 upper_bg 的 HSV 范围受光照影响极大上午十点和下午四点的同一个点位叶片反光不同V 通道的值整体漂移阈值范围没跟上就会出现整片误检。面积阈值 30 像素也不是恒定值离镜头近的虫子和远的虫子像素面积差几十倍一个固定阈值必然漏掉一部分。再想深入刻画虫体纹理就算引入傅里叶变换做频域特征田间复杂背景也会把频谱搅成一团区分度非常有限。2.2 深度学习目标检测精度、速度与数据成本的权衡所以只要题目里带“种类”两个字传统方案大概率翻车——颜色接近的不同虫子同是绿色系的蚜虫和叶蝉很难用阈值分开。深度学习目标检测的思路完全不同让模型自己去学“什么样的局部特征组合代表某种虫”。以 YOLO 这类单阶段检测器为例它把图片划分成网格在每个网格上预测若干预设框anchor再回归出目标中心点、宽高和类别概率最后用非极大值抑制NMS把重叠框合并。整个过程一次前向推理完成速度和精度平衡得很不错。我常用下面这张表来跟人解释为什么做多类别检测优先上深度学习维度传统CV阈值轮廓深度学习YOLO类数据标注基本不需要每类建议500个实例起步光照鲁棒性差参数要跟着调靠数据增强和网络泛化明显更强多类别识别很难特征靠手工设计天然支持改个类别数就能加可解释性好每一步可回溯黑匣子只能从置信度和特征图侧面验证落地速度当天可跑demo数据训练部署约一到两周如果你的项目只要求统计数量场景又固定比如室内诱虫灯箱传统CV完全能省钱省事一旦要分种类或者田间光照多变深度学习就是绕不开的选择。2.3 技术栈落地Python、cv2与推理框架的搭配方案定下来后技术栈的选择反而简单。Python 生态里做机器视觉项目基本离不开 cv2安装名是 opencv-python和 numpy前者负责图像读写、预处理、轮廓和画框后者做数组运算。训练用的框架我一般选成熟开源的实现目前常用的是 Ultralytics 系列 YOLO 或早期的 YOLOv5 系训练和推理统一成一套命令行省去自己拼模型结构的时间。如果最终要放到没有 GPU 的机器上跑再把模型导出成 ONNX 格式用 onnxruntime 做推理依赖会比 PyTorch 轻很多。这套“Python cv2 预处理 YOLO 训练 ONNX 推理”的组合也是现在机器视觉应用工程师日常做缺陷检测、计数类项目最常见的路径害虫检测只是其中一种业务变体。3. 数据是训练的命门害虫图像采集、标注与扩增的完整路径3.1 数据从哪来田间采集、公开数据集与脏数据清洗很多人的第一个误区是不重视数据量。YOLO 默认的预训练权重是在自然图像上训出来的里面没有“稻飞虱”这个概念要靠你的数据集把参数纠正过来。我一般建议每类害虫至少要有 500 个标注实例样本少的类别往 1000 个以上凑不然训练出来的模型会在个别类别上栽跟头第 5 章会详细展开这个坑。数据来源有三条路。第一条是自己拍用手机或者单反俯拍受害叶片和虫体拍的时候注意换角度、换光照时段尽量覆盖自然光的早中晚变化——这比你在后期做数据增强更接近真实田间分布。第二条是用公开数据集农业害虫方向有几个公开集合但要注意它们大多数以图像分类为主图片里虫子位置未知你需要人工确认虫体位置后重新标框。第三条是从网上搜集图片做补充这类数据版权和使用范围要谨慎毕业设计内部使用问题不大商用就必须查清楚授权。数据拿到手之后先做清洗我踩过的坑是直接用下载包训练数据里既有重复图又有标错类别的框还有整张图只有一片叶尖没有虫的噪声样本。清洗标准就三条图片清晰且虫子肉眼可辨框与虫体贴合不要为了快把半个翅膀框出去类别标签和虫子品种一一对应别把相近的两种合并成一种。3.2 LabelImg标注与XML转YOLO格式的转换脚本标注工具我习惯用 LabelImg 这类开源图形工具Python 环境里一行 pip 装好界面操作非常直接打开图片鼠标拖框圈住虫子输入类别名保存。导出格式默认是 PascalVOC 的 XML 文件里面记录图片宽高、每个目标的类别和左上右下四个点坐标。YOLO 训练不吃 XML它要的是每张图片对应一个同名 txt 文件每行格式是“类别id cx cy w h”其中 cx、cy、w、h 都是除以图片宽高后的归一化值。转换脚本用 Python 标准库就够了import xml.etree.ElementTree as ET import os def convert_xml_to_yolo(xml_path, out_dir, class_names): tree ET.parse(xml_path) root tree.getroot() img_w int(root.find(size/width).text) img_h int(root.find(size/height).text) lines [] for obj in root.iter(object): name obj.find(name).text # 类别名不在列表里直接跳过避免脏标签混进来 if name not in class_names: continue cls_id class_names.index(name) box obj.find(bndbox) x1 float(box.find(xmin).text) y1 float(box.find(ymin).text) x2 float(box.find(xmax).text) y2 float(box.find(ymax).text) # 转成中心点宽高的归一化坐标 cx (x1 x2) / 2 / img_w cy (y1 y2) / 2 / img_h bw (x2 - x1) / img_w bh (y2 - y1) / img_h lines.append(f{cls_id} {cx:.6f} {cy:.6f} {bw:.6f} {bh:.6f}) if not lines: return out_name os.path.splitext(os.path.basename(xml_path))[0] .txt with open(os.path.join(out_dir, out_name), w, encodingutf-8) as f: f.write(\n.join(lines)) # 用法示例把 train_xmls 目录下所有 XML 转换并输出到 train_labels # convert_xml_to_yolo(train_xmls/sample.xml, train_labels, [aphid, leafhopper])这里两个细节容易出错一是 XML 里的 xmin/xmax 是字符串不转 float 直接除会报类型错误二是 YOLO 的 txt 文件必须和图片同名且放在 data.yaml 指定的 labels 目录里目录层级错了训练时一张图都读不到。转换完成后用一个最简单的校验随机挑几十个 txt把里面的坐标反算成像素框画回图片上肉眼看框的位置对不对。这一步能过滤掉 XML 损坏、坐标越界等问题。3.3 样本扩增策略亮度扰动、仿射变换与类别均衡田间数据永远不够数据扩增是必需的。我常用下面的策略组合扩增参数会直接影响模型泛化太大失真、太小没效果常用配置大概是这个区间扩增方法参数范围作用亮度扰动增益 0.7~1.3模拟早中晚光照变化对比度扰动0.8~1.2模拟晴天阴影的对比度差异水平翻转概率 0.5左右对称的虫子可放心用随机旋转±10度模拟叶片姿态变化角度太大会引入大量背景随机裁剪裁剪后面积 50%~90%模拟检测距离变化注意别裁掉目标本体Mosaic4图拼接提升小目标识别YOLO 训练默认开启Copy-Paste把虫体贴到新背景缓解样本不足的类别但贴图必须做边缘融合扩增代码我习惯用 albumentations它和 numpy 接口兼容还能同步变换标注框不会出现“图转了框没转”的经典翻车。主要注意一点像蚜虫这样本身很小的目标随机旋转超过 15 度会把目标旋出框外缩放比例过大又会让目标变成几像素的噪点所以扩增宁缺毋滥。另外扩增不是越猛越好我见过把亮度增益拉到 2.0 的数据集模型在正常光线下反而不认了因为训练分布被扩增带偏。类别不均在害虫数据里很常见比如稻飞虱数量巨大而红蜘蛛只有零星几张。除了对少数类加大扩增倍数之外我还会对少数类做重复过采样同一张图在训练时多次出现并在训练配置里给少数类提升损失权重。这一步可能比调网络结构更能直接影响少数类的最终 mAP。4. 训练害虫检测模型YOLO配置、超参数与损失曲线排查4.1 环境准备Python版本与CUDA匹配训练环境这一关会挡住很多新手因为这属于典型的环境问题报错信息有时候很抽象。我的顺序是先看显卡驱动支持的 CUDA 版本在终端执行 nvidia-smi看右上角的 CUDA Version再按这个版本选择对应的 PyTorch 安装命令最后装 Ultralytics 的包。Python 版本建议选 3.8 到 3.10 之间的成熟版本太新的版本有时候第三方 wheel 包还没跟上。IDE 方面 PyCharm 和 VSCode 都可以关键是给项目单独建一个虚拟环境别把项目依赖装进系统 Python。如果你用的是 VSCode记得把解释器指到虚拟环境否则命令行能跑、编辑器里 import cv2 却报错这类“环境对不上”的问题占了初学者排错时间的一大半。CPU 训练不是不行而是数据集大的时候等不起一个小数据集 100 轮在 CPU 上可能要跑一晚上GPU 只要十几分钟所以能用 GPU 尽量用 GPU。4.2 数据集配置与模型参数names、imgsz与epochs的联动数据目录准备好后需要一份数据集配置文件data.yaml告诉训练器图片在哪、类别有几类、名字分别是什么。给 YOLO 写 data.yaml 的格式就是这样# 训练集和验证集的图片目录训练时按目录扫描同名 txt 标签 train: data/images/train val: data/images/val # 类别数量和 txt 文件里的类别 id 范围对应从 0 开始 nc: 5 names: [aphid, planthopper, leafhopper, spider, beetle]这条配置里最常用的参数说明如下。imgsz 是训练时把图片缩放到的尺寸640 是适用小到中目标的常用值如果你的害虫普遍只占几十像素建议试 1280代价是显存占用显著上升且训练时间变长。epochs 训练轮次小数据集我从 100 起步配合早停patience在验证集连续若干轮不提升时自动结束。batch 受显存限制推荐能用多大用多大一般 16 起步。lr0 默认值通常够用初学者不要一上来就调学习率先跑通基线再动它。还有一个经常被忽略的 mosaic 参数YOLO 默认开启马赛克数据增强它在最后十来个轮次会自动关闭属于正常现象不需要干预。4.3 训练启动到验证命令、日志与mAP解读训练命令本身不长以 Ultralytics 系列的接口为例yolo detect train \ datadata.yaml \ modelyolov8n.pt \ epochs100 \ imgsz640 \ batch16 \ device0第一行 data 指向上面写的 yamlmodel 写成预训练权重路径如 yolov8n.ptYOLO 会从预训练权重开始迁移学习而不是从零训练。device0 表示用第一张显卡训练设备换成 devicecpu 后输出对比一眼就能看出来。训练终端里会打印每一轮的 train loss、box loss、cls loss、dfl loss以及验证集上的 precision、recall、mAP50、mAP50-95。这几个指标的读法是这样mAP50 是框与真值框交并比超过 0.5 就算中检出的平均精度直观代表“大致位置对不对”mAP50-95 是多个 IoU 阈值下的平均值对框的定位精度更敏感害虫检测里 0.7 以上就算很不错。如果 train loss 一路下降但 val 指标停滞甚至下降那就是过拟合的信号优先加数据量、加强扩增而不是再加训练轮次。训练结束后在 runs/detect/train 目录下会生成 best.pt 和 last.pt后面推理用的是 best.pt。5. 避坑指南害虫检测项目里这几类坑我替你踩过了下面这些坑是我和身边同学真实踩过的血泪经验每一条按“现象、原因、解决”三段写你可以直接当检查清单用。5.1 小目标漏检虫体只有几十个像素怎么办现象验证集 mAP 看着不错结果拿到田间新图上一查漏检的全是那种只有二三十像素的小黑点。原因YOLO 输入默认 640 尺寸原图里的小目标经过多次下采样后特征只剩几个像素网络根本分不清它是虫还是噪点。解决两个方向都值得试。一是把训练和推理的 imgsz 提到 1280目标像素面积差不多能放大四倍检测率提升立竿见影二是用切片推理SAHI把大图切成小块分别检测再合并结果。注意训练和推理的 imgsz 保持一致否则尺度不一致会让精度明显下降。5.2 类别不均样本少的害虫类别mAP直接归零现象训练完一看某个类别的 recall 是 0模型对这个类别的正样本一个都没框出来。原因训练数据里这个类别的正样本数太少或者即使样本数够标注框的大多数重叠在一起有效样本更稀。解决按第 3 章的扩增方案对少数类做针对性扩增和过采样并在 loss 里给稀有类别提高权重。如果数据实在凑不齐还有一种务实做法把数量极少的类别并入“其他害虫”这一大类先保证多类别的可用性。我在一个项目里试过把 15 类合并成 8 类整体 mAP 从 0.55 提到 0.78某些类别该合并就合并单独存在的代价远大于收益。5.3 置信度阈值玄学调低阈值不等于召回率提升现象conf 从 0.25 调到 0.05确实多框出不少目标但假阳性框也暴增数量统计反而更不可信。原因阈值是精度和召回率的平衡点不是单一越界开关。检测器的原始输出是一堆带置信度的候选框低阈值等于把不确定的框也放进来。解决先不要凭感觉调阈值用验证集画出 PR 曲线找曲线拐点位置作为阈值基准然后在这个基准上再微调。另一个更可靠的做法是做一次阈值扫描在验证集上跑 0.1 到 0.6 的阈值看每个阈值下的数量误差绝对差选误差最小的那档作为部署参数。5.4 数据泄漏同场景照片同时进了训练集和验证集现象训练 loss 低得离谱验证 mAP 也几乎满分但在完全新的田间照片上检测效果稀烂。原因同一个点位连拍的照片被随机划分成了训练集和验证集验证集和训练集高度相似模型相当于在开卷考试。解决划分数据集时以“拍摄组”为单位而不是以“单张图片”为单位把同一时间、同一植株的一组连拍全部放进同一个集合再用组维度做随机划分。这样验证集才真的代表你没见过的场景也是一个比 mAP 更重要的工程习惯。5.5 部署环境不一致训练好好的换台机器就崩现象训练机上推理正常把代码和权重复制到另一台机器报一堆 “No module named” 或 CUDA error。原因依赖库的版本在训练机上是装好的新机器没有对应的 PyTorch、opencv-python、onnxruntime 版本。解决训练环境用 requirements.txt 锁住关键版本另一种更省心的方案是把 best.pt 导出成 ONNX部署端只装 onnxruntime 和 opencv-python不装完整 PyTorch。这样做还有一个好处ONNX 是静态图部署机上就算没有 GPU 也能用 CPU 跑推理省去依赖冲突的折腾。6. 推理与数量统计把检测结果变成一张能用的害情报表6.1 一次推理怎么数对数目推理脚本与去重模型训好后害情统计的重点就从找框变成了数得准。核心推理脚本不长先看代码再讲两个真正的坑import cv2 from ultralytics import YOLO model YOLO(best.pt) # 加载训练集上验证效果最好的权重 results model(field_sample.jpg, conf0.35, iou0.45, imgsz1280) names model.names cls_ids results[0].boxes.cls.cpu().numpy() report {} for cid in set(cls_ids.tolist()): report[names[int(cid)]] int((cls_ids cid).sum()) print(report)这里 conf 决定哪些候选框被保留iou 决定重叠框合并到什么程度一个收多、一个收重需要调平衡。一个容易忽略的点是如果统计对象是单张照片上面代码没问题如果是连续视频帧同一只虫会在多帧里重复出现直接统计会把数量虚高好几倍正确做法是先接目标跟踪如 ByteTrack给每个目标分配临时 ID统计时按 ID 去重。6.2 用统计误差校验你的模型比mAP更直观的验证方法我判断模型能不能交付不看 mAP 而看统计误差从验证集外挑 50 到 100 张图人工数出真实数量再和程序数量做差算平均绝对误差和最大误差。误差在 10% 以内可以当辅助参考超过 20% 就必须回去补数据或调阈值。做一轮阈值扫描后把这套脚本固定下来以后换数据集就重复这一步。交付毕业设计或课程设计时项目包里最好像这样固定放四块data 放图片和标注、scripts 放转换和训练推理脚本、weights 放 best.pt 和 onnx、docs 放 README 和环境说明。整套方案从环境搭建到报表输出大概一周能跑通。我现在每次训练完已经习惯先跑阈值扫描和统计误差脚本让数据告诉我这轮迭代有没有变好而不是盯着训练曲线自我感动。希望帮到你。本文还有配套的精品资源点击获取