基于YOLOv8的危险区域闯入识别：从部署到轨迹分析

简介这份资源面向计算机、人工智能、自动化等专业的在校学生与教师以及需要完成毕设、课程设计或大作业的学习者提供一套基于YOLOv8的智慧工厂危险区域闯入识别完整方案。项目围绕目标检测与计算机视觉展开可直接用于工业安全场景下的闯入行为识别演示。压缩包共8个文件包含3个Python脚本、3个模型权重文件与2个说明文本整体约15.91MB涵盖模型训练、视频检测与可视化界面等核心模块。资源内附完整数据集、可视化页面与部署说明运行后可生成核心指标曲线图、混淆矩阵、F1分数曲线、精确率-召回率曲线、验证集预测结果及标签分布图便于答辩展示与结果分析。目前已有28人学习下载。代码经过测试运行成功部署简单拿来即可使用也可在此基础上修改扩展适合作为毕设保底项目或课程设计参考。1. 危险区域闯入识别从“人盯屏幕”到“模型盯画面”的落地拐点智慧工厂里最容易被低估的风险不是设备故障而是人出现在不该出现的地方。冲压机运行区间、机械臂作业半径、高压配电柜前方、AGV 专用通道——这些区域一旦有人闯入轻则触发急停造成产线中断重则酿成安全事故。传统做法靠物理围栏加人工巡检围栏挡不住有意或无意的跨越巡检又有时间盲区。基于 YOLOv8 的危险区域闯入识别系统解决的正是这个“实时发现、即时告警”的问题用目标检测模型持续分析监控画面判断是否有人进入预设的危险区域一旦命中就触发报警并留存证据。这套方案适合安防集成商、工厂信息化团队也适合拿来做毕设或课程设计的学生——源码、数据集、可视化界面、部署教程都给齐了简单部署即可运行功能完善、操作简单。接下来我会把从环境搭建到区域判定逻辑的完整路径拆开讲包括参数怎么调、坑在哪、怎么验证效果。2. 先搞清楚这套系统在检测什么YOLOv8 与危险区域的结合点2.1 为什么选 YOLOv8 而不是其他检测器危险区域闯入识别本质上是一个“目标检测 区域判定”的复合任务。检测部分要回答“画面里有没有人、人在哪”区域判定部分要回答“这个人是否进入了预设的危险多边形”。YOLOv8 在这个场景里有几个实际优势一是推理速度快在 GTX 1660 Ti 这类中端显卡上跑 640 输入尺寸能到 60 FPS 以上满足实时监控需求二是模型体积小n/s 版本适合边缘设备部署比如 RK3588 或 Orin 这类板端三是训练流程成熟数据集格式统一从 Labelme 标注到 YOLO 格式转换的路径清晰。常见做法是直接用 COCO 预训练权重做迁移学习只检测“person”一类。如果工厂场景里有特殊着装要求比如反光背心、安全帽可以扩展类别但要注意新增类别需要重新标注和训练。我一般会先用预训练模型跑一遍现场视频看看漏检和误检集中在哪些画面再决定要不要加数据增强或调整输入分辨率。2.2 危险区域怎么定义多边形而不是矩形很多人第一反应是用矩形框画危险区域但工厂里的危险区域往往是不规则形状——比如机械臂的扇形作业范围、传送带旁边的梯形通道。用矩形框会引入大量无关区域导致误报率飙升。正确做法是用多边形顶点坐标定义区域在代码里通过射线法或 OpenCV 的pointPolygonTest判断检测框中心点是否落在多边形内。区域定义通常存在一个 JSON 或 YAML 配置文件里每个摄像头对应一组多边形顶点。顶点坐标用归一化值0 到 1 之间而不是像素值这样换分辨率或换摄像头时不用重新标定。下面是一个典型的区域配置文件结构{ camera_01: { danger_zones: [ { name: 冲压机作业区, polygon: [[0.2, 0.3], [0.6, 0.3], [0.6, 0.8], [0.2, 0.8]], level: high }, { name: AGV通道, polygon: [[0.7, 0.1], [0.95, 0.1], [0.95, 0.6], [0.7, 0.6]], level: medium } ] } }polygon里每个点是[x, y]归一化坐标level用来区分告警级别——高危区域触发声光报警中危区域只记录日志。这个设计的好处是扩展性强新增摄像头或调整区域不用改代码改配置就行。2.3 从检测框到闯入判定中心点策略与重叠面积策略拿到 YOLOv8 的输出后判定逻辑有两种常见策略。第一种是中心点策略取检测框的几何中心判断该点是否在多边形内。实现简单计算量小适合人形目标完整出现在画面里的场景。第二种是重叠面积策略计算检测框与危险区域多边形的交集面积超过阈值就判定为闯入。这种策略更严格能捕捉到“人半个身子探入危险区”的情况但计算量稍大。我一般会先用中心点策略跑通流程如果现场反馈漏报多再切换到重叠面积策略。切换时只需要改判定函数检测部分不用动。下面是一个中心点判定的核心代码片段import cv2 import numpy as np def is_inside_zone(bbox, polygon, img_shape): bbox: [x1, y1, x2, y2] 像素坐标 polygon: [[x, y], ...] 归一化坐标 img_shape: (height, width) h, w img_shape[:2] # 归一化多边形转像素坐标 pts np.array([[int(p[0] * w), int(p[1] * h)] for p in polygon], dtypenp.int32) # 计算检测框中心点 cx int((bbox[0] bbox[2]) / 2) cy int((bbox[1] bbox[3]) / 2) # pointPolygonTest 返回正数表示在内部 result cv2.pointPolygonTest(pts, (cx, cy), False) return result 0pointPolygonTest的第三个参数设为False表示只返回位置关系不返回距离值速度更快。如果要做重叠面积策略可以用cv2.intersectConvexConvex计算交集面积再除以检测框面积得到重叠比例。3. 把环境跑起来从零到推理出第一帧结果3.1 环境配置CPU 版本和 GPU 版本的选择热词里有人问“ubuntu20.04 搭建 yolov8 环境 cpu 版本”也有人用 GTX 1660 Ti 跑 YOLOv8。我的建议是如果只是做毕设或功能验证CPU 版本足够跑通流程推理速度大概 2 到 5 FPS用来处理图片或离线视频没问题如果要接实时摄像头做产线部署必须上 GPU否则帧率跟不上告警延迟会很大。CPU 版本的环境配置相对简单核心依赖是ultralytics和opencv-python。下面是在 Ubuntu 20.04 上的安装步骤# 创建虚拟环境 python3 -m venv yolov8_env source yolov8_env/bin/activate # 安装 PyTorch CPU 版本 pip install torch torchvision --index-url https://download.pytorch.org/whl/cpu # 安装 ultralytics 和 opencv pip install ultralytics opencv-python # 验证安装 yolo checksyolo checks会输出环境信息包括 PyTorch 版本、CUDA 是否可用、依赖包版本。如果 CUDA 显示不可用但你有 GPU说明 PyTorch 装成了 CPU 版本需要卸载后重新安装对应 CUDA 版本的 PyTorch。这一步是新手最容易翻车的地方——装完发现推理慢得离谱一查才发现根本没用到 GPU。3.2 数据集准备Labelme 标注到 YOLO 格式转换热词里“labelme 标注用于 yolov8”和“处理数据集用于 yolov8 训练”是高频问题。Labelme 标注出来的是 JSON 文件每个 JSON 对应一张图片里面记录了多边形或矩形框的顶点坐标。YOLO 需要的是每张图片对应一个.txt文件每行格式为class_id x_center y_center width height全部归一化到 0 到 1 之间。转换脚本的核心逻辑是读取 Labelme JSON提取所有矩形框shape_type为rectangle计算归一化中心点和宽高写入同名 txt 文件。下面是一个可直接用的转换脚本import json import os from pathlib import Path def labelme_to_yolo(json_dir, output_dir, class_map): json_dir: Labelme JSON 文件目录 output_dir: YOLO 标签输出目录 class_map: {person: 0, helmet: 1, ...} os.makedirs(output_dir, exist_okTrue) for json_file in Path(json_dir).glob(*.json): with open(json_file, r, encodingutf-8) as f: data json.load(f) img_h data[imageHeight] img_w data[imageWidth] lines [] for shape in data[shapes]: label shape[label] if label not in class_map: continue points shape[points] xs [p[0] for p in points] ys [p[1] for p in points] x_min, x_max min(xs), max(xs) y_min, y_max min(ys), max(ys) # 归一化中心点和宽高 x_center (x_min x_max) / 2 / img_w y_center (y_min y_max) / 2 / img_h width (x_max - x_min) / img_w height (y_max - y_min) / img_h lines.append(f{class_map[label]} {x_center:.6f} {y_center:.6f} {width:.6f} {height:.6f}) # 写入同名 txt txt_path Path(output_dir) / (json_file.stem .txt) with open(txt_path, w) as f: f.write(\n.join(lines)) # 使用示例 labelme_to_yolo( json_dir./raw_annotations, output_dir./labels/train, class_map{person: 0} )class_map里只保留需要检测的类别Labelme 里标了但不在 map 里的类别会被跳过。转换完成后需要按 YOLO 的数据集结构组织文件images/train、images/val、labels/train、labels/val然后写一个data.yaml指向这些目录。3.3 训练参数怎么设freeze、imgsz、batch 的取舍热词里“yolov8 训练参数 freeze”是一个值得展开的点。freeze参数用来冻结 backbone 的前 N 层只训练 head 部分。在小数据集上比如只有几百张图冻结 backbone 能防止过拟合训练速度也更快。我一般会先冻结 10 层跑一轮看验证集指标如果 mAP 偏低再解冻全部层做微调。imgsz默认是 640如果危险区域在画面里占比较小可以提高到 960 或 1280但显存占用会明显增加。GTX 1660 Ti 的 6GB 显存跑 640 没问题跑 1280 需要把batch降到 4 或 2。batch的设置原则是显存够就尽量大但不要超过 16否则收敛可能变慢。下面是一个典型的训练命令yolo detect train \ data./data.yaml \ modelyolov8n.pt \ epochs100 \ imgsz640 \ batch8 \ freeze10 \ patience20 \ project./runs \ namedanger_zone_v1patience20表示验证集指标 20 轮不提升就早停避免浪费时间。训练完成后runs/danger_zone_v1/weights/best.pt就是最终模型。如果要做损失函数曲线图runs/danger_zone_v1/results.csv里有每轮的 loss 和 mAP用 pandas 加 matplotlib 画出来就行。4. 可视化界面与告警联动让系统真正能用起来4.1 可视化界面选型Gradio 还是 PyQt热词里“python 爬虫可视化界面”和“java 开发可视化界面”都出现了但这套系统是 Python 技术栈可视化界面用 Gradio 或 PyQt 更合适。Gradio 适合快速搭建 Web 界面几行代码就能把图片上传、推理、结果展示串起来适合演示和远程访问。PyQt 适合做本地桌面应用能调用摄像头、显示实时画面、弹窗告警适合工厂现场部署。如果只是毕设演示我建议用 Gradio开发速度快界面也好看。如果要接实际摄像头做产线部署用 PyQt 或直接写一个 Flask 服务加前端页面。下面是一个 Gradio 界面的最小实现import gradio as gr from ultralytics import YOLO import cv2 import numpy as np model YOLO(./runs/danger_zone_v1/weights/best.pt) def detect(image, conf_threshold): results model(image, confconf_threshold) annotated results[0].plot() return annotated demo gr.Interface( fndetect, inputs[ gr.Image(typenumpy, label上传监控画面), gr.Slider(0.1, 0.9, value0.5, label置信度阈值) ], outputsgr.Image(typenumpy, label检测结果), title危险区域闯入识别 ) demo.launch(server_name0.0.0.0, server_port7860)conf参数控制置信度阈值调低会检出更多目标但误报增加调高则漏报增加。工厂场景一般设在 0.4 到 0.6 之间具体值需要用现场视频测出来。4.2 告警联动从检测结果到声光报警检测到闯入后系统需要触发告警。常见做法有三种一是界面弹窗加声音提示适合值班室场景二是通过 GPIO 控制声光报警器适合现场部署三是发送 HTTP 请求到上层平台适合集成到现有安防系统。不管哪种方式都需要一个告警去重逻辑——同一个人在同一区域持续停留时不能每帧都触发告警否则告警风暴会让人麻木。去重逻辑一般用“冷却时间”实现第一次触发后记录时间和区域 ID冷却时间内比如 30 秒同一区域不再重复告警。下面是一个简单的告警管理器import time class AlarmManager: def __init__(self, cooldown30): self.cooldown cooldown self.last_alarm {} # {zone_name: timestamp} def should_alarm(self, zone_name): now time.time() if zone_name not in self.last_alarm: self.last_alarm[zone_name] now return True if now - self.last_alarm[zone_name] self.cooldown: self.last_alarm[zone_name] now return True return Falsecooldown根据场景调整高危区域可以设短一点10 秒中危区域设长一点60 秒。这个类可以扩展成记录告警日志、发送通知、截图留存等功能。4.3 部署到边缘设备RK3588 和 Orin 的注意事项热词里“rk3588 部署 yolov8”和“orin 部署 yolov8 分割”说明边缘部署是刚需。RK3588 需要把 PyTorch 模型转成 RKNN 格式用 RKNN Toolkit 做量化转换。Orin 可以用 TensorRT 加速ultralytics支持直接导出 TensorRT 引擎。转换过程中最容易翻车的是量化校准——校准数据集选得不好量化后精度掉得厉害。我一般会从验证集里抽 200 到 500 张图做校准覆盖不同光照和角度。边缘设备部署时还要注意输入分辨率。RK3588 的 NPU 对 640 输入支持最好再大就需要分块推理或降帧率。如果现场要求高分辨率可以考虑用两个模型一个低分辨率做快速筛查一个高分辨率做确认。5. 避坑与排查那些让我熬夜的翻车现场5.1 现象模型把安全帽当成人误报不断原因训练数据里“person”类别包含了大量戴安全帽的工人但标注时只标了人体框没有区分安全帽。模型学到的特征里安全帽成了“人”的强特征导致单独出现的安全帽也被检成 person。解决在数据标注阶段就把安全帽单独标一类训练时用多类别输出。推理时只取 person 类做闯入判定安全帽类忽略。如果不想重新标注可以在推理后加一个后处理检测框宽高比小于 1.2 且面积小于阈值的判定为误检并过滤。5.2 现象夜间画面漏检严重白天正常原因训练集里夜间样本太少模型没学到红外或低照度下的特征。另外夜间画面噪点多YOLOv8 的 backbone 对噪声敏感小目标容易漏。解决补充夜间数据至少占总数据的 30%。如果拿不到夜间实拍可以用数据增强模拟——调整亮度、加高斯噪声、模拟红外效果。推理时把conf阈值从 0.5 降到 0.3配合后处理过滤误报。5.3 现象区域判定时有时无同一个人同一位置结果不稳定原因检测框中心点在多边形边界附近抖动导致pointPolygonTest结果在正负之间跳变。这是目标检测的固有抖动不是代码 bug。解决加一个“进入确认”逻辑——连续 3 帧判定为闯入才触发告警单帧命中不告警。同时可以把多边形边界向内收缩几个像素留出缓冲带。下面是一个简单的帧计数确认class ZoneTracker: def __init__(self, confirm_frames3): self.confirm_frames confirm_frames self.counter {} # {track_id: count} def update(self, track_id, inside): if inside: self.counter[track_id] self.counter.get(track_id, 0) 1 else: self.counter[track_id] 0 return self.counter[track_id] self.confirm_framesconfirm_frames设 3 到 5 比较合适太高会导致告警延迟太低则去抖效果不明显。5.4 现象训练 loss 不下降mAP 一直是 0原因最常见的是data.yaml里的路径写错了模型找不到图片或标签。其次是类别 ID 不匹配——标注文件里用了 1 作为 person 的 ID但data.yaml里names列表从 0 开始。解决先用yolo detect train加--verbose看数据加载日志确认图片和标签数量对得上。然后检查一个标注文件确认类别 ID 在names范围内。如果路径没问题把batch降到 2 跑一个 epoch看 loss 有没有变化。5.5 现象部署到边缘设备后帧率骤降告警延迟超过 5 秒原因模型没做量化或没转成设备专用格式还在用 PyTorch 推理。另外预处理和后处理占用了大量 CPU 时间成为瓶颈。解决RK3588 转 RKNNOrin 转 TensorRT量化到 INT8。预处理用 GPU 加速后处理里的 NMS 用torchvision.ops.nms替代 Python 循环。如果还不行降低输入分辨率或跳帧推理——每两帧处理一次中间帧复用上一帧结果。6. 进阶技巧用跟踪算法把“闯入”变成“轨迹分析”单帧检测只能回答“这一刻有没有人闯入”但实际场景里更有价值的是“这个人从哪来、到哪去、停留了多久”。把 YOLOv8 和 ByteTrack 结合就能实现轨迹分析。ByteTrack 的优势是不依赖 ReID 特征只靠检测框的 IoU 和运动预测做关联速度快适合边缘设备。集成方式很简单YOLOv8 输出检测框后把框喂给 ByteTrack 的update方法拿到每个目标的track_id。然后用track_id维护一个轨迹字典记录每个目标进入危险区域的时间、停留时长、移动路径。如果某个目标在危险区域停留超过阈值比如 10 秒触发高级别告警。from ultralytics import YOLO from yolox.tracker.byte_tracker import BYTETracker import numpy as np model YOLO(./runs/danger_zone_v1/weights/best.pt) tracker BYTETracker(args) # args 包含 track_thresh、match_thresh 等参数 def process_frame(frame): results model(frame, conf0.5) detections results[0].boxes.data.cpu().numpy() # [x1, y1, x2, y2, conf, cls] # 只保留 person 类 person_dets detections[detections[:, 5] 0] # 喂给 ByteTrack online_targets tracker.update(person_dets, frame.shape[:2], frame.shape[:2]) for target in online_targets: track_id target.track_id bbox target.tlbr # [x1, y1, x2, y2] # 判定是否在危险区域 inside is_inside_zone(bbox, danger_polygon, frame.shape) if inside: # 记录轨迹和停留时间 update_trajectory(track_id, bbox) return frametrack_thresh控制检测框进入跟踪的置信度阈值一般设 0.5match_thresh控制 IoU 匹配阈值设 0.8 比较稳。轨迹数据可以存到 SQLite 或直接写日志用于事后回溯和报表生成。验证跟踪效果时我习惯用一段有人员走动的视频跑一遍把track_id画在检测框上肉眼观察 ID 有没有跳变。如果 ID 频繁切换说明match_thresh太低或检测框抖动太大需要调参或加平滑滤波。这套系统从环境搭建到轨迹分析核心代码量不大但每个环节都有细节需要打磨。我自己的习惯是先把最小流程跑通——一张图、一个模型、一个多边形判定——然后再逐步加功能。每次加功能前先备份能跑的版本出问题可以快速回退。希望帮到你。本文还有配套的精品资源点击获取