深度学习人流量检测毕设实战：从YOLO选型到系统落地

简介目标检测是计算机视觉的基础研究方向其核心任务是定位并识别图像中的物体。在智慧城市、安防监控等场景中人流量检测已成为目标检测技术的典型落地应用用于客流统计、限流预警与轨迹分析。深度学习通过卷积神经网络自动学习特征表征相比传统手工特征方案在人群密集、光照变化等复杂条件下具有明显优势。YOLO作为单阶段检测器的代表凭借速度快、精度高的特点成为该类项目的主流选型。配合PyTorch工具链可以高效完成从数据集构建、标注格式转换、模型训练到实时推理的完整流程。本文围绕人流量检测毕业设计中的真实工程实践梳理YOLO选型要点、数据增强策略、视频流计数实现及常见避坑经验为计算机视觉初学者提供一套可复用的落地路径。1. 人流量检测毕设为什么都选深度学习背景、边界与适用人群人流量检测这个题目在本科毕设里几乎算是常青树。早年大家用的是背景差分、HOGSVM这类传统方案一到商场入口、地铁闸机这种光线乱变、人挤人的场景就集体翻车检测率掉得没法看。最近几年深度学习普及之后这个题目换了一套做法用卷积神经网络直接回归出画面里每个人的位置配上Python和PyTorch这套工具链一个人花三四周就能跑通一版能演示、能出数的系统——这就是“基于深度学习的人流量检测系统设计与实现”这个题目的真实定位。这个项目解决的核心问题有两个一是“画面里有多少人”二是“人在哪”。前者用于客流统计、限流预警后者用于热力分析和轨迹追踪。对毕设而言绝大多数工作量落在“检测模型怎么选、数据怎么备、代码怎么组织、结果怎么展示”这四个环节上而不是重新发明检测算法。适合这个题目的人群很明确已经学过Python基础、上过机器学习或深度学习入门课但还没有完整做过一个CV项目的本科生。项目难度天花板不高但下限也不低——把YOLO跑通容易把精度调上去、把演示系统做得完整才是拿高分和答辩讲清楚的关键。这篇笔记按我自己的落地习惯来写先讲方案怎么选型再给一套可以直接抄的数据准备与训练流程然后落到Web端实时计数的实现最后专门写一版避坑清单和答辩加分技巧。全程基于真实跑通过的做法不是把论文目录抄一遍。2. 人流量检测方案选型为什么是YOLO系列而不是Faster R-CNN或SSD2.1 主流检测模型在人流量场景下的对比和选型理由人流量检测本质上是一个密集场景的目标检测任务。密集这两个字是选型的核心约束人挨着人、人挡着人小目标多尺度差异大。拿这个约束去筛模型Faster R-CNN这类两阶段检测器精度确实高但推理速度在普通笔记本上只有几FPS做实时视频流分析基本不用想SSD速度不错但对小目标的召回率偏低而人流量场景里恰好大量目标是远端的、像素很小的行人SSD在这种场景下的表现可以说是灾难性的。YOLO系列是目前做这个题目最稳妥的选择从YOLOv5到YOLOv8社区生态成熟预训练权重好找标注工具和转换脚本齐全而且新版本的训练脚本封装得很好不要求你手写损失函数和NMS。我自己的经验是毕设阶段选YOLOv5s或YOLOv8s即可模型体积小、推理速度快CPU上勉强能跑GPU上非常流畅。为什么选s而不是m或l因为人流量检测的数据量通常不大你不太可能自己标几万张图用大模型容易过拟合而且答辩演示时笔记本的显卡带不动大模型帧率掉到个位数会很尴尬。性能指标方面人流量检测关注两个指标mAPmean Average Precision和FPS。mAP衡量检测准确度FPS衡量实时性。对毕设来说mAP在0.75以上、FPS在25以上属于一个“拿得出手”的水平。要注意的是mAP是整体指标人流量场景建议额外关注小目标类别的AP值这个值低了说明远端人没检测到计数就会明显偏少。2.2 单人检测还是人群计数回归两种技术路线的边界做毕设之前必须先分清楚“人流量检测”和“人群计数”是两个不同的技术方向。人流量检测输出的是每个人的边界框Bounding Box可以进一步做跟踪、方向判断人群计数输出的是密度图或一个总人数适合远距离大范围场景但拿不到个体位置。很多半路出家的教程把这两个混在一起导致学生代码写得四不像。毕设题目明确写了“检测系统”所以走目标检测路线输出边界框这是对的。但需要知道另一个路线的存在答辩时老师很可能问“为什么不用CSRNet这种密度回归方法”你要能答上来一是密度图方法适合极密集场景二是在监控视角下无法给出个体位置无法支撑“人流量”里“流量”这个动作层面的统计需求。流量意味着需要知道人从哪边进来、往哪边出去这是检测框后面接跟踪逻辑才能回答的密度图给不了。2.3 环境搭建清单Python版本、PyTorch、CUDA与OpenCV的配套关系环境配置是这个项目的第一道坎也是踩坑率最高的环节。我给出一套自用稳定的组合照这个配能省很多事。需要准备的环境组件包括Python 3.8或3.10、PyTorch 2.x、CUDA 11.8或12.1、OpenCV-Python、Ultralytics YOLO包。这里有一个常见误区很多人装了最新版Python 3.12结果PyTorch的预编译包不支持或者装了CUDA 12.4但显卡驱动版本太老导致torch.cuda.is_available()返回False。我的建议是毕设机器上如果显卡是NVIDIA 20系或30系直接装CUDA 11.8 PyTorch 2.0.1这个组合被验证的次数最多网上报错案例也最少。如果你是用CPU跑不需要装CUDA但要做好推理速度慢的心理准备。CPU跑YOLOv8s720P视频大概5-10FPS演示静态图片没问题做实时视频会卡顿。我一般建议学生至少找一张GTX 1060以上显卡的机器来做训练和演示实在没有就用Colab训练速度比本地CPU快几十倍。3. 把公开数据集变成能训练的样本标注格式转换与数据增强实操3.1 人流量数据集选哪些公开资源以及它们各自的坑模型训练离不开数据。人流量检测可用的公开数据集大致有这么几类通用检测数据集里挑person类比如COCO数据集、VOC数据集专门的行人检测数据集比如Caltech Pedestrian、EuroCity Persons以及人群计数数据集比如ShanghaiTech但这类是密度图格式不能直接用于检测。毕设一般不建议自己从零标注工程量太大一张密集场景图标完要半小时标200张就崩溃了。我常用的做法是用COCO数据集里的person类作为预训练来源再用Mall Dataset或自己从监控视频抽帧标注200-500张作为微调数据。COCO自带标注文件是JSON格式Mall Dataset提供的是MAT文件而YOLOv8训练需要的是TXT格式每行一个目标类别id 归一化中心x 归一化中心y 归一化宽 归一化高。所以第一件事就是写一个格式转换脚本。3.2 用Python写COCO和VOC标注转YOLO格式的转换脚本下面这个脚本处理COCO JSON转YOLO TXT是我自己项目里在用的你直接改路径就能跑。它解决一个核心问题COCO的边界框格式是[x, y, width, height]原点是左上角要转成YOLO需要的[cx, cy, w, h]归一化格式不转换的话训练出来的模型整个是乱的。import json import os def coco_to_yolo(coco_json_path, output_dir): with open(coco_json_path, r, encodingutf-8) as f: coco json.load(f) # 建立图片id到文件名的映射 img_id_to_name {} for img in coco[images]: img_id_to_name[img[id]] img[file_name] # 只保留person类别COCO中person的id是1 category_ids {cat[id]: cat[name] for cat in coco[categories]} # 按图片维度聚合annotation annotations_by_img {} for ann in coco[annotations]: if category_ids[ann[category_id]] ! person: continue img_id ann[image_id] if img_id not in annotations_by_img: annotations_by_img[img_id] [] annotations_by_img[img_id].append(ann) # 写入YOLO格式 for img_id, anns in annotations_by_img.items(): img_info None for img in coco[images]: if img[id] img_id: img_info img break w, h img_info[width], img_info[height] txt_path os.path.join(output_dir, os.path.splitext(img_id_to_name[img_id])[0] .txt) with open(txt_path, w) as f: for ann in anns: bbox ann[bbox] # [x, y, w, h] cx (bbox[0] bbox[2] / 2) / w cy (bbox[1] bbox[3] / 2) / h bw bbox[2] / w bh bbox[3] / h f.write(f0 {cx:.6f} {cy:.6f} {bw:.6f} {bh:.6f}\n)这段脚本的逻辑分三步先解析COCO的JSON结构拿到图片尺寸和标注框然后筛选出person类别最后把边界框从“左上角坐标宽高”转成“中心点宽高”并做归一化。其中有个代码细节要解释cx (bbox[0] bbox[2] / 2) / w这个减法不需要COCO的x和y本来就是左上角坐标中心点直接用x w/2不需要额外处理某些教程里写成(x w/2) / w即可。参数说明--coco_json_path传入COCO的annotations文件路径output_dir是存放TXT标注的目录建议和图片文件保持同样的文件名前缀。另外这个脚本只保留了person类如果后续想增加“人群密度等级”这个分类可以修改category筛选逻辑把bag、chair之类干扰项过滤掉。VOC格式的XML转YOLO也常遇到写一个简版import xml.etree.ElementTree as ET import os def voc_to_yolo(xml_dir, output_dir): for xml_file in os.listdir(xml_dir): if not xml_file.endswith(.xml): continue tree ET.parse(os.path.join(xml_dir, xml_file)) root tree.getroot() w int(root.find(size/width).text) h int(root.find(size/height).text) txt_file os.path.join(output_dir, xml_file.replace(.xml, .txt)) with open(txt_file, w) as f: for obj in root.findall(object): name obj.find(name).text if name ! person: continue bndbox obj.find(bndbox) xmin int(bndbox.find(xmin).text) ymin int(bndbox.find(ymin).text) xmax int(bndbox.find(xmax).text) ymax int(bndbox.find(ymax).text) cx (xmin xmax) / 2 / w cy (ymin ymax) / 2 / h bw (xmax - xmin) / w bh (ymax - ymin) / h f.write(f0 {cx:.6f} {cy:.6f} {bw:.6f} {bh:.6f}\n)这段就不再解释了逻辑完全一致区别只在解析的XML标签结构不一样。3.3 数据增强的必调参数Mosaic、翻转、亮度扰动如何设置数据增强直接决定模型泛化能力。YOLOv8的默认增强参数在大多数场景下是合理的但人流量检测有一项需要特别调整亮度扰动。监控场景的光线变化剧烈早晚反差大如果增强参数里亮度扰动范围太小模型到了阴影区域就容易漏检。我习惯把hsv_v饱和度扰动从默认的0.4调到0.5把hsv_h色调扰动从0.015调到0.02适当增加对光照变化的鲁棒性。Mosaic增强默认是开启的这个要保持打开。Mosaic把四张图拼成一张训练能显著提升小目标的检测能力正好应对远端行人占比高的情况。如果你的显存不够8G以下把mosaic设为0.5而不是关闭否则小目标的召回率会掉一个档次。还有一个参数是fliplr水平翻转默认0.5这个对人流量场景是安全的因为行人不分左右但要注意翻转后标注框的坐标在YOLO内部会同步调整不需要你手动改标注文件。4. 基于YOLOv8的人流量检测核心实现训练、推理到视频流计数4.1 训练配置数据集目录结构、YAML文件与关键超参数数据准备好之后按YOLOv8要求的目录结构组织文件。数据集根目录下分images/train、images/val、labels/train、labels/val四个子目录图片和TXT标注文件保持同名。注意TXT文件里如果某张图没有任何目标对应的TXT文件是空文件不要删除YOLO训练逻辑依赖这个文件判断“背景图”。训练前需要写一个数据集YAML文件内容如下path: ./datasets/person_flow train: images/train val: images/val names: 0: person这里path是数据集根目录的相对路径train和val是相对于path的图片目录路径names是类别名映射。整个YAML文件就这三块看起来简单但容易出错的地方是路径层级train字段写的是图片所在目录不要直接写成图片文件列表的绝对路径。另外类别ID从0开始必须和标注TXT文件里的类别数字保持一致。核心训练命令和参数说明如下yolo detect train dataperson_flow.yaml modelyolov8s.pt epochs100 imgsz640 batch16 lr00.01 device0拆解一下关键参数modelyolov8s.pt表示加载COCO预训练权重作为初始权重这比从头训练能节省大量时间和数据epochs100在毕设数据规模几百张下足够再多就会过拟合imgsz640是训练分辨率这个值不要调成1280虽然精度会提升但显存占用翻倍而且推理时你不可能都用1280跑会造成训练和推理分辨率不一致的精度损失device0表示用第一块GPU训练CPU训练就把这个参数删掉。训练过程中要盯两个指标train/cls_loss和val/mAP50-95。如果val/mAP50-95在40个epoch后还在缓慢上升说明数据集质量可以如果loss下降但mAP纹丝不动大概率标注格式有问题回去检查TXT文件。4.2 模型推理封装加载权重、处理单帧图片并输出计数结果训练完成后模型推理这部分要封装成一个类方便后面Web端调用。下面是一个完整的推理模块包含加载模型、清洗检测结果、统计人数三个功能import cv2 from ultralytics import YOLO class PersonDetector: def __init__(self, weights_path, conf_thres0.35, iou_thres0.45): self.model YOLO(weights_path) self.conf_thres conf_thres self.iou_thres iou_thres def detect_frame(self, frame): results self.model.predict( frame, confself.conf_thres, iouself.iou_thres, verboseFalse )[0] boxes results.boxes if boxes is None or len(boxes) 0: return [], 0 # 提取边界框坐标和置信度 xyxy boxes.xyxy.cpu().numpy() confs boxes.conf.cpu().numpy() person_list [] for box, conf in zip(xyxy, confs): x1, y1, x2, y2 [int(v) for v in box] person_list.append({ bbox: [x1, y1, x2, y2], confidence: round(float(conf), 4) }) return person_list, len(person_list) def detect_video(self, video_path, showFalse): cap cv2.VideoCapture(video_path) total_count 0 frame_count 0 while cap.isOpened(): ret, frame cap.read() if not ret: break _, count self.detect_frame(frame) total_count count frame_count 1 cap.release() # 返回平均每帧人数和总帧数 return total_count / max(frame_count, 1), frame_count这个类的设计有三个关键点。第一conf_thres默认0.35对人流量场景是合适的调低到0.2会捡回很多漏检的小目标但也会混入大量误检的背景框需要你自己权衡第二verboseFalse很关键不然推理时控制台会被YOLO的日志刷屏影响Web服务排错第三上面视频统计的逻辑是“每帧人数累加再平均”这只适合静态演示真实流量统计必须基于跟踪去重否则同一个人连续出现在30帧里会被计30次这个在后面章节单独展开。4.3 用推理结果绘制可视化画框、密度标签和热度图叠加模型输出只是坐标和置信度要让它变成“能演示的东西”需要把检测结果画回原图。这里用OpenCV实现核心是cv2.rectangle画检测框和cv2.putText写人数标签def draw_detections(frame, person_list, total_count, density_level): for person in person_list: x1, y1, x2, y2 person[bbox] conf person[confidence] # 画绿色边界框 cv2.rectangle(frame, (x1, y1), (x2, y2), (0, 255, 0), 2) # 在框上方写置信度 label f{conf:.2f} cv2.putText(frame, label, (x1, y1 - 8), cv2.FONT_HERSHEY_SIMPLEX, 0.5, (0, 255, 0), 2) # 左上角显示总人数和密度等级 cv2.putText(frame, fCount: {total_count}, (15, 35), cv2.FONT_HERSHEY_SIMPLEX, 1.0, (0, 0, 255), 3) cv2.putText(frame, fDensity: {density_level}, (15, 75), cv2.FONT_HERSHEY_SIMPLEX, 0.8, (255, 0, 0), 2) return frame这里density_level可以按人数映射成“畅通/拥挤/拥堵”三个等级比如人数0-10为畅通11-30为拥挤30以上为拥堵。这个可视化在答辩PPT里的演示效果比干巴巴的准确率数字好得多很多老师就吃这一套。调试时有个经验框的粗细和字体大小要在实际播放分辨率下看效果在1080P源视频上调好的参数缩放到窗口里显示会变细变小。5. 人流量检测避坑指南从环境配置到计数逻辑的5个翻车现场5.1 环境配置翻车CUDA装好了但PyTorch检测不到GPU现象torch.cuda.is_available()返回False训练时被迫用CPU速度慢到怀疑人生。原因绝大多数情况是PyTorch版本和CUDA版本不对应。PyTorch 2.0.1默认对应CUDA 11.7或11.8如果你装的是CUDA 12.4GPU驱动版本不够就会静默回退到CPU模式。解决先跑nvidia-smi查看驱动支持的最高CUDA版本然后去PyTorch官网用对应版本的安装命令重装。我踩过最深的坑是装了最新的PyTorch 2.3导致cuDNN不兼容后来固化用“PyTorch 2.0.1 CUDA 11.8”这个组合再也没出错。5.2 数据标注翻车归一化坐标写成了像素坐标现象训练时loss不降或者画出来的检测框偏移到图片角落。原因YOLO格式要求边界框坐标必须是归一化的也就是0到1之间的小数。如果你从LabelImg导出时选了Pascal VOC格式再手动转很容易把像素坐标直接写进TXT模型训练时会把上千像素的坐标当成0-1的小数整个边界框计算全乱。解决写一个验证脚本随机挑一张图把TXT里的坐标还原成像素画回去和原图比对。这个脚本很简单但极其有效30秒就能发现问题。5.3 标签类别翻车背景被标注成了目标现象mAP不错但实际使用大量误报把椅子、海报上的人像都检测出来了。原因标注时没有把遮挡严重的半身人、模糊的远景人过滤掉或者把画面中印着人的广告牌也标成了person。模型学到了“凡是人形轮廓”就是目标的错误特征。解决只标注画面中可辨认的真人遮挡超过70%的不标。宁可少标不可错标错标带来的误检在答辩现场被老师指出来会非常尴尬。5.4 计数逻辑翻车同一个人被重复统计导致数字虚高现象静态图片计数正常一旦跑视频流人数统计值像滚雪球一样涨。原因这是所有做过人流量检测的人都会遇到的一个问题。视频是连续的帧序列同一个行人在30帧里被检测到30次如果用每帧人数累加那就是严重的重复计数。解决常见做法是引入IoU跟踪。检测到上一帧的某个框和当前帧某个框的IoU大于0.5就认为是同一个人只更新位置不增加计数。更轻量的做法是加一个“冷却期”举个例子维护一个人物ID列表每个ID有最近一次出现的帧号如果当前帧检测框与某个ID的历史位置重叠且帧间隔小于10帧则复用ID否则新建ID并累计人数。这个逻辑在毕设里属于加分项因为说明你考虑了实际场景的复杂度。5.5 Web服务翻车用Flask跑模型导致接口卡死现象Flask服务启动正常浏览器访问时画面卡住不动。原因YOLO模型预测是同步阻塞操作一个请求进来模型还没算完下一个请求就来了Flask默认单线程直接卡死。解决用Flask的threadedTrue开启多线程模式或者用生成器实现视频流的异步推送。第二个做法是主流方案通过Response(generate(), mimetypemultipart/x-mixed-replace; boundaryframe)把检测后的帧实时推送到浏览器这是监控系统最通用的流媒体实现方式。6. 进阶优化与答辩加分跟踪算法、模型轻量化与实验报告写法6.1 引入ByteTrack做多目标跟踪如果想让系统真正达到“流量统计”的水平只做检测是不够的必须绑定跟踪。ByteTrack是目前工程上最好用的轻量级跟踪算法与YOLOv8无缝配合在CPU上也能跑。核心逻辑是先用检测器得到每一帧的边界框然后通过卡尔曼滤波预测下一帧每个轨迹的位置再用匈牙利算法做检测框和预测框的匹配。用它替换掉自己写的IoU冷却期逻辑后计数准确率能提升10个百分点以上而且能输出每个人的运动轨迹这一块放在论文里是“系统创新点”。实现方式如下from collections import defaultdict import numpy as np class FlowCounter: def __init__(self, max_lost10): self.tracks {} self.next_id 0 self.max_lost max_lost self.total_in 0 self.total_out 0 def update(self, detections, line_y): # detections: list of [x1, y1, x2, y2] # line_y: 虚拟计数线的y坐标 current_ids [] for det in detections: x1, y1, x2, y2 det center_y (y1 y2) / 2 matched False for track_id, track in self.tracks.items(): # 简单的中心点距离匹配 if abs(track[last_center_y] - center_y) 50: # 判断是否跨越计数线 prev_y track[last_center_y] if prev_y line_y and center_y line_y: self.total_in 1 elif prev_y line_y and center_y line_y: self.total_out 1 track[last_center_y] center_y track[lost] 0 current_ids.append(track_id) matched True break if not matched: self.tracks[self.next_id] { last_center_y: center_y, lost: 0 } current_ids.append(self.next_id) self.next_id 1 # 清理丢失的目标 for track_id in list(self.tracks.keys()): if track_id not in current_ids: self.tracks[track_id][lost] 1 if self.tracks[track_id][lost] self.max_lost: del self.tracks[track_id] return self.total_in, self.total_out这段代码的思路是维护每个目标的中心点历史位置检测框匹配到同一目标后比较前后帧中心点的y坐标和虚拟计数线line_y的关系从线上方跨到下方计为进入反向计为出去。代码里的匹配阈值50像素在720P视频里够用换成1080P需要相应放大。6.2 模型轻量化TensorRT加速和模型蒸馏的取舍如果你的答辩机器是Windows笔记本TensorRT大概率用不上因为TensorRT在Windows上的支持比较别扭。更实际的做法是训练时用YOLOv8s推理时导出成ONNX格式再用ONNX Runtime做推理速度比PyTorch原生推理快30%左右。导出命令很简单yolo export modelbest.pt formatonnx imgsz640导出后推理代码只需改一行model YOLO(best.onnx)。这个优化在答辩现场演示实时视频流时非常重要帧率从15FPS提到25FPS是肉眼可见的差距。模型蒸馏在毕设阶段不建议碰原因一是时间成本高二是你需要同时训练大模型和小模型显存不够容易翻车。把精力放在数据质量、跟踪逻辑和可视化这三个更容易出成果的地方性价比高得多。6.3 实验部分的写作技巧和答辩应答策略毕业论文的实验部分最忌讳只写一个总mAP。要把实验拆成几个维度来写形成完整的对比表。我的建议是至少包含三组对比实验不同模型YOLOv5s对比YOLOv8s、不同置信度阈值0.25对比0.35对比0.5、不同输入分辨率640对比960。每组实验记录mAP、FPS、每帧检测人数三个指标形成表格。这样的实验设计能说明你有做工程优化的思考不是跑通代码就完事。答辩时老师最喜欢问的问题是怎么保证系统的可靠性也就是误检和漏检怎么控制。你可以回答误检靠置信度阈值和NMS阈值联动控制漏检靠数据增强和Mosaic策略提升小目标召回率并以自己的实验结果为例说明。这一套话术下来比单纯念论文摘要效果好得多。做这个项目最大的教训是早点确定模型基线不要在环境配置和选型上反复横跳。我见过太多学生今天想试YOLOv5明天想试EfficientDet最后代码没跑通就快答辩了。选型定下来就一口气把流程走通哪怕性能不是最优先有一个完整可演示的版本再逐步优化。这比追求完美方案但卡在第一步强太多。希望这些经验能帮你在毕设路上少熬夜、少踩坑。本文还有配套的精品资源点击获取