基于YOLOv5+Python的三合一检测：人脸识别、表情识别与异常行为分析

简介一套基于Yolov5和Python实现的人脸识别、细粒度表情识别与异常行为检测源码面向毕业设计、期末大作业和课程设计场景也非常适合希望快速落地视觉项目的初学者。压缩包共107个文件包含37个Python脚本、18个YAML配置、21个TXT说明另有模型权重、测试图片、动态演示GIF、界面文件以及Dockerfile等整体约24.81MB。项目代码注释详细部署简单由开发者个人手打完成曾获导师高度认可并被评为98分高分作品目前已有269人学习下载。系统内置完整图形界面功能覆盖人脸检测、表情分类与异常行为预警内部示例图片和演示文件能辅助理解运行流程也能直接用于展示答辩。整体按模块组织py脚本负责核心逻辑yaml配置模型参数pt权重提供推理能力md文档和txt说明指导快速使用方便初学者对照学习也便于后续二次开发扩展。1. 基于YOLOv5Python的三合一检测方案人脸识别、表情识别、异常行为为什么能共用一套代码基于YOLOv5Python实现的人脸识别、人脸细粒度表情识别、异常行为检测源码本质上不是三个独立项目而是一套「检测分类规则」三层串联的工程方案第一层用YOLOv5把人脸、人体从画面里框出来第二层对框出来的人脸分别做身份识别和表情分类第三层则盯着人体框的位置和大小变化根据规则判断有没有摔倒、入侵、徘徊这类异常行为。很多第一次接触这套代码的同学会误以为表情识别也要用YOLO去输出实际不是表情这层用的是分类网络YOLO只负责把该分类的区域喂进去。这套方案比较适合校园监控、门店客群分析、园区安全这类场景你在本地有一块普通N卡就能跑通全流程部署到树莓派5或Jetson上也只是换一套推理后端的事。2. 用YOLOv5搭检测底座人脸检测与行人检测的分工2.1 为什么方案里不放一个检测模型而是人脸和行人分开跑这是这套源码设计里最值得先想清楚的一点。人脸检测和行人检测虽然都能用YOLOv5实现但两者的数据分布完全不同人脸框宽高比接近1:1目标普遍偏小密集出现在画面中上部行人框宽高比在1:2到1:3目标尺寸跨度极大而且经常互相遮挡。把两类目标混在一个模型里训练虽然标签文件里能同时画两类框但训练时的我们先验框Anchor是针对COCO数据集设计的人脸和行人的尺寸分布差异会让Anchor匹配阶段出现大量低质量正样本最终两边精度都被拉低。常见做法是保留两个独立检测模型一个用人脸数据集训练负责给人脸识别和表情识别供框一个用行人数据集训练负责给异常行为检测提供人体位置和尺度。两个模型用同一套YOLOv5训练流程推理阶段共享同一个预处理和后处理代码只是在输出分支上各自过滤各自类别的置信度。这样做还有一个工程上的好处人脸识别服务如果要对齐算法做升级替换的只是人脸检测权重不影响人体检测和异常行为判定。2.2 最小可跑通的检测环境Python、Conda与YOLOv5的配置顺序我一般建议在Anaconda里单独建一个环境来跑这套代码不要直接装进base环境。YOLOv5官方对Python和PyTorch的版本有组合约束如果用PyCharm打开项目解释器必须指向这个新建的conda环境否则会碰到cannot be resolved against python helper roots这类让新手半天摸不着头脑的报错本质是IDE里的解释器路径和conda环境没对上。conda create -n yolo python3.8 -y conda activate yolo git clone https://github.com/ultralytics/yolov5 cd yolov5 pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple这里把Python版本固定为3.8是为了兼容PyTorch 1.8到1.13这一整个区间的预编译包很多老权重文件是用这些版本训练的版本跨度拉太大容易出现权重加载警告。克隆官方仓库而不是自己从零搭文件结构是因为YOLOv5的训练入口、数据加载器、增强策略都已经在train.py和dataset.py里写好了我们只需要替换数据和配置不需要动内部实现。国内源只影响下载速度不影响版本行为。2.3 训练自己的数据集从标注到YOLOv5可用的完整流程这套代码里我见过最多的需求是「检测人但不想用COCO那种通用标签」比如只保留行人、不检测车辆。这种需求下重新标注比过滤标签更可控。我习惯用LabelImg做标注输出格式直接选YOLO格式它会自动生成每个图片对应的txt文件每行是类别id x_center y_center width height坐标全部归一化到0到1之间。标注完的目录结构要严格按YOLOv5的约定来摆datasets/ ├── face/ │ ├── images/ │ │ ├── train/ │ │ └── val/ │ └── labels/ │ ├── train/ │ └── val/ └── face.yamlface.yaml里面填三样东西train和val的路径、类别数量、类别名。路径建议写绝对路径省得不同机器上运行时相对路径解析出错。我第一次训练时就是漏了路径里的前缀结果模型训练完了验证集mAP一直是0查了半天才发现val图片根本没加载进来这种情况属于典型的黑匣子假象指标很难看的时候先怀疑数据有没有读对再怀疑模型有没有问题。python train.py \ --data face.yaml \ --weights yolov5s.pt \ --epochs 100 \ --batch-size 16 \ --img-size 640weights参数填yolov5s.pt表示拿官方在COCO上预训练过的权重做迁移学习初始权重这样哪怕你的人脸数据只有几千张也能训练出一个能用的模型。--img-size 640是人脸检测的基准分辨率如果画面里的人脸普遍小建议改成960甚至1280代价是显存占用和推理耗时一起上升。batch-size在16G显存的卡上跑yolov5s大概是16到24如果你的卡只有8G就把batch-size降到8同时把--workers降到4。2.4 从yolov5n到yolov5s怎么选先看部署到哪里模型尺寸的选择不应该在训练之后做而应该在做项目方案时就想好。同一个仓库里提供n、s、m、l、x五个尺寸差别主要在网络宽度和深度上。如果这套源码最终要跑在树莓派5或者Jetson Nano这种边缘设备上我从一开始就会选yolov5n或者yolov5s因为n模型量化后可以做到50ms一帧而l模型在板子上基本跑不动。如果只在服务器上做离线分析和事后检索那可以用m甚至l来换精度。python train.py --data face.yaml --weights yolov5n.pt --epochs 100 --batch-size 32 --img-size 640n模型的参数量大约是s的四分之一训练速度明显快但小目标召回率会牺牲一些。这里我给你的建议是方案初期用s模型把整个链路跑通等确认这个技术方向可行、评估上线后再针对性去换n加量化。先把流程通起来比一味追求精度重要否则很容易在调参里消耗掉大量时间。3. 人脸识别与细粒度表情检测框之外的第二层网络3.1 细粒度表情为什么不能拿通用分类网络硬做很多人拿到这套源码想直接复用一份带表情标签的分类模型比如用EfficientNetV2直接分七类表情结果训练集准确率很高一到实际摄像头画面就乱猜。原因是细粒度表情任务里生气和厌恶、惊讶和恐惧之间的类间差异极小而遮挡、侧脸、光照带来的类内差异极大普通分类网络学到的往往是背景和肤色这些无关特征而不是肌肉纹理这种真正的判别特征。所以细粒度表情识别网络在实际工程里会有两个专门处理一是输入人脸必须经过对齐把两只眼睛拉平到同一水平线并缩放到固定尺寸这样能消除头部姿态带来的几何歧义二是在分类层之前加注意力机制让网络重点看嘴部、眼角、眉毛附近的局部区域而不是把整张脸等同对待。VIT-or-EfficientNetV2这个纠结里我会告诉你选EfficientNetV2更务实原因是VIT在超大模型和超大数据量上优势才明显人脸表情数据集普遍只有几万张VIT更容易过拟合而且Transformer结构在边缘设备上部署需要额外的算子支持EfficientNetV2在ONNX和TensorRT里的兼容性好很多。3.2 识别用的特征向量模型和表情分类模型要拆开这一层的另一个关键点人脸识别和表情识别虽然是同一个输入区域但它是两个任务不能共用一个模型。人脸识别要做的事是把人脸映射成一个高维特征向量同一个人不同照片的向量距离近不同人的向量距离远所以它本质是度量学习业界成熟的方案是ArcFace或者FaceNet。人脸识别网络输出的特征维度一般是512或者128我们拿这个向量去和库里已经注册好的向量做余弦相似度超过某个阈值就判定为同一人这个阈值才是最终身份判断的依据并不需要网络直接输出一个类别。表情识别则纯粹是一个分类任务输出维度是表情类别数比如7类取softmax之后的最高分作为结果。两个模型要求的输入尺寸都不一样人脸识别一般要112x112表情分类用224x224更稳。所以代码里会为每个检测到的人脸裁剪两次一次供识别用一次供表情用这种重复计算在多人同框时会比较明显需要靠缓存检测结果、隔帧做人脸识别来压耗时。3.3 在推理脚本里把检测、识别、表情串成一条流水线import cv2 import torch import numpy as np class FacePipeline: def __init__(self, det_weights, rec_weights, emo_weights): self.det torch.hub.load(ultralytics/yolov5, custom, pathdet_weights, force_reloadTrue) self.rec_model load_arcface(rec_weights) # 输出512维特征 self.emo_model load_effnetv2(emo_weights) # 输出7类表情概率 self.id_db {} # 注册库 {name: feature_vector} def process(self, frame): results self.det(frame) # 只保留人脸类别 boxes results.xyxy[0].cpu().numpy() for box in boxes: x1, y1, x2, y2, conf, cls box face_img frame[int(y1):int(y2), int(x1):int(x2)] face_align align_face(face_img) # 按两眼坐标对齐 feature self.rec_model(face_align) identity self.match_id(feature) # 余弦相似度匹配 emotion self.emo_model(face_align.resize(224, 224)) draw_frame draw_info(frame, identity, emotion) return draw_framedet部分的torch.hub.load是YOLOv5官方推荐的推理加载方式每次写代码都不用自己拼NMS和anchors省掉很多重复工作。align_face这一步非常关键实际项目里如果跳过了它识别准确率会掉五个点到十个点原因是人的头部在画面里往往有旋转和俯仰不做对齐就输入给ArcFace会引入很大的姿态噪声。match_id内部是存储向量与当前向量的余弦距离阈值我会设在0.35到0.45之间数值越小判定越严格。表情模型输入要resize到和训练时一致不要用其他尺寸硬喂否则输出概率分布是乱套的。4. 异常行为检测把坐标序列变成可告警的事件4.1 三种最常见异常事件的判定逻辑异常行为检测在这套代码里不需要额外训练一个分类模型它是基于YOLOv5人体检测框做规则判定。事件类型和判定逻辑通常是这样的事件依据典型误报摔倒人体框宽高比由站立时的1:2.5变成接近1:1且中心点高度迅速下降蹲下系鞋带、弯腰捡东西区域入侵人体框中心点进入预设多边形区域边界画错、误把门口拉入区域徘徊停留同一个人的轨迹中心点长时间停留在一个小范围内两个不同的人被跟踪器错配规则判定做起来简单但鲁棒性完全取决于前置的两个环节检测框稳定性和跟踪ID的一致性。如果每一帧检测框抖动得很厉害宽高比的变化可能比摔倒本身还夸张如果跟踪ID频繁切换一个人的停留会被算成多个人在路过。所以异常行为检测模块里一定要有一套帧间匹配算法常见做法是维护当前所有人体框的IoU匹配矩阵用匈牙利算法做相邻帧之间的人体关联这样每个人的轨迹才是连续的。4.2 用帧间坐标差实现摔倒判定摔倒判定里最直观的信号就是人体框中心点纵坐标在一段时间内的快速下降然后框的宽高比发生倒转。我用一个滑动窗口来保存最近30帧的人体框信息只有当窗口内的平均下降速度超过阈值、且当前宽高比小于0.9时才触发告警这种做法能过滤掉瞬时抖动。class FallDetector: def __init__(self, window_size30): self.history [] self.threshold_speed 0.08 # 每帧中心点y归一化坐标变化率 self.threshold_ratio 0.9 # 宽高比低于该值判定躺倒 def update(self, bbox): self.history.append(bbox) if len(self.history) self.window_size: self.history.pop(0) if len(self.history) self.window_size: return False first_box self.history[0] w1, h1 first_box[2] - first_box[0], first_box[3] - first_box[1] center_y1 (first_box[1] first_box[3]) / 2 center_y2 (bbox[1] bbox[3]) / 2 speed (center_y2 - center_y1) / (self.window_size - 1) # 归一化近似 ratio (bbox[2] - bbox[0]) / max(1e-5, (bbox[3] - bbox[1])) if speed self.threshold_speed and ratio self.threshold_ratio: return True return False这里bbox坐标是归一化后的值所以speed的单位是「每帧下降的画面比例」这个阈值和摄像头安装高度直接相关。摄像头装在3米高俯视时摔倒的中心点下降量比装在1.5米平视时要小需要把阈值调低到0.05左右。实际校验中我发现用画面尺寸乘以系数折算成像素值会更直观比如1080p画面里一帧下降超过15像素就算快速倒地。另外max(1e-5, ...)是防止人体框高度变成0导致除零异常这种边界问题在真实视频流里时常出现空帧或者半截人体进画面时检测框偶尔会出现异常尺寸。4.3 全流程整合把三路任务合并进同一个主循环这个源码设计的核心是把人脸识别、表情识别和异常行为检测放在同一个帧处理循环里用固定频率调度。一般我一帧里面做一次YOLOv5检测然后对人脸分支每帧跑表情识别但身份识别每5帧才跑一次并把结果缓存下来这能省掉不少重复的embedding计算行人分支则每帧都送入跟踪器因为摔倒判定的输入频率要求比较高。cap cv2.VideoCapture(0) skip 0 fall FallDetector() while True: ret, frame cap.read() if not ret: break boxes human_detector(frame) track_id tracker.update(boxes) keep True if not skip % 5 0: keep False for tid, bbox in track_id.items(): if not keep: continue face_features face_pipeline(frame, bbox) # 对每个人脸做识别 emotion emotion_pipeline(frame, bbox, tid) for tid, bbox in track_id.items(): fall_state fall.update(bbox) skip 1skip这个变量本质是给身份识别部分做一个时间降采样。你不要小看这个操作树莓派5上跑完整流程时这个5帧一次的跳过能让整体FPS从9提升到14左右效果很明显。tracker.update返回的tid是每个人的唯一编号异常行为判定要按这个号分组否则单人场景监视会变成多目标监视干扰判定逻辑。需要特别提示的是异常行为检测的结果要经过连续帧确认才能触发告警比如摔倒事件必须连续3帧都判为摔倒才进入告警流程。因为单帧误判太常见了摄像头自身的小幅震动或者人体大幅转身都可能造成瞬时假阳时序确认是成本最低的降噪手段。5. 训练与部署避坑环境、显存、小目标与边缘设备5.1 环境配置的深坑PyCharm、Anaconda和YOLOv5环境不对齐现象在PyCharm里运行train.py报错cannot be resolved against python helper roots或者导入cv2时提示NoneType没有shape属性但命令行里明明能正常工作。原因PyCharm里右下角选择的Python解释器不是当前conda环境的Python而是系统自带Python。YOLOv5在多个依赖特别是opencv-python的版本上很挑系统Python里很可能装的是不同大版本的cv2接口不兼容。解决在PyCharm的Settings - Project - Python Interpreter里选择Conda Environment - Existing Environment路径指到conda env list里yolo环境对应的python.exe。完成后在终端执行conda list opencv确认版本和IDE里一致再跑一次import cv2; print(cv2.__version__)验证。环境问题里一半以上是解释器路径漂移造成的先查这个再考虑重装包。5.2 训练时显存溢出改batch-size和改分辨率哪个优先现象torch.cuda.OutOfMemoryError: CUDA out of memory训练进程直接崩掉重启后看日志才发现在第几个epoch爆的。原因训练时显存占用主要由三部分组成——特征图占用、梯度占用和优化器状态占用其中batch-size和--img-size是影响最大的两个参数。很多人一遇到OOM就急着把batch-size减半减完发现速度慢了一半其实可以先检查分辨率。解决如果原始设置是640分辨率先看能不能把输入分辨率降到512精度损失很小但显存占用能降30%左右如果512还是溢出再把batch-size从16改到8。autoanchor在每次训练开始时都会按新输入尺寸重新计算Anchor所以不用担心换分辨率导致Anchor失效YOLOv5会自己处理这个流程。另外把--workers调低也可以释放一些内存但那是内存不是显存不要混淆。5.3 小目标人脸检不准数据增强和二阶段切图现象训练完在监控画面上测试远处的人脸漏检率特别高近处的人脸又没有任何问题mAP在远距离段持续走低。原因YOLOv5在训练时默认会把图片缩放到640分辨率而远距离人脸在原始画面里可能只有20x20像素缩放后变成10x10以内特征图上的信息几乎丢失了小目标的锚点匹配数量也远少于中大型目标所以漏检是必然结果。解决有两个常用方案一是在hyp.yaml里把mosaic和mixup的概率适当降低因为这两种增强会把多个目标拼接混合对小目标来说容易产生截断和变形二是做两阶段检测先在低分辨率全图上检测出人群密集区域再把对应区域裁切放大后送入检测器做第二次识别。第二种方案在1000万像素以上的摄像头下效果提升非常明显代价是推理耗时翻倍。如果部署目标是树莓派5这种设备我更推荐训练时直接把--img-size设为960让模型在缩小时多保留一点特征再配合n模型尺寸来平衡速度。5.4 树莓派5上部署模型转换和算力取舍现象把训练好的yolov5s.pt放到树莓派5上跑用torch.hub.load加载测试时只有2FPS到3FPS完全不可用。这个帧率跑人脸识别绰绰有余但放在异常行为检测这类连续分析里就会丢帧严重。原因.pt文件在板载CPU上跑的是PyTorch的eager模式每一层算子都有调度开销树的推理效率远低于编译优化过的ONNX Runtime或者NCNN这样的专用推理框架。解决先把yolov5s.pt导出成ONNX再用onnx2ncnn转成NCNN格式配合NCNN的Int8量化树莓派5上可以跑到60ms到80ms一帧。导出时命令行里要指定--img-size和--dynamic参数如果不在导出阶段固定输入尺寸NCNN转换时会出现大量不支持的动态维度算子。另一个常用加速点是关闭人脸识别分支的定期推理比如每5帧才做一次embedding计算这在前面已经提过。树莓派5的CPU算力对YOLOv5n来说已经是底线了所以这种设备上的模型设计从第一天起就应该是n加量化不要等到部署时才发愁。6. 最后一步指标验证与上线前自检6.1 用mAP和混淆矩阵验证检测与分类模型训练完成的模型不要只看训练日志里的loss曲线loss是训练过程的体现代表拟合状态不代表任务效果。模型验证优先看验证集上的mAP、Precision和RecallYOLOv5的训练过程会自动在验证集上做评测训练完打印的最后一行指标就是模型的最好结果。但这里有一个容易出错的地方验证集图片必须和训练集来自同一个真实分布。如果你把自己抓拍的摄像头画面全放进了训练集验证集也来自同一批摄像头那mAP会虚高因为同一场景的光照和背景已经被模型记住了。表情分类模型则要额外看混淆矩阵特别是生气、厌恶、惊讶这三类之间的混淆程度。混淆矩阵的每行是真实类别每列是预测类别如果你发现生气大量被预测成厌恶并且集中出现在某个光照条件下那大概率是训练数据在这个类别上存在严重的不平衡你需要去补数据而不是调模型结构或超参数。6.2 上线前的三个自检用例我在交付这类项目前会固定跑三个自检你照着做就行。第一个是「单人近景」距离摄像头2米内人脸清晰无遮挡应该能正确识别身份、表情输出稳定、无异常告警第二个是「多人中景」三到四人在画面中行走应该能保持各自ID稳定且不互相抢ID异常行为不误报第三个是「远距离小目标」距离摄像头8米以上人脸检测允许漏检但人体检测不能漏不然异常行为告警就会失效。这三个自检跑完还需要在真实光照下做一轮连续30分钟的稳定性测试记录有没有内存持续上升、帧率逐步下降这种隐藏问题。这类问题常见于跟踪模块使用循环数组存储历史轨迹只增不删运行长时间后每个目标的历史列表无限增长内存就被拖垮了。解决办法是做列表长度限制或者定期清理长期未出现的目标ID。6.3 一套我常用的参数记忆习惯最终你的模型能不能用于生产其实取决于整体参数协同不是某一个参数单独起作用。我自己记忆的方法是检测部分img-size提及小目标下限conf-thres影响误检率iou-thres影响密集人群下的漏检率识别部分cosine距离阈值影响误识率越低越安全但阈值过低会导致大量无法识别表情部分softmax概率阈值和温度系数影响模型对模糊表情的拒判能力不要使用argmax裸输出这几组参数共同决定了人脸识别、表情识别和异常行为检测三个子任务在真实环境下的表现所以你调试时要一组一组地记录每次改动对应的准确率和误报率不要凭感觉同时调好多组。我自己的习惯是每改一次参数就在一个文本文件里记录当时的参数组合和对应的测试结果下次再调参时先看之前的记录避免从零开始。这个习惯帮我避开了很多调参的麻烦希望帮到你。本文还有配套的精品资源点击获取