YOLOv8人脸检测实战：从模型训练到RK3588部署全攻略

简介人脸检测对实时性要求较高YOLOv8在速度与精度之间做出了良好平衡。基于YOLOv8的人脸检测模型包面向计算机视觉开发者、算法移植工程师以及边缘设备部署人员适合在实时人脸识别、安防门禁、考勤打卡等场景中快速落地应用。包内共7个文件总大小31.79MB涵盖PyTorch训练好的.pt权重、开放神经网络交换格式的.onnx模型以及适配瑞芯微NPU的.rknn推理文件既能使用主流深度学习框架灵活调用也能在嵌入式设备上高效运行。已有670人学习下载可作为YOLO系列最新版本在人脸检测任务中的典型工程参考帮助初学者理解模型导出、格式适配和平台部署的基本流程。除了核心模型文件包内还提供.tar打包模型、xml配置文件和bin二进制文件便于在多种推理环境中直接加载针对RK3588、RK3576平台准备的.rknn文件可免去自行进行模型转换与量化调优的步骤在Rockchip NPU上实现高效人脸检测显著缩短从算法到产品的开发路径。1. 人脸检测模型 yolov8为什么是它而不是 RetinaFace 或 MediaPipe做实时摄像头的人脸检测时你大概率会搜到“人脸检测模型 yolov8”这个组合。它之所以能成为不少从业者的首选不是因为 yolo 系在人脸这个细分任务上指标最优而是因为它把“训练自己的数据集、换检测头、导出部署”这条链路收得太顺了。相比 RetinaFace 那样带着专门人脸先验的模型yolo v8 在通用目标检测上更皮实比起 MediaPipe 那种封装好的黑匣子它又留了完整的训练入口。这篇笔记按我实际做项目的顺序来聊怎么把环境跑通、怎么把人脸数据喂进去训练、怎么部署到 RK3588 或 Orin 这类板端以及哪些坑是白纸黑字写不出来的。适合正在做人脸检测课程设计、毕业设计或者要在产线上快速验证方案的工程师。2. 环境搭建与预训练权重先让模型跑起来再谈训练2.1 版本选型ultralytics、PyTorch、CUDA 的对应关系很多人在 Ubuntu 20.04 上搭 yolov8 环境翻车不是因为命令打错了而是版本矩阵没对齐。先说结论当前主流做法是直接用官方发布的ultralyticspip 包它会作为依赖把 torch 拉进来。CPU 版本不需要额外关心 CUDAGPU 版本才需要提前确认驱动和 CUDA 版本。我一般会这样收敛版本避免被依赖冲突折磨组件推荐版本说明Python3.8 ~ 3.103.11 以上部分 torch 轮子可能缺失PyTorch2.xCPU 版或 CUDA 11.8 版用CPU标签的 wheel 在纯 CPU 机器上最省事ultralytics8.0.x ~ 8.2.x8.3 之后有些 API 调整旧教程会失效CUDAGPU 机器11.8 或 12.1取决于 torch 轮子不是驱动越新越好提示如果你用的是 GTX 1660 Ti 这类 Turing 架构显卡CUDA 12.x 也支持但 11.8 的兼容性资料最多出问题好搜。2.2 在 Ubuntu 20.04 上用 CPU 跑通最小推理纯 CPU 机器做人脸检测不是不能用关键是权重别选太大。yolov8n 在 i5 上单帧耗时大约 100~200ms做离线标注辅助够用。安装命令如下python3 -m venv venv source venv/bin/activate pip install --upgrade pip pip install opencv-python ultralytics逻辑很简单先建虚拟环境再装opencv-python和ultralytics。这里不直接装 torch是因为ultralytics会自动把匹配的 torch 拉进来如果你先手动装了 GPU 版 torch再装 ultralytics它检测到已有 torch 就会跳过重复安装不会强制覆盖。参数说明--upgrade pip是为了避免旧 pip 解析不了较新的 wheel 依赖。跑通后先别急着训练拿一张含多张人脸的图片验证模型from ultralytics import YOLO model YOLO(yolov8n.pt) results model.predict(group_photo.jpg, conf0.25, iou0.5) for r in results: boxes r.boxes for b in boxes: cls_id int(b.cls[0]) score float(b.conf[0]) if cls_id 0: # COCO 的 person 类 print(person score:, round(score, 3), box:, b.xyxy.tolist())这段代码用 COCO 预训练权重yolov8n.pt做通用检测再过滤出person类。严格说COCO 的 person 并不等于人脸检测但这一步的目的是验证环境通路不是做人脸精度。你看到打印出的坐标和置信度说明模型文件、torch、opencv 三者的链路已经通了。参数说明conf0.25是置信度阈值低于它的框会被丢掉iou0.5是 NMS 的 IoU 阈值控制重叠框的合并力度。2.3 GPU 版配置与权重下载问题GPU 版本的安装差异主要在 torch 这一步pip install torch torchvision --index-url https://download.pytorch.org/whl/cu118 pip install ultralytics opencv-python直接指定 cu118 的 wheel 源--index-url参数只影响 torch 和 torchvision后面的 ultralytics 仍从默认 PyPI 安装。装完后在 Python 里验证一下import torch print(torch.cuda.is_available(), torch.cuda.get_device_name(0))能打印出True和你的显卡型号说明 GPU 环境已经就位。至于预训练权重很多人问“yolov8哪里下载”——官方仓库的 release 里有yolov8n.pt、yolov8s.pt、yolov8m.pt等文件YOLO(yolov8n.pt)这种写法会自动下载到当前目录。这里必须提醒一句官方预训练权重是在 COCO 上训的没有人脸类别你要做的是拿它当 backbone 的初始化再用自己的标注数据微调。网络上能搜到一些用 WIDER FACE 训好的 yolov8 人脸权重但来源鱼龙混杂我建议宁可用官方权重微调也别随便下第三方权重否则复现不了结果时根本分不清是数据问题还是权重本身的问题。2.4 用一张图验证检测结果是否正常环境不是“装完就结束”要跑一次带可视化的推理确认结果from ultralytics import YOLO model YOLO(yolov8n.pt) model.predict(group_photo.jpg, conf0.25, saveTrue, projectruns/test, nameexp1)运行后在runs/test/exp1/下找到带标注框的group_photo.jpg。这一步要看的不是框有多准而是标注框数量是否合理、有没有明显错位、程序有没有报显存错误。如果 COCO 模型连 person 都检不出多半是图片路径问题或 opencv 解码失败这种问题越早暴露越好不要拖到训练完才排查。CPU 机器上跑这个预测大约需要十几秒属于正常现象不用急着怀疑装错了。3. 训练自己的数据集从 WIDER Face 或 Labelme 标注到 YOLO 格式3.1 人脸数据从哪来公开数据集与自采数据的取舍这个环节是“基于 yolov8 的毕业设计”类项目里最容易被低估的部分。模型精度 70% 靠数据不是靠调参。做现实场景的人脸检测我建议首选公开数据集起步WIDER Face 是做人脸检测绕不开的数据集包含约 3 万张图片、约 40 万人脸框。它的标注格式是x1, y1, w, h且存在大量小尺度人脸正好能暴露 yolo 在小目标上的短板。另一条路是用 Labelme 自己标注 500~2000 张业务场景图比如教室、闸机、工位这更贴近真实使用环境。公开数据集的坑在于WIDER Face 的训练集划分是固定的很多人只下载了图片没下载标注 txt导致训练时模型一个框都学不出来。标注文件路径和图片路径的对应关系必须严格按项目里的目录结构放。3.2 用 Labelme 标注人脸并转换为 YOLO 格式如果你选择自采数据Labelme 是最常用的标注工具。安装和启动pip install labelme labelme界面操作不展开记住一个原则人脸框用rectangle画标签名统一填face不要一会儿face一会儿person。Labelme 默认输出 JSON 文件而 yolov8 需要的是 txt 格式的归一化坐标所以必须写转换脚本。一个最简洁的转换脚本如下import json import os def convert_labelme_json(json_path, out_dir, img_w1920, img_h1080): with open(json_path, r, encodingutf-8) as f: data json.load(f) shapes [s for s in data[shapes] if s[label] face] txt_lines [] for s in shapes: points s[points] # [[x1,y1],[x2,y2]] x1, y1 points[0] x2, y2 points[1] x_center (x1 x2) / 2 / img_w y_center (y1 y2) / 2 / img_h w abs(x2 - x1) / img_w h abs(y2 - y1) / img_h txt_lines.append(f0 {x_center:.6f} {y_center:.6f} {w:.6f} {h:.6f}) out_name os.path.basename(json_path).replace(.json, .txt) with open(os.path.join(out_dir, out_name), w) as f: f.write(\n.join(txt_lines))代码逻辑分三段读取 Labelme JSON过滤掉非face的标注把[x1,y1]和[x2,y2]两点坐标转成归一化的中心点加宽高。这里最容易出错的是宽高取绝对值因为画框时可能从右下往左上拖导致x2 - x1是负数。另外img_w和img_h必须是原图尺寸不能拿缩放后的尺寸否则训练出来的框全偏。参数说明类别编号这里写死成0对应 yaml 文件里的第一个类别如果你还标了mask或者head这个数字要随之调整。3.3 训练命令与关键超参数设置转换好标注后按 yolov8 的目录规范组织数据集datasets/face/ ├── images/ │ ├── train/ │ └── val/ ├── labels/ │ ├── train/ │ └── val/ └── face.yamlface.yaml内容如下path: datasets/face train: images/train val: images/val names: 0: face路径都是相对path的不要写成绝对路径。开始训练yolo detect train \ modelyolov8n.pt \ datadatasets/face/face.yaml \ imgsz640 \ epochs100 \ batch16 \ lr00.01 \ projectruns/train参数说明modelyolov8n.pt是微调起点比随机初始化收敛快得多imgsz是人脸检测最值得调的参数之一——在 WIDER Face 上小脸目标多用 640 会漏掉大量小框常见做法是提到 800 或 960 训练代价是显存和训练时间上升。我在 GTX 1660 Ti 6GB 上实测imgsz640, batch16能稳定跑上 800 就得把 batch 降到 8。lr00.01是初始学习率微调场景可以降到 0.005 防止振荡。提示如果你的显存只剩 4~6G优先调batch而不是调模型大小。yolov8n参数量已经很小再换大模型只会让训练时间成倍增加精度提升有限。3.4 损失函数曲线怎么看判断模型是否真的在收敛训练完成后在runs/train/exp/下能看到results.png。这张图包含train/box_loss、train/cls_loss和val/box_loss等曲线。人脸检测项目里我更看重box_loss和val/box_loss而不是cls_loss——因为人脸只有一类分类分支学到的东西很少真正决定精度的是框回归质量。判断标准有三条第一box_loss随着 epoch 单调下降不能大幅震荡第二val/box_loss在训练后期趋于平缓不再明显下降说明模型容量已接近上限第三val/box_loss和train/box_loss之间的差距如果越拉越大是过拟合信号这时候不是继续加 epoch而是加数据增强或减小模型。很多人踩的坑是只看mAP不看 loss 曲线结果过了 60 个 epoch 还想硬撑到 200白白浪费时间。4. 模型部署与推理优化导出 ONNX、转换 RKNN 与板端推理4.1 模型导出从 PyTorch 到 RK3588 / Orin 的转换链路训练完的模型不会直接跑在板子上首先要导出通用的 ONNX 格式yolo export modelruns/train/exp/weights/best.pt formatonnx opset12导出后会在同目录生成best.onnx。这个步骤的意义是把 PyTorch 模型结构固化下来去掉训练专用节点。导出完成后先用onnxruntime在 PC 上验证一遍确保导出没破坏精度import onnxruntime as ort import cv2 import numpy as np session ort.InferenceSession(best.onnx) input_name session.get_inputs()[0].name img cv2.imread(test_face.jpg) img cv2.resize(img, (640, 640)) img img[:, :, ::-1].transpose(2, 0, 1) # BGR-RGB, HWC-CHW img np.ascontiguousarray(img, dtypenp.float32) img / 255.0 inputs {input_name: np.expand_dims(img, 0)} outputs session.run(None, inputs)这段代码里transpose(2, 0, 1)做了通道顺序转换/255.0是归一化这两步和训练时的预处理必须完全一致。很多人导出后置信度全变成 0.01十有八九是漏了其中一步。outputs是模型的原始输出一个[1, 84, 8400]形状的张量前面 4 个值是框坐标后面 80 个是 COCO 类别置信度不是直接的人脸框要拿到最终框还得做坐标解码和 NMS。4.2 人脸小目标问题输入分辨率与图像切分模型到了板端最容易暴露的问题就是小脸漏检。人脸检测和普通目标检测最大的差异在于尺度分布极端大脸占满半个画面小脸可能只有 12×12 像素。yolov8 在 640 输入下下采样 32 倍后的特征图只有 20×20一个 12×12 的小脸在这个尺度上几乎只剩几个像素。常见的做法有三种。一是提高输入分辨率到 960 或 1280这是最省事但代价最大的方式推理耗时几乎翻倍。二是用图像切分tiling把大图切成 640×640 的块分别检测最后合并结果适合图片/离线视频分析实时性要求不高时非常有效。三是换用 P2 检测头也就是在更大分辨率的特征图上加一层检测层但这样改动网络结构训练和部署都要重新走一遍。我的经验是先按 960 分辨率测一下漏检率如果降得明显就说明尺度是瓶颈再考虑 tiling 方案。4.3 NMS 阈值与置信度阈值在人脸场景下的调法部署时有两个参数直接影响效果conf_thres和iou_thres。人脸场景因为类别单一conf_thres通常可以设得比通用检测低一些——通用检测我习惯用 0.4 以上滤掉误检人脸检测放到 0.25 仍然能接受因为人脸误检的成本在多数项目里比漏检低宁可多给几个假框不能让真人脸丢了。iou_thres则是控制重叠框合并的力度人脸密集场景比如会议合影人脸之间频繁重叠iou_thres设 0.5 会把紧挨着的两个人脸合成一个框。建议降到 0.3让合并条件更严格保住相邻的框。调这两个参数时注意它们在训练和部署阶段是两套值。训练时iou0.7是为了算 loss 的匹配和部署时的 NMS 没关系。很多教程混着讲导致新手拿训练配置直接在部署代码里改测试半天发现框变多了但全是重复框。5. 人脸检测 yolov8 的常见坑与排查清单5 条血泪经验5.1 现象训练完 mAP 很高但视频里一张脸都检不到原因通常是训练时用的图片都是高清大脸比如网图、自拍验证集也是同分布数据但实际视频是室内监控视角人脸尺度小、光线暗、角度低分布完全不重叠。这种情况看 mAP 没有意义模型学到的是“特定尺度下的脸”不是泛化的“脸”。解决把训练集换成分辨率不超过 720p 的实拍视频帧确保小尺度人脸占比至少 30% 以上并加入亮度抖动、模糊等增强。不要迷信数据量2000 张贴近场景的照片远比 2 万张风格单一的网图有用。5.2 现象CPU 推理慢到没法用每秒只有两帧原因分两层一是模型选大了直接加载yolov8m甚至yolov8x在 CPU 上跑耗时自然爆炸二是没有用推理优化框架裸 PyTorch 在 CPU 上的算子效率远低于 ONNXRuntime。解决先换yolov8n确认单帧耗时再导出 ONNX 用onnxruntime跑CPU 线程数通过session.set_providers([CPUExecutionProvider])和sess_options.intra_op_num_threads控制。如果还达不到实时只能考虑 GPU 或 NPU 板卡CPU 方案在 1080p 视频上做实时人脸检测本来就不现实。5.3 现象box_loss 一直在降但 val 的 loss 不降反升这就是典型的过拟合信号。人脸检测任务类别单一模型容量大量消耗在背景区分上而背景的多样性远比人脸本身高所以很容易在第 30~50 个 epoch 后出现过拟合。解决把epochs拆两段看前 30 个 epoch 用于判断模型是否学到了基本形状val loss 上升后立刻停止同时打开数据增强yolov8 自带的hsv_h、hsv_s、degrees参数在默认配置下偏保守可以手动把degrees10改到degrees30让人脸角度变化更丰富。5.4 现象导出 ONNX 后推理结果和 PyTorch 完全不一致原因几乎都是预处理或输出解码不一致。PyTorch 模型收到的是 BGR 还是 RGB、是否做了归一化、输入尺寸是多少这些在predict里是自动处理的但导出 ONNX 后这些预处理就断了全要自己写。常见错误包括用 opencv 读图后没转 RGB归一化时除以 255.0 但 PyTorch 走的是 0~1 范围以及没有把 batch 维度展开。解决在导出前后用同一张图分别跑model.predict()和onnxruntime打印两边的原始输出张量是否一致。如果前 4 个值偏差小于 0.01说明问题出在后续的 NMS 解码如果偏差很大回去检查预处理。5.5 现象密集人脸场景大量漏检比如会议室 20 人合影模型只检出 10 个框。原因不只是推理阶段的 NMS 阈值设置训练阶段就埋下了隐患标注框太小模型训练时正样本在特征图上只占十分之一不到的面积。解决一方面按 4.2 的方法把imgsz提高到 800 以上另一方面检查标注质量WIDER Face 数据集里很多小脸的标注框是带明显偏移的如果你的模型直接吃这些标签学出来的框中心点天然有偏。我一般会在转换脚本里过滤掉宽或高小于 20 像素的标注框宁缺毋滥先保证正样本质量。6. 接到实时视频流队列 多线程 跳帧控制的工程化经验6.1 用队列解耦采集与推理摄像头采集帧率是固定的但人脸检测的推理耗时是波动的取决于画面里目标数量如果同步执行会出现采集端阻塞导致画面卡顿。常见做法是用两个线程一个只负责抓帧放进队列另一个从队列取帧做检测。伪代码结构如下import threading import queue import cv2 frame_queue queue.Queue(maxsize4) def capture(cam_id, queue): cap cv2.VideoCapture(cam_id) while True: ret, frame cap.read() if not ret: break if queue.full(): queue.get() # 丢旧帧 queue.put(frame) cap.release() def infer(queue): while True: frame queue.get() results model.predict(frame, conf0.3, imgsz960) # draw boxes... t threading.Thread(targetcapture, args(0, frame_queue), daemonTrue) t.start() infer(frame_queue)maxsize4的意义是限流当推理速度跟不上采集速度时不再无限积压帧而是丢弃最旧的数据保证当前位置的延迟可控。queue.full()时先get()再put()的做法是为了避免旧帧占满队列导致新帧无法进入。在实际项目中这个“丢旧帧”策略很关键人脸检测对实时性敏感宁可晚 100ms不要看 2 秒前的画面。6.2 跳帧策略与 FPS 的验证方法如果推理耗时仍然超过单帧间隔可以采用跳帧策略每 2 帧或 3 帧检测一次中间帧直接复用上一帧的结果绘制人脸框。这个做法在人脸移动缓慢的场景下几乎无感知但在人脸快速转身时会出现明显延迟所以跳帧数不建议超过 3。验证方法不要用肉眼判断写一段统计代码固定 30 秒视频累计检测帧数和耗时算出平均 FPS。同时统计每帧检出的面数和人工标注的基准比对记录漏检率和误检率。这一步我一般放在项目交付前做因为给出具体数字后客户或导师才信服这套方案真的可用。我最早做这个方向时只看 mAP 就敢说能上线结果现场一跑场景光线稍微一变就崩盘——后来把验证流程改成“固定 50 张现场图 一段 1 分钟视频”每次改动模型或参数都重新过一遍这套基准没有再翻过车。希望这些路径和坑能帮你少走点弯路也祝你的 yolov8 人脸检测项目从能跑变成能用。本文还有配套的精品资源点击获取