深度学习人脸表情识别源码实战：从检测对齐到ONNX推理优化

简介这是一套面向深度学习入门与计算机视觉实践者的高精度人脸表情识别系统源码采用Python为主、Shell脚本为辅实现可应用于情感分析、人机交互体验优化等场景。项目共57个文件压缩包约26.1MB包含17个Python脚本承担模型训练、推理与界面逻辑17个PNG与8个JPG图片用于表情样本与结果可视化另有2个TensorFlow Lite模型文件便于端侧部署以及haarcascade人脸检测XML、字体文件、依赖清单与说明文档等配套资源。目录中涵盖数据预处理、LBP与Gabor特征、BlazeFace检测、模型定义、训练测试及GUI界面等模块结构完整便于读者理解从数据到部署的全流程。目前已有318人学习适合希望快速搭建表情识别原型、研究模型结构与界面集成的开发者参考借鉴。1. 从一次课堂签到翻车说起这套源码到底能干什么去年帮朋友做一个在线课堂的签到系统需求很简单学生打开摄像头系统自动判断当前表情是专注还是走神走神超过阈值就提醒。我一开始想用现成的云 API结果延迟高、按调用量计费一个班五十人跑一节课成本就上去了。后来换成自己部署模型用了一套基于深度学习的人脸表情识别源码本地推理延迟压到几十毫秒成本直接归零。这套源码解决的就是这类问题给你一套能跑通的人脸表情识别完整链路从人脸检测、对齐、表情分类到结果输出Python 为主Shell 脚本负责环境初始化和批量推理。适合三类人想拿它做课程设计的学生、需要快速搭原型的工程师、以及想拆开看 CNN 表情分类怎么落地的人。它不是什么黑科技就是把 FER 这套流程用工程化的方式串起来了但恰恰是串起来这件事很多人自己写会踩一堆坑。2. 拆开看结构人脸检测、对齐、分类三段式怎么分工2.1 为什么表情识别不能直接丢一张图进 CNN很多人第一反应是表情识别不就是分类吗我拿 ResNet 训一个七分类模型不就行了。这个思路在实验室的 CK 数据集上能跑到 95% 以上但一放到真实场景就崩。原因很简单真实图片里人脸只占一小块背景、光照、角度全是干扰你直接把整图 resize 到 224x224 喂给网络等于让模型在噪声里找信号。所以合格的流程一定是三段式先检测人脸框再对齐到标准姿态最后才送进分类网络。这套源码的结构也是这么分的目录大致是这样face_expression/ ├── detect/ # 人脸检测模块 │ ├── mtcnn.py # MTCNN 检测器封装 │ └── retinaface.py ├── align/ # 人脸对齐 │ └── align_face.py ├── classify/ # 表情分类 │ ├── model.py # 网络定义 │ └── inference.py # 推理封装 ├── weights/ # 预训练权重 ├── scripts/ │ ├── setup.sh # 环境初始化 │ └── batch_infer.sh └── app.py # 入口检测用 MTCNN 或 RetinaFace对齐做五点关键点仿射变换分类网络通常是轻量 CNN 或者 MobileNet 系列。这个分工的好处是每一段可以独立替换你觉得 MTCNN 慢换成 RetinaFace你觉得分类精度不够换更强的 backbone其他部分不用动。2.2 环境初始化Shell 脚本里藏了什么拿到源码第一步不是急着跑 app.py而是先看 scripts/setup.sh。我见过太多人直接 pip install -r requirements.txt 然后报一堆错因为深度学习项目的依赖是有顺序和版本约束的。#!/bin/bash # setup.sh - 环境初始化脚本 set -e # 任何一步失败就退出避免错误累积 # 1. 检查 Python 版本低于 3.8 直接退出 PYTHON_VERSION$(python3 -c import sys; print(sys.version_info.minor)) if [ $PYTHON_VERSION -lt 8 ]; then echo 需要 Python 3.8 及以上 exit 1 fi # 2. 创建虚拟环境隔离依赖 python3 -m venv venv source venv/bin/activate # 3. 先装 PyTorch注意 CUDA 版本要匹配 # 如果机器没有 GPU把 cu118 换成 cpu pip install torch torchvision --index-url https://download.pytorch.org/whl/cu118 # 4. 再装其他依赖 pip install opencv-python numpy pillow mtcnn # 5. 下载预训练权重如果有的话 # 权重文件通常放在 weights/ 目录下 echo 环境初始化完成这个脚本的关键点在于PyTorch 必须单独指定 index-url 安装因为默认的 PyPI 源给的可能是 CPU 版本或者 CUDA 版本不匹配。CUDA 版本和显卡驱动对不上是新手最常见的翻车点报错通常是 CUDA driver version is insufficient 或者 no kernel image is available。解决办法就是先用 nvidia-smi 看驱动支持的 CUDA 版本再去 PyTorch 官网找对应的安装命令。提示如果你不确定自己机器的 CUDA 版本先跑nvidia-smi右上角会显示 CUDA Version: 11.8 这样的信息这个数字是驱动支持的最高版本不是已安装版本。2.3 推理入口一张图到表情标签的完整链路环境好了之后核心就是推理链路。这套源码的 app.py 通常提供一个命令行入口也支持传入图片路径批量处理。我把它简化成一段能直接抄的代码import cv2 import torch from detect.mtcnn import MTCNN from align.align_face import align_face from classify.model import ExpressionNet from classify.inference import predict # 初始化检测器和分类模型 device torch.device(cuda if torch.cuda.is_available() else cpu) detector MTCNN(devicedevice) model ExpressionNet(num_classes7).to(device) model.load_state_dict(torch.load(weights/expr_net.pth, map_locationdevice)) model.eval() # 表情标签映射 LABELS [angry, disgust, fear, happy, sad, surprise, neutral] def infer(image_path): img cv2.imread(image_path) if img is None: raise ValueError(f读不到图片: {image_path}) # 第一步检测人脸框和关键点 boxes, landmarks detector.detect(img) if len(boxes) 0: return [] # 没人脸直接返回空 results [] for box, lm in zip(boxes, landmarks): # 第二步对齐输出 112x112 的标准人脸 face align_face(img, lm, output_size112) # 第三步预处理 分类 face_rgb cv2.cvtColor(face, cv2.COLOR_BGR2RGB) label, score predict(model, face_rgb, device) results.append({ box: box.tolist(), label: LABELS[label], score: float(score) }) return results if __name__ __main__: import sys out infer(sys.argv[1]) for r in out: print(f表情: {r[label]}, 置信度: {r[score]:.3f})这段代码的逻辑很直白检测 → 对齐 → 分类。几个参数需要说明output_size112对齐后的人脸尺寸要和分类模型训练时的输入尺寸一致。如果你换了自己的模型这个值必须跟着改否则精度会掉得莫名其妙。num_classes7七类表情这是 FER 领域的标准分类数。如果你的数据集只有五类这里要改同时 LABELS 列表也要对应调整。map_locationdevice加载权重时指定设备避免在 CPU 机器上加载 GPU 训练的权重时报错。注意model.eval()这行不能省。训练时用的 BatchNorm 和 Dropout 在推理时行为不同不切 eval 模式会导致同一张图每次推理结果都不一样这个坑我踩过排查了半天以为是权重问题。3. 训练自己的模型数据准备、增强策略与调参3.1 数据集怎么组织才不会被 DataLoader 坑源码里通常自带一个训练脚本但数据集的组织方式决定了你能不能顺利跑起来。常见做法是按类别分文件夹datasets/ ├── train/ │ ├── angry/ │ ├── happy/ │ ├── sad/ │ └── ... └── val/ ├── angry/ └── ...这种结构可以直接用torchvision.datasets.ImageFolder加载省去自己写 Dataset 的麻烦。但有几个细节要注意第一类别文件夹的字母顺序决定了标签编号。ImageFolder会按文件夹名排序angry0, disgust1, fear2... 如果你在推理时用的 LABELS 列表顺序和这个不一致结果就全乱了。我一般会在训练脚本里打印dataset.class_to_idx确认一遍。第二图片格式要统一。混着 jpg、png、bmp 不是不行但 OpenCV 读图和 PIL 读图在某些边界情况下行为不同建议统一用 PIL 读转成 RGB 再送进 transform。第三验证集和训练集的类别必须完全一致。少一个类别ImageFolder生成的标签空间就不一样训练时 loss 会直接报维度不匹配。3.2 数据增强表情识别里哪些增强有用哪些是负优化数据增强是提升泛化最便宜的手段但表情识别这个任务有它的特殊性。不是所有增强都适用。from torchvision import transforms train_transform transforms.Compose([ transforms.Resize((112, 112)), transforms.RandomHorizontalFlip(p0.5), # 水平翻转安全 transforms.RandomRotation(degrees10), # 小角度旋转安全 transforms.ColorJitter( brightness0.2, contrast0.2, # 亮度对比度扰动安全 saturation0.1, hue0.05 ), transforms.RandomAffine( degrees0, translate(0.05, 0.05), # 小范围平移 scale(0.95, 1.05) ), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]) ]) val_transform transforms.Compose([ transforms.Resize((112, 112)), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]) ])哪些增强要小心垂直翻转绝对不能用。人脸倒过来就不是人脸了模型学到的特征完全错乱。大角度旋转超过 15 度的旋转会让五官位置关系变形表情语义被破坏。小角度可以大角度不行。Cutout / RandomErasing这个有争议。适度使用能提升鲁棒性但如果遮挡区域刚好盖住嘴巴或眼睛表情信息就丢了。我一般把遮挡比例控制在 10% 以内。MixUp在表情识别上效果不稳定。两张不同表情的图混在一起标签本身就是矛盾的模型很难学到清晰边界。Normalize 的 mean 和 std 用的是 ImageNet 的统计值这是迁移学习的标准做法。如果你从零训练可以换成自己数据集的统计值但用预训练权重的话必须保持一致。3.3 训练循环里的关键参数与常见报错训练脚本的核心循环大概长这样import torch.nn as nn from torch.optim import Adam from torch.optim.lr_scheduler import CosineAnnealingLR criterion nn.CrossEntropyLoss(label_smoothing0.1) optimizer Adam(model.parameters(), lr1e-3, weight_decay1e-4) scheduler CosineAnnealingLR(optimizer, T_max50) for epoch in range(50): model.train() for imgs, labels in train_loader: imgs, labels imgs.to(device), labels.to(device) optimizer.zero_grad() outputs model(imgs) loss criterion(outputs, labels) loss.backward() optimizer.step() scheduler.step() # 验证 model.eval() correct, total 0, 0 with torch.no_grad(): for imgs, labels in val_loader: imgs, labels imgs.to(device), labels.to(device) outputs model(imgs) preds outputs.argmax(dim1) correct (preds labels).sum().item() total labels.size(0) print(fEpoch {epoch}, Val Acc: {correct/total:.4f})几个参数的选择理由label_smoothing0.1表情标注本身有主观性同一张脸有人标中性有人标轻微高兴硬标签会过拟合。平滑一下能缓解。lr1e-3CosineAnnealingLRAdam 配余弦退火是比较稳的组合。如果你用 SGD学习率要调到 1e-2 级别。weight_decay1e-4轻量正则化防止过拟合。表情数据集通常不大正则很重要。常见报错和处理报错信息原因解决CUDA out of memorybatch_size 太大降到 32 或 16或者用梯度累积Expected all tensors on same device模型和数据不在同一设备检查 model.to(device) 和 imgs.to(device)Target X is out of bounds标签编号超出 num_classes检查 class_to_idx 和 num_classes 是否一致Loss is nan学习率太大或数据有脏样本降 lr检查数据集中有没有损坏图片4. 避坑与排查那些文档不会告诉你的翻车现场4.1 检测不到人脸但图片里明明有人现象跑推理脚本返回空列表但打开图片肉眼能看到清晰的人脸。原因通常有三种一是图片是灰度图MTCNN 内部按三通道处理会出错二是人脸太小检测器有最小尺寸限制三是图片方向不对手机拍的竖图带 EXIF 旋转信息OpenCV 读进来是横的。解决先确认图片通道数img.shape如果是二维就cv2.cvtColor(img, cv2.COLOR_GRAY2BGR)人脸太小就先把图放大再检测EXIF 问题用 PIL 读图后ImageOps.exif_transpose处理。4.2 同一张图两次推理结果不一样现象同一张图片跑两次表情标签变了。原因模型没切 eval 模式Dropout 还在随机丢弃神经元BatchNorm 还在用当前 batch 的统计量。解决推理前必须model.eval()并且用with torch.no_grad()包住推理过程。这两个是标配少一个都出问题。4.3 精度虚高但实际用起来很差现象验证集准确率 95%但拿真实照片测试惨不忍睹。原因训练集和验证集来自同一个数据集分布一致但真实场景的光照、角度、人种分布完全不同。这是典型的过拟合到数据集偏差。解决引入外部数据做交叉验证或者在训练时加大增强力度。另外检查一下验证集是不是从训练集里随机切的如果是按视频帧切的相邻帧高度相似验证集等于变相泄漏了训练数据。4.4 Shell 脚本在 Windows 上跑不了现象双击 setup.sh 没反应或者在 Git Bash 里报语法错误。原因Shell 脚本是给 Linux/macOS 写的Windows 的换行符是 CRLFbash 解析会出错。解决用dos2unix setup.sh转换换行符或者在 WSL 里跑。如果坚持用 Windows把脚本里的命令逐条手动执行也行核心就是创建虚拟环境、装 PyTorch、装依赖这三步。4.5 换了自己的模型后精度暴跌现象把分类网络换成自己训的其他没动结果精度从 90% 掉到 30%。原因大概率是对齐后的输入尺寸和模型期望的输入尺寸不一致。原模型可能吃 112x112你的模型吃 224x224图片被 resize 后五官比例变了。解决检查align_face的output_size和模型第一层的输入尺寸是否匹配。另外确认预处理用的 mean/std 是否和训练时一致这个不一致也会导致精度大幅下降。5. 进阶技巧把推理速度压到实时并验证模型可靠性5.1 用 ONNX 导出把推理速度提升一倍PyTorch 的推理有框架开销如果部署到生产环境导出成 ONNX 再用 ONNX Runtime 跑速度通常能提升 30% 到 100%。导出代码import torch.onnx model.eval() dummy_input torch.randn(1, 3, 112, 112).to(device) torch.onnx.export( model, dummy_input, expr_net.onnx, input_names[input], output_names[output], dynamic_axes{input: {0: batch_size}}, opset_version11 )关键参数说明dynamic_axes让 batch 维度可变这样一次可以处理多张图opset_version11是兼容性比较好的版本太高了某些推理引擎不支持。导出后用 onnxruntime 加载import onnxruntime as ort import numpy as np sess ort.InferenceSession(expr_net.onnx) input_name sess.get_inputs()[0].name def onnx_predict(face_rgb): # 预处理要和训练时一致 face cv2.resize(face_rgb, (112, 112)).astype(np.float32) / 255.0 face (face - [0.485, 0.456, 0.406]) / [0.229, 0.224, 0.225] face face.transpose(2, 0, 1)[np.newaxis, ...].astype(np.float32) outputs sess.run(None, {input_name: face}) return outputs[0].argmax(), outputs[0].max()我实测过同一台机器上 PyTorch 推理单张 15msONNX Runtime 能压到 8ms 左右。如果再用 TensorRT还能更快但配置复杂度也上去了看你的场景需不需要。5.2 验证模型有没有学到真东西混淆矩阵和注意力图精度数字会骗人混淆矩阵不会。跑完验证集后画一个混淆矩阵你能一眼看出模型在哪些类别上犯糊涂。表情识别里最常见的混淆是恐惧和惊讶、悲伤和中性因为它们的面部特征确实有重叠。from sklearn.metrics import confusion_matrix import seaborn as sns import matplotlib.pyplot as plt # 收集所有验证集的预测结果 all_preds, all_labels [], [] model.eval() with torch.no_grad(): for imgs, labels in val_loader: imgs imgs.to(device) preds model(imgs).argmax(dim1).cpu().numpy() all_preds.extend(preds) all_labels.extend(labels.numpy()) cm confusion_matrix(all_labels, all_preds) sns.heatmap(cm, annotTrue, fmtd, xticklabelsLABELS, yticklabelsLABELS) plt.xlabel(预测) plt.ylabel(真实) plt.show()如果发现某两类互相混淆严重说明模型没学到区分性特征。这时候可以考虑用 Grad-CAM 看模型到底在关注哪里。如果注意力集中在背景而不是五官上那说明数据集的背景偏差太大了需要做数据清洗或者加背景随机化增强。5.3 一个我每次都会走的验证习惯从那以后我每次拿到一个新的表情识别模型都强制走一遍这个流程先拿十张自己拍的照片不同光照、不同角度、戴眼镜和不戴眼镜各几张跑一遍看结果是否符合直觉再画混淆矩阵确认没有系统性偏差最后用 ONNX 导出跑一次速度测试。这三步走完我才敢把它往实际场景里放。很多人跳过这一步直接拿验证集精度说事结果上线就翻车。模型在数据集上的表现和真实场景的表现之间隔着一条叫做分布偏移的鸿沟只有用真实数据去测才能发现。希望这套源码和上面的排查思路能帮你少走点弯路。本文还有配套的精品资源点击获取