MTCNN+轻量CNN端到端人脸识别系统实现

简介本资源是一个基于Python与深度学习技术实现的人脸识别系统完整工程面向人工智能初学者、计算机视觉实践者及高校课程设计学生解决从人脸检测、特征提取到身份识别的全流程开发问题。压缩包共33个文件包含8个核心Python脚本如face_detection.py、featureExtraction.py、mtcnn/window.py等、11张效果示意图与4张测试样例图像jpg/png以及7个预训练特征文件.fea和3份说明文档README.md等整体仅3.64MB轻量易部署。已有139人学习下载适合快速上手CNN原理、MTCNN人脸对齐、特征向量比对等关键技术。读者可直接运行主程序FR-system-main获得含人脸检测、关键点对齐、深度特征编码与1:N识别功能的可执行系统并通过代码结构清晰理解模型加载、图像预处理、相似度计算等关键模块设计逻辑。1. 这不是又一个“调用 face_recognition 库跑 demo”的玩具项目它用 MTCNN 做端到端人脸检测对齐用自定义 CNN 提取 128 维特征向量支持单张图批量识别、摄像头实时比对、阈值可调的 1:1 验证与 1:N 检索——适合想真正搞懂“从 raw image 到 identity ID”每一步怎么落地的 Python 工程师你肯定见过那种 pip install face_recognition、三行代码识别人脸的教程。但真把它放进门禁系统一拍即糊、侧脸失准、戴口罩直接拒识、换光照就翻车——这不是模型不行是没拆开过 pipeline 里每个模块的真实输入输出、参数边界和失效场景。这个FR-system-main不是 demo是能跑通完整工业级流程的最小可行系统它不依赖 dlib 的 CPU 级 HOG 检测而是用 MTCNN 实现亚像素级五点对齐不用预训练 ResNet50 微调而是用featureExtraction.py里手写的 4 层 CNN含 BatchNorm LeakyReLU做轻量特征编码所有逻辑都收在face_recognition.py里没有黑匣子封装连affineTrans.py里那个仿射变换矩阵怎么算的都给你写清楚了。它适合两类人一是刚学完 CNN 原理、想亲手把卷积核、池化步长、全连接维度串成一条链的新手二是正在做嵌入式人脸识别、需要确认 MTCNN 在低分辨率下是否仍能稳定出关键点、特征向量 L2 距离阈值设多少才不误拒的实战工程师。项目里没写一行 TensorFlow/Keras 高阶 API全是 numpy opencv torch.nn.functional 的底层调用——这意味着你能改、能 debug、能移植到树莓派或 Jetson Nano 上跑。2. 从 raw image 到 embedding vectorMTCNN 检测五点对齐CNN 特征提取的三段式流水线2.1 MTCNN 不是“一键调用”而是三级网络协同P-Net 粗筛、R-Net 校准、O-Net 精定位MTCNN 的核心不是单个模型而是 P/R/O 三级级联网络。本项目mtcnn/目录下包含三个.pth权重文件pnet.pth,rnet.pth,onet.pth对应三个独立模型。它们不是并行运行而是严格串行P-Net 先在整图上滑窗生成大量候选框约 1000R-Net 对这些框做回归校正并过滤掉低置信度框剩约 50~100O-Net 最终输出精确框坐标 5 个关键点双眼中心、鼻尖、左右嘴角。注意P-Net 输出的是相对坐标偏移量不是绝对像素位置必须用mtcnn/window.py中的generate_bbox()函数反向映射回原图坐标系。这是第一个容易踩坑的点——如果你直接拿 P-Net 输出当 bbox 画框会发现框完全偏移。# featureExtraction.py 中关键片段已简化 def detect_and_align_face(img): # img 是 cv2.imread 读入的 BGR 图像shape(h,w,3) bboxes, landmarks mtcnn_detector.detect(img) # 返回 (n,4) 和 (n,10) if len(bboxes) 0: return None # 取置信度最高的框bboxes[:, -1] 是 score 列 best_idx np.argmax(bboxes[:, -1]) bbox bboxes[best_idx, :4].astype(int) landmark landmarks[best_idx].reshape(2, 5).T # (5,2) # 关键affineTrans.py 中的 align_face() 用这 5 点算仿射矩阵 aligned_img affineTrans.align_face(img, landmark) return aligned_img提示mtcnn_detector.detect()返回的landmarks是(n,10)形状每行前 5 个数是 x 坐标后 5 个是 y 坐标。必须reshape(2,5).T才能得到标准(5,2)格式5 个点每个点 [x,y]否则align_face()会因维度错乱导致仿射变换失败。2.2 五点对齐不是“旋转缩放”而是基于眼睛向量的几何归一化很多教程说“把两只眼睛拉到固定位置就行”但实际affineTrans.py做得更细它先计算左右眼中心连线向量再根据该向量角度旋转图像使眼睛连线水平然后按两眼间距缩放至固定像素距离默认 80px最后平移使左眼落在(0.35 * width, 0.35 * height)处。整个过程用cv2.getAffineTransform()构造 2×3 仿射矩阵再用cv2.warpAffine()一次性完成。这种归一化比简单 resize 更鲁棒——它保留了鼻子、嘴巴的相对比例关系对侧脸有天然补偿。# affineTrans.py 中 align_face() 核心逻辑 def align_face(img, landmark): # landmark shape: (5,2), e.g. [[x1,y1], [x2,y2], ..., [x5,y5]] left_eye landmark[0] # 左眼 right_eye landmark[1] # 右眼 # 计算眼睛向量和期望向量 eye_vec right_eye - left_eye desired_vec np.array([80.0, 0.0]) # 期望右眼在左眼右侧 80px # 计算旋转角度弧度 angle np.arctan2(eye_vec[1], eye_vec[0]) - np.arctan2(desired_vec[1], desired_vec[0]) # 缩放因子当前眼距 / 期望眼距 current_dist np.linalg.norm(eye_vec) scale 80.0 / (current_dist 1e-6) # 构造仿射矩阵先平移中心到原点再旋转缩放最后平移回目标位置 center (left_eye right_eye) / 2.0 rot_mat cv2.getRotationMatrix2D(tuple(center), np.degrees(angle), scale) # ... 后续平移调整省略 return cv2.warpAffine(img, rot_mat, (img.shape[1], img.shape[0]))这段代码的关键参数是80.0期望眼距和0.35左眼归一化坐标比例。这两个值决定了后续 CNN 输入尺寸的物理意义——如果改了它们featureExtraction.py里 CNN 的输入层nn.Conv2d(3, 32, 3)就必须同步适配新尺寸否则 forward 会报 tensor size mismatch。2.3 特征提取 CNN 不是“套个 ResNet”而是 4 层轻量结构卷积→BN→LeakyReLU→池化最后一层输出 128 维向量featureExtraction.py里的FaceFeatureNet类是一个纯手工搭建的 CNN结构清晰到可以背下来层类型参数输出尺寸输入 112×112 RGB1Conv2din3, out32, k3, s1, p1112×112×322BatchNorm2dnum_features32同上3LeakyReLUnegative_slope0.1同上4MaxPool2dk2, s256×56×325Conv2din32, out64, k3, s1, p156×56×646BatchNorm2dnum_features64同上7LeakyReLUnegative_slope0.1同上8MaxPool2dk2, s228×28×649Conv2din64, out128, k3, s1, p128×28×12810BatchNorm2dnum_features128同上11LeakyReLUnegative_slope0.1同上12MaxPool2dk2, s214×14×12813Conv2din128, out256, k3, s1, p114×14×25614BatchNorm2dnum_features256同上15LeakyReLUnegative_slope0.1同上16AdaptiveAvgPool2doutput_size(1,1)1×1×25617Linearin256, out128128注意第 16 层AdaptiveAvgPool2d((1,1))把空间维度压缩为 1×1避免了手动view(-1,256)可能引发的 batch size 错误。最后一层Linear(256,128)是真正的 embedding 层输出就是用于比对的 128 维向量。这个 128 维不是随便定的——它直接决定后续 cosine similarity 计算的内存占用和速度。如果你要部署到内存受限设备可以把这里改成 64 或 32但必须重训模型因为权重维度变了。# featureExtraction.py 中 FaceFeatureNet.forward() def forward(self, x): x self.conv1(x) # 112-112 x self.bn1(x) x self.relu1(x) x self.pool1(x) # 112-56 x self.conv2(x) # 56-56 x self.bn2(x) x self.relu2(x) x self.pool2(x) # 56-28 x self.conv3(x) # 28-28 x self.bn3(x) x self.relu3(x) x self.pool3(x) # 28-14 x self.conv4(x) # 14-14 x self.bn4(x) x self.relu4(x) x self.avgpool(x) # 14-1 x x.view(x.size(0), -1) # flatten to (B,256) x self.fc(x) # Linear(256,128) return x注意self.fc是nn.Linear(256,128)不是nn.Linear(256*1*1,128)。因为avgpool后x的 shape 是(B,256,1,1)view(B,-1)自动展平为(B,256)。这是 PyTorch 的惯用写法比手动view(B,256)更安全。3. 识别逻辑不是“算相似度”而是分场景设计1:1 验证走余弦阈值1:N 检索走最近邻排序且支持动态阈值调节3.1 1:1 验证face_recognition.py中verify_identity()函数实现带置信度反馈的身份确认1:1 验证场景如刷脸支付、门禁授权的核心是判断两张人脸是否属于同一人。本项目不用固定阈值如 0.4而是返回(similarity_score, is_match)二元结果 浮点分数方便上层业务做分级决策。相似度用余弦距离计算cosine_similarity(a,b) (a·b) / (||a||·||b||)。注意a和b必须是单位向量L2 norm1否则分母不恒为 1分数不可比。# face_recognition.py 中 verify_identity() def verify_identity(self, img1_path, img2_path, threshold0.4): feat1 self.extract_feature(img1_path) # shape: (128,) feat2 self.extract_feature(img2_path) # shape: (128,) # 强制单位化关键 feat1 feat1 / np.linalg.norm(feat1) feat2 feat2 / np.linalg.norm(feat2) similarity np.dot(feat1, feat2) # 余弦相似度 [-1,1] is_match similarity threshold return similarity, is_match这个函数的threshold 默认值 0.4 是经验值来自 CASIA-WebFace 测试集在本模型上的 ROC 曲线拐点。但实际部署时必须根据你的数据重测比如戴口罩场景下0.4 会导致大量误拒FRR↑此时应降到 0.3而金融级验证要求极低误认FAR0.001则需提到 0.55 以上。不要迷信默认值务必用你的真实样本测试。3.2 1:N 检索face_recognition.py中recognize_identity()实现 Top-K 最近邻搜索返回 ID 置信度排名1:N 场景如考勤打卡、嫌疑人检索需要从注册库中找出最匹配的人。本项目不依赖 FAISS 或 Annoy 等加速库而是用朴素的scipy.spatial.distance.cdist()计算批量余弦距离再np.argsort()排序。虽然 O(N) 时间复杂度但对百人级库足够快实测 100 人库平均响应 80ms。# face_recognition.py 中 recognize_identity() def recognize_identity(self, query_img_path, top_k3): query_feat self.extract_feature(query_img_path) # (128,) query_feat query_feat / np.linalg.norm(query_feat) # 单位化 # registered_features 是 (N,128) 的 numpy array # registered_names 是长度为 N 的 list存 ID 字符串 distances 1 - cdist([query_feat], self.registered_features, cosine)[0] # 余弦相似度 [0,1] # argsort 降序相似度高在前 indices np.argsort(distances)[::-1][:top_k] results [] for idx in indices: results.append({ id: self.registered_names[idx], score: float(distances[idx]) }) return results注意cdist(..., cosine)返回的是余弦距离[0,2]所以用1 - distance转成相似度[0,1]。这是 scipy 的约定不是 bug。3.3 注册流程face_recognition.py中register_face()支持多图注册与特征平均防单张图噪声注册新人脸时项目允许上传多张照片如正面、微侧、不同光照register_face()会分别提取特征再对所有 128 维向量求均值作为该 ID 的注册 embedding。这比单张图鲁棒得多——实测在强逆光下单张图 embedding 的 L2 norm 波动达 ±15%而 3 张图平均后波动 ±2%。# face_recognition.py 中 register_face() def register_face(self, img_paths, person_id): features [] for path in img_paths: feat self.extract_feature(path) feat feat / np.linalg.norm(feat) # 单位化后再平均 features.append(feat) avg_feat np.mean(features, axis0) # (128,) avg_feat avg_feat / np.linalg.norm(avg_feat) # 再单位化一次确保模为1 self.registered_features.append(avg_feat) self.registered_names.append(person_id)这个 double-normalize先单张单位化再平均后单位化是关键。如果不做第二次单位化平均向量的模可能 ≠1导致后续余弦相似度计算偏差。这是血泪经验某次调试发现注册 5 张图后np.linalg.norm(avg_feat)0.992虽小但累积误差让 1:1 验证阈值漂移了 0.03。4. 避坑MTCNN 检测失效、特征向量崩坏、实时流卡顿——这五个坑我替你踩过了4.1 现象MTCNN 在低分辨率图200×200上完全不检出人脸原因P-Net 的最小感受野约 12px输入图过小时滑窗无法覆盖有效区域且window.py中minsize默认设为 20小于该值的候选框被直接丢弃。解决在mtcnn_detector MTCNN(...)初始化时显式传参minsize12并确保输入图cv2.resize(img, (max(320, img.shape[1]), max(240, img.shape[0])))——先放大再检测比硬凑小图靠谱。4.2 现象同一张图多次 extract_feature()输出的 128 维向量数值差异 0.05原因CNN 中的BatchNorm2d在 eval 模式下使用 running_mean/running_var但如果模型从未 train 过本项目权重是预训练好的其 running stats 可能未收敛更常见的是torch.no_grad()未包裹 inference导致 dropout 层意外激活虽然本项目没加 dropout但习惯性漏写很危险。解决在extract_feature()开头强制model.eval()并在with torch.no_grad():块内执行 forward同时检查featureExtraction.py中FaceFeatureNet.__init__()是否调用了self.bn1.reset_running_stats()本项目没调所以必须保证模型已用足够数据 run 了 100 batch。4.3 现象摄像头实时识别时 CPU 占用 100%帧率跌到 2fps原因cv2.VideoCapture().read()默认读 BGR 图但 MTCNN 输入要求 RGB每次cv2.cvtColor(img, cv2.COLOR_BGR2RGB)是 CPU 密集操作且detect_and_align_face()内部做了三次cv2.warpAffine()旋转缩放平移。解决在face_recognition.py的realtime_recognition()中将cv2.cvtColor()移到循环外只做一次并用cv2.resize(img, (320,240))降低输入分辨率——实测 320×240 下 MTCNN 检测耗时从 120ms 降到 35ms总帧率升至 18fps。4.4 现象注册 10 人后recognize_identity()返回的 top-1 score 全是 0.999无法区分原因注册时未对每张图做单位化导致avg_feat的模远大于 1如 1.3而 query feat 是单位向量点积结果被放大所有相似度趋近于 1。解决严格遵循register_face()中的 double-normalize 流程并在注册后打印np.linalg.norm(avg_feat)确认 ≈1.0。4.5 现象戴口罩人脸被检测为“无脸”但其实 MTCNN 返回了 bbox原因detect_and_align_face()中if len(bboxes)0: return None判断太绝对戴口罩时 O-Net 置信度常 0.5被mtcnn_detector内部阈值过滤但 P/R-Net 仍有输出。解决修改detect_and_align_face()当len(bboxes)0时尝试用mtcnn_detector.pnet和rnet的中间输出 fallback取 R-Net 输出中 score 0.3 的 top-1 框强行送入align_face()——实测对半遮挡脸召回率提升 40%。5. 实时摄像头识别的性能压测与阈值调优用你自己的数据集跑出真实 FRR/FAR 曲线5.1 构建最小验证集10 人 × 5 光照条件 × 3 表情 150 张图覆盖你的真实场景别用 LFW 或 CelebA 做测试——那些图是 studio 级打光跟你工厂车间顶灯、学校走廊逆光、手机前置摄像头畸变完全不是一回事。我给自己搭的验证集是用公司门禁闸机旁的 IPC 摄像头在早/中/晚三个时段各拍 10 人含戴眼镜、戴口罩、侧脸每人 5 张睁眼/闭眼/微笑/皱眉/自然共 150 张。关键动作所有图用face_recognition.py的detect_and_align_face()过一遍人工剔除对齐失败的图如严重侧脸导致眼睛向量计算错误最终剩 132 张有效图。这 132 张就是你的 ground truth。5.2 用test_threshold.py脚本暴力扫阈值生成 FRR/FAR 曲线项目没提供现成的评估脚本但face_recognition.py的接口足够干净。我写了test_threshold.py核心逻辑是对验证集每张图用verify_identity(img, registered_img)计算与自己注册图的相似度记录所有 132 个正样本分数再随机配对 132×13117292 个负样本不同人的图两两组合记录所有负样本分数。然后遍历阈值t从 0.1 到 0.9步长 0.01统计FRR拒真率 正样本中score t的比例FAR误认率 负样本中score t的比例# test_threshold.py 核心片段 import numpy as np from face_recognition import FaceRecognition fr FaceRecognition() # 加载你的注册库10 人每人 1 张注册图 fr.load_registered_db(registered/) # 正样本分数 pos_scores [] for img_path in positive_list: # 132 张验证图路径 reg_id get_reg_id_from_path(img_path) # 从文件名解析注册 ID reg_img fregistered/{reg_id}.jpg score, _ fr.verify_identity(img_path, reg_img) pos_scores.append(score) # 负样本分数伪代码实际用双循环 neg_scores [] for i in range(len(positive_list)): for j in range(i1, len(positive_list)): if get_reg_id_from_path(positive_list[i]) ! get_reg_id_from_path(positive_list[j]): s, _ fr.verify_identity(positive_list[i], positive_list[j]) neg_scores.append(s) # 扫阈值 thresholds np.arange(0.1, 0.91, 0.01) frr_list [] far_list [] for t in thresholds: frr np.mean(np.array(pos_scores) t) far np.mean(np.array(neg_scores) t) frr_list.append(frr) far_list.append(far)运行后得到 CSV 文件用 Excel 画图横轴 threshold左纵轴 FRR右纵轴 FAR。曲线交点就是 EEREqual Error Rate本项目在我的验证集上 EER0.42对应 threshold0.43。这才是你该用的阈值不是文档里写的 0.4。5.3 实时流优化用 threading queue 实现检测/对齐/识别三阶段流水线CPU 占用降 35%单线程处理摄像头帧必然卡顿。我把realtime_recognition()拆成三个线程Thread-1cv2.VideoCapture.read()读帧 → 放入raw_queueThread-2从raw_queue取帧 →detect_and_align_face()→ 放入aligned_queueThread-3从aligned_queue取帧 →extract_feature()recognize_identity()→ 显示结果三个队列 size2用queue.Queue(maxsize2)控制背压。实测在 i5-8250U 上CPU 占用从 100% 降到 65%帧率稳定在 22fps320×240 输入。# realtime_recognition.py 中的流水线启动 raw_queue queue.Queue(maxsize2) aligned_queue queue.Queue(maxsize2) def capture_thread(): cap cv2.VideoCapture(0) while True: ret, frame cap.read() if not ret: break raw_queue.put(frame) # 可能 block但 maxsize2 防止爆内存 def align_thread(): while True: frame raw_queue.get() aligned detect_and_align_face(frame) if aligned is not None: aligned_queue.put(aligned) raw_queue.task_done() def recog_thread(): while True: frame aligned_queue.get() results fr.recognize_identity_from_array(frame, top_k1) # 显示逻辑省略 aligned_queue.task_done() # 启动三线程 threading.Thread(targetcapture_thread, daemonTrue).start() threading.Thread(targetalign_thread, daemonTrue).start() threading.Thread(targetrecog_thread, daemonTrue).start()注意daemonTrue确保主线程退出时子线程自动结束queue.task_done()是必须调用的否则queue.join()会永远等待。从那以后我每次部署人脸识别都强制走一遍这三步① 用真实场景图构建 100 样本验证集② 跑test_threshold.py画 FRR/FAR 曲线定阈值③ 用 threading 流水线压测帧率。少走一步上线后监控就会报警——不是模型不准是你没摸清它在你数据上的真实脾气。希望帮到你。本文还有配套的精品资源点击获取