TensorFlow人脸识别CNN完整例程：从数据采集到实时识别

简介面向毕业设计与人脸识别入门场景一份围绕TensorFlow卷积神经网络的人脸识别示例覆盖了从数据准备到模型测试的完整流程。项目通过采集目标人物与他人的人脸图片构建训练集让模型学习区分特定人员与陌生人适合希望结合具体案例动手实践深度学习的初学者。压缩包共6个文件包含4个Python脚本分别负责采集本人人脸、采集他人人脸、训练分类模型和实时识别检测另附README说明文档与LICENSE许可证文件整体仅14KB结构紧凑便于快速通读和修改。资源上传后已有625人学习代码量不大但模块划分清晰能直观展示TensorFlow从图片读取、卷积层设计到模型保存与调用的完整链路。读者既可将其作为毕业设计的基础框架二次扩展也可配合官方文档深入理解卷积神经网络在图像分类中的实际应用是一个兼具趣味性和学习价值的动手项目。1. TensorFlow 人脸识别神经网络一套能认出你的 CNN 毕设完整例程这是一份把“认脸”做完整的毕业设计教程用 TensorFlow 训练一个卷积神经网络从摄像头画面判断“镜头前这个人是不是我”。不是调现成 API而是从采集数据、训练模型到实时识别全部自己跑一遍适合想真正弄懂神经网络和 CNN 图片处理流程的人。工作流很直接先用摄像头拍一批自己的正脸照片再准备一批别人的照片两类数据分开存放然后训练一个二分类 CNN最后打开摄像头实时输出“是我/不是我”的概率。代码在 Python 3.x TensorFlow 环境下运行Windows 和 Linux 都能跑。拆这份资源时我最有感触的是它把数据不均衡、光照变化这类最容易忽略的问题都摆在明面上这些正是做毕设时最花时间的部分。下面按采集、训练、验证、排错一路走下来末尾再给几个能直接用的进阶改法。2. 人脸数据从哪来get_my_faces 与 set_other_faces 的采集逻辑与目录约定2.1 先按约定把目录建好项目文件解压后核心代码就五个set_other_faces.py、get_my_faces.py、train_faces.py、is_my_face.py外加一个保存模型的 tensorflow 目录和 README。运行前我先确认目录结构是这样的facerecognition_tensorflow/ ├── get_my_faces.py ├── set_other_faces.py ├── train_faces.py ├── is_my_face.py ├── my_faces/ # 自己的脸get_my_faces.py 生成 ├── other_faces/ # 别人的脸set_other_faces.py 生成 ├── tensorflow/ # 训练后模型存放位置 └── README.mdmy_faces 和 other_faces 在刚解压时是不存在的需要先跑采集脚本。我的第一印象是这个项目把数据、代码、模型分得比较清楚后面训练和识别都依赖这两个目录所以目录名别乱改尤其是 tensorflow 这个模型目录train_faces.py 和 is_my_face.py 里写死的路径都指向它。2.2 get_my_faces.py摄像头取自己的脸采集脚本做的事情是打开摄像头用 OpenCV 的 Haar 级联检测器找正脸把检测到的脸裁剪成正方形缩放到 64x64 保存到 my_faces。关键代码长这样import cv2 import os OUTPUT_DIR my_faces SAVE_SIZE 64 MAX_COUNT 1000 INTERVAL 2 if not os.path.exists(OUTPUT_DIR): os.makedirs(OUTPUT_DIR) camera cv2.VideoCapture(0) face_cascade cv2.CascadeClassifier( cv2.data.haarcascades haarcascade_frontalface_default.xml) count 0 frame_id 0 while count MAX_COUNT: ok, frame camera.read() if not ok: break frame_id 1 gray cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY) faces face_cascade.detectMultiScale( gray, scaleFactor1.2, minNeighbors5) for (x, y, w, h) in faces: if frame_id % INTERVAL ! 0: continue face frame[y:yh, x:xw] face cv2.resize(face, (SAVE_SIZE, SAVE_SIZE)) cv2.imwrite(f{OUTPUT_DIR}/{count}.jpg, face) count 1 if count MAX_COUNT: break camera.release()detectMultiScale 的两个参数按我的使用经验要一起调scaleFactor 是每次缩放比例1.2 表示每轮把检测窗口缩小 20%值越小检测越慢但越不容易漏minNeighbors 是邻居矩形数量阈值值越大误检越少但可能漏掉侧脸。我一般先把 minNeighbors 放到 5 到 8 之间试一圈找到在你自己脸型上不丢框的配置。这里有个细节值得新手注意裁剪坐标直接用了检测框 (x, y, w, h)没有做边界裁剪。当人脸贴近画面边缘时yh 可能超过帧高度保存出来的图会有一条黑边或直接保存失败我在避坑章节会专门说。2.3 set_other_faces.py给“她”一批参照人脸set_other_faces.py 的思路是从一个装原始照片的目录里批量读图对每张图做同样的检测和裁剪输出到 other_faces。原始照片来源可以是网上找的公开人脸数据集也可以是自己收集的合照关键是这些照片里不能包含“我”的脸。import cv2 import os import glob INPUT_DIR raw_other_faces OUTPUT_DIR other_faces SAVE_SIZE 64 MAX_COUNT 1000 if not os.path.exists(OUTPUT_DIR): os.makedirs(OUTPUT_DIR) face_cascade cv2.CascadeClassifier( cv2.data.haarcascades haarcascade_frontalface_default.xml) count 0 for img_path in glob.glob(os.path.join(INPUT_DIR, *.jpg)): if count MAX_COUNT: break frame cv2.imread(img_path) if frame is None: continue gray cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY) faces face_cascade.detectMultiScale(gray, 1.2, 5) for (x, y, w, h) in faces: face frame[y:yh, x:xw] face cv2.resize(face, (SAVE_SIZE, SAVE_SIZE)) cv2.imwrite(f{OUTPUT_DIR}/{count}.jpg, face) count 1 if count MAX_COUNT: break print(fdone, saved {count} faces)注意 INPUT_DIR 指向的 raw_other_faces 需要你自己准备脚本不负责下载。常见做法是找 LFW、CelebA 这类公开数据集抽一部分图片放进去或者用自己的生活照。自己收集的时候建议挑正脸、光照清楚、脸上没大遮挡的避免给训练集掺入太多脏数据。2.4 两类样本数量怎么配训练用两个类别的图片每个类别的样本数量直接决定 loss 曲线能不能掉下来。我的经验值是每类至少 500 张两类数量不要差超过一倍。如果 my_faces 有 800 张、other_faces 只有 200 张网络会倾向把所有输入都判为“我”因为这样已经能拿到 80% 准确率这是刚接触训练的人最容易踩的隐性坑。样本规模效果建议每类 200 张以下过拟合明显验证集抖动大先采集再训练每类 5002000 张二分类足够稳定本项目的合理区间每类上万张收益递减训练变慢不如直接上迁移学习采集的时候我会刻意做一件事让自己在画面里转一转脸的角度有正面、左右微侧、仰头低头这样 train_faces 学到的特征比单纯正脸鲁棒很多。别嫌麻烦这一步直接影响后面摄像头实时识别的体验。3. 训练二分类 CNNtrain_faces.py 的网络结构、数据管道与关键参数3.1 网络结构两层卷积加全连接train_faces.py 里定义的网络是典型的入门级 CNN 结构两层卷积-池化、一层全连接、最后 softmax 输出两个类别的得分。输入图片固定为 64x64 的三通道彩色图通道数从 3 逐层扩展到 32、64特征图尺寸从 64 降到 16最后展平送进全连接。def create_net(x, keep_prob): with tf.variable_scope(face_cnn): conv1 tf.layers.conv2d( x, 32, 3, activationtf.nn.relu, nameconv1) pool1 tf.layers.max_pooling2d(conv1, 2, 2, namepool1) conv2 tf.layers.conv2d( pool1, 64, 3, activationtf.nn.relu, nameconv2) pool2 tf.layers.max_pooling2d(conv2, 2, 2, namepool2) flatten tf.layers.flatten(pool2) fc tf.layers.dense( flatten, 128, activationtf.nn.relu, namefc) fc tf.nn.dropout(fc, keep_prob) logits tf.layers.dense(fc, 2, namelogits) return logitsconv2d 的第三个参数 3 是卷积核边长我一般不动它第一个输出通道数 32 可以往上加到 64训练时间会变长但拟合能力更强对 64x64 的小图来说 32 已经够用。dropout 只在训练时生效推理阶段 keep_prob 要传给 1.0否则输出概率会被随机“打折”识别结果忽高忽低。3.2 数据读取与标签构造整个训练集在脚本启动时一次性读入内存而不是用 tf.data 做流式读取。对每类一两千张、每张 64x64 的小项目来说这是最省事的方案一张图读进来除以 255 归一化到 01 再 append 到数组。def build_dataset(): images, labels [], [] for fname in os.listdir(my_faces): img Image.open(os.path.join(my_faces, fname)) img img.resize((IMAGE_SIZE, IMAGE_SIZE)) images.append(np.array(img) / 255.0) labels.append(1) for fname in os.listdir(other_faces): img Image.open(os.path.join(other_faces, fname)) img img.resize((IMAGE_SIZE, IMAGE_SIZE)) images.append(np.array(img) / 255.0) labels.append(0) data list(zip(images, labels)) random.shuffle(data) images, labels zip(*data) return np.array(images), np.array(labels)注意“我”的标签是 1“其他人”是 0这个约定直接决定 is_my_face.py 里看输出向量的哪个位置。有次我把标签写反训练出来的模型把所有人都认成自己排查了大半天。先确认标签方向再做别的检查能省很多时间。3.3 训练循环与保存训练部分用 sparse_softmax_cross_entropy优化器选 Adam初始学习率 0.001。batch size 64、epoch 数先设 200 跑一轮看曲线loss 降到 0.1 以下再考虑要不要加轮次。x tf.placeholder(tf.float32, [None, IMAGE_SIZE, IMAGE_SIZE, 3], namex) y tf.placeholder(tf.int32, [None], namey) keep_prob tf.placeholder(tf.float32, namekeep_prob) logits create_net(x, keep_prob) loss tf.reduce_mean(tf.nn.sparse_softmax_cross_entropy_with_logits( logitslogits, labelsy)) train_op tf.train.AdamOptimizer(LEARNING_RATE).minimize(loss) correct tf.equal(tf.argmax(logits, 1), tf.cast(y, tf.int64)) acc tf.reduce_mean(tf.cast(correct, tf.float32)) saver tf.train.Saver() with tf.Session() as sess: sess.run(tf.global_variables_initializer()) for epoch in range(EPOCHS): idx np.random.permutation(len(images)) for i in range(0, len(images), BATCH_SIZE): batch_idx idx[i:i BATCH_SIZE] sess.run(train_op, feed_dict{ x: images[batch_idx], y: labels[batch_idx], keep_prob: KEEP_PROB}) if (epoch 1) % 20 0: train_loss, train_acc sess.run( [loss, acc], feed_dict{x: images, y: labels, keep_prob: 1.0}) print(fepoch {epoch1}, loss {train_loss:.4f}, acc {train_acc:.4f}) saver.save(sess, tensorflow/face_model)这段代码按 TensorFlow 1.x 的会话式 API 写的开头要加import tensorflow.compat.v1 as tf tf.disable_v2_behavior()在 TensorFlow 2.x 环境里这样包一层placeholder 和 Session 就都能用了。如果你装的是 1.131.15 的旧版直接 import tensorflow as tf 也能跑。为了避免混淆我统一在 train_faces.py 和 is_my_face.py 的开头都放上 compat.v1 的写法实测在 TF 2.62.10 都能通过。训练完毕tensorflow/ 目录下会出现 face_model.meta、face_model.index、face_model.data-00000-of-00001 和 checkpoint 四个文件。Saver 会把网络结构和变量值分开存meta 里是图结构index 和 data 里是权重后面 is_my_face 恢复场景时这三个文件缺一不可。3.4 关键参数速查参数值影响IMAGE_SIZE64越大信息越足训练越慢BATCH_SIZE64越大梯度越稳内存占用越高LEARNING_RATE0.001过大不收敛过小半天不动KEEP_PROB0.5全连接层的 dropout 保留比例EPOCHS200看 loss 曲线决定是否提前停提示在 TensorFlow 1.x 环境下直接 import tensorflow as tf 即可2.x 环境需要 compat.v1 包装否则 placeholder 会被移除。我习惯的做法是先用 100 epoch 探路观察 30 轮内 loss 有没有明显下降趋势如果 30 轮还在 0.5 以上徘徊先检查标签和归一化而不是盲目调大学习率。4. 现场验证is_my_face.py 的模型恢复、实时检测与阈值判定4.1 从 meta 文件恢复完整网络is_my_face.py 不需要重新定义网络结构直接 import_meta_graph 把训练时保存的图恢复出来再 restore 权重。这样有个好处网络结构和训练时严格一致不会出现推理时手写网络层参数不匹配的问题。sess tf.Session() saver tf.train.import_meta_graph(tensorflow/face_model.meta) saver.restore(sess, tf.train.latest_checkpoint(tensorflow/)) graph tf.get_default_graph() x graph.get_tensor_by_name(x:0) keep_prob graph.get_tensor_by_name(keep_prob:0) logits graph.get_tensor_by_name(face_cnn/logits/BiasAdd:0)get_tensor_by_name 的名字要和训练时 placeholder 的 name 参数一一对应face_cnn/logits/BiasAdd:0 是训练时 scope 为 face_cnn 的最后一层 dense 输出。如果自己改了网络结构这里要用 graph.get_operations() 打印所有操作名找到倒数第二个 BiasAdd 才是 logits这个定位方法比硬记名字可靠。4.2 摄像头实时推理恢复模型后进入循环每帧先做 Haar 检测有脸才送进网络。送进去之前要先把 BGR 图像 resize 到 64x64、除以 255、再转成 [1, 64, 64, 3] 的 batch 维度维度和训练时的输入严格一致。camera cv2.VideoCapture(0) while True: ok, frame camera.read() if not ok: break gray cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY) faces face_cascade.detectMultiScale(gray, 1.2, 5) for (x, y, w, h) in faces: face frame[y:yh, x:xw] face cv2.resize(face, (IMAGE_SIZE, IMAGE_SIZE)) face_input np.array(face, dtypenp.float32) / 255.0 face_input face_input.reshape(1, IMAGE_SIZE, IMAGE_SIZE, 3) probs sess.run(tf.nn.softmax(logits), feed_dict{x: face_input, keep_prob: 1.0}) my_prob probs[0][1]keep_prob 这里是 1.0不是 0.5。这是新手最容易忽略的点如果忘了改成 1.0dropout 会在推理时随机丢弃神经元同一帧画面连续跑两次概率会不一样。4.3 阈值判定的手感softmax 输出是二维概率第 0 位是“其他人”的概率第 1 位是“我”的概率。项目常见做法是直接拿第 1 位和阈值比较阈值设置在 0.80.9 之间。我自己的手感是阈值 0.5几乎把所有脸都判成“我”因为网络见的人脸少类别区分度还没那么高阈值 0.9要求很高只有非常确定才亮绿灯误判少但可能把自己判成别人阈值 0.85折中适合绝大多数演示环境。如果你发现识别稳定性差别急着动阈值先回去检查两类数据集的光照分布是否一致。训练数据都是在室内灯光下拍的拿到日光灯或走廊里测概率会普遍掉一截。4.4 多帧确认比单帧判定靠谱实时视频里单帧检测偶尔会闪一下返回了错误的标签又立刻恢复正常。为了避免这种抖动我一般会维护一个最近 10 帧的概率队列取平均值再和阈值比。这个小改动手动实现在 is_my_face.py 里只需要加一个 collections.deque每帧把 my_prob 放进去超过 10 帧就 pop 最老的用均值做判断。它对用户体验的提升非常明显毕设答辩现场不容易翻车。5. 避坑记录从 TensorFlow 版本到 loss 不收敛的五条排查经验5.1 报错 no attribute placeholder现象import tensorflow 后运行 train_faces.py直接抛 AttributeError: module tensorflow has no attribute placeholder。原因项目代码是 TensorFlow 1.x 的会话式 API而你装的是 2.x 默认开启 eager 模式placeholder 和 Session 都被移除了。这不是代码坏了是 API 换代。解决在 train_faces.py 和 is_my_face.py 文件开头统一加两行import tensorflow.compat.v1 as tf tf.disable_v2_behavior()之后代码里的 placeholder、Session、Saver 都能继续用。如果装的是 TF 1.131.15 就直接 import tensorflow别加 compat 那行。5.2 摄像头打不开或检测不到人脸现象cap.read() 返回 False或者运行 get_my_faces.py 时一直不保存图片。原因设备索引不对或 Haar 级联文件路径写错。Windows 下笔记本自带摄像头有时是 0外接 USB 摄像头可能是 1不同机器不一样。cascade 路径如果手写成绝对路径换一台机器就失效。解决先用 cv2.VideoCapture(0) 试不行改成 1。cascade 文件路径用 cv2.data.haarcascades haarcascade_frontalface_default.xml 最稳。运行一小段测试代码打印 cap.isOpened() 和 frame.shape能直接定位是哪一环的问题。5.3 loss 卡在 0.69 附近不下降现象训练了 50 个 epochloss 一直在 0.69 上下抖动acc 在 50% 左右。原因0.69 恰好是 ln(2)说明网络在输出随机概率等于在抛硬币。最可能的是两类数据严重不均衡或者图片没有归一化梯度震荡到不了一个稳定方向。解决先确认 my_faces 和 other_faces 数量差距不超过一倍再把图像数组除以 255最后把学习率从 0.01 降到 0.001。按这个顺序排查绝大部分 loss 不降的问题都能解决。5.4 训练 acc 高但摄像头识别稀碎现象训练结束时打印 acc 有 98%关掉脚本打开 is_my_face.py换个人或换个房间就认错。原因过拟合加采集场景和测试场景分布不一致。训练数据全部在同一个房间、同一个光照下拍网络学到了背景和光线特征一换环境就失效。解决采集时多换几个位置、几个时间段拍对数据集做翻转、亮度抖动增强把阈值从 0.5 提到 0.85。我在自己机器上还做过一个验证把训练集的几十张图单独拎出来测acc 如果远高于真实摄像头测试基本就是过拟合别先怀疑模型保存坏了。5.5 其他人站在摄像头前也被判为我现象任何一个人出现在画面里输出“是我”的概率都超过 0.9。原因other_faces 数据集里混入了和自己的脸很像的样本或者干脆包含了训练者的照片导致网络没有学到清晰的区分边界。解决把 other_faces 里“我自己”的照片剔除同时确保两类人脸的姿态范围大致对齐——你不能 my_faces 全是正脸other_faces 全是侧脸网络会拿姿态特征当分类依据。检查方法很笨但有效随机抽 50 张 other_faces 逐张看一遍确认没有自己是第一优先级。6. 进阶玩法迁移学习、数据增强与多分类扩展6.1 用迁移学习替换自训练的 CNN自训练的两层卷积在光照稳定时够用但鲁棒性上限不高。一个改动量很小的做法是把 create_net 换成 tf.keras.applications.MobileNetV2 作为特征提取器冻结前 100 层权重只训练最后的全连接层。64x64 的输入对 MobileNetV2 来说偏小可以先放大到 96 或 128再用 GlobalAveragePooling2D 接 Dense(2)。这样训练时间反而比从头训练快因为需要更新的参数少准确率通常还更高。适合答辩前想快速提升效果的情况。6.2 数据增强让模型更耐折腾在 build_dataset 里对每张图做随机水平翻转、±10 度的旋转、亮度乘 0.81.2等于把数据集规模翻了四五倍。注意别做垂直翻转——人脸倒过来训练会引入错误特征。增强代码用 OpenCV 的 warpAffine 和 convertScaleAbs 十几行就能实现加在 append 之前。6.3 把二分类拆成多分类想让它同时认识多个人把标签从 0/1 改成 person_id输出层从 2 改成 N损失函数仍用 sparse_softmax_cross_entropy。采集阶段每多一个人就多一个目录train_faces.py 里 build_dataset 遍历所有目录按名字分配标签就行。需要留意的是人越多越容易混淆每个人的样本量最好都保持 500 张以上。6.4 一个固定测试集的验证习惯训练完别直接开摄像头先准备一个 50 张的固定测试集一半自己、一半别人每次训练完都过一遍记录准确率和错误图片路径。如果发现误判集中在某几张特定光线的照片优先补拍类似光线下的训练数据比盲目调阈值有效。我以前做毕设时也栽在“训练集准确率 99% 但上台演示翻车”这件事上从那以后我每次训练完都会强制走一遍固定测试集把预测错的那十几张图单独存一个文件夹逐张看是光照问题还是角度问题。这个习惯帮我躲过了不少尴尬场面。希望帮到你。本文还有配套的精品资源点击获取