300张手机实拍人脸性别分类数据集：从数据底子到迁移学习实战

简介这份资源面向计算机视觉方向的科研人员、算法工程师与深度学习入门者提供一套可直接用于性别检测与分类训练的人脸数据集。数据源自真实手机采集环境共300张高质量人脸图片按woman与man两个子集完成分类划分与标注覆盖不同光线、表情与姿态有助于提升模型泛化能力与性别分类准确率。压缩包共505个文件约339.41MB以317个Python脚本、48个config配置、29个proto定义及pbtxt、pb、checkpoint等模型文件为主另含少量jpg、png图片与xml、txt标注整体构成一套可复现的检测与分类工程目录。资源还涉及MTCNN、SSD、YOLO等检测思路以及ResNet、VGG特征提取与CNN、Transformer分类模型并延伸至Faster R-CNN结合Mean-shift与卡尔曼滤波的人流统计场景。已有58人学习适合希望快速上手性别识别项目、复用训练脚本与配置的读者参考。1. 300 张手机实拍人脸性别分类数据集先别急着上模型把数据底子摸清很多人做性别分类第一步就翻车拿公开的 LFW、CelebA 直接训结果模型在实验室里准确率 98%一部署到真实场景就掉到 70% 出头。原因不复杂——那些数据集大多是棚拍、正脸、光照均匀跟手机随手拍出来的东西根本不是一个分布。这份资源的价值恰恰在这里300 张真实手机采集的人脸图片按 woman 和 man 两个子集分好标注也做完了拿来就能进训练流程。它适合两类人一类是想快速跑通「人脸检测 → 特征提取 → 性别分类」整条链路的学生和初级算法工程师另一类是手头缺真实分布小样本、想验证自己模型泛化能力的从业者。300 张不算多但作为 pipeline 验证集和迁移学习的起点够用。下面我按自己拆包的顺序把这份资源怎么用、参数怎么设、坑在哪一条条讲清楚。2. 数据集结构与标注格式先搞清楚目录里到底装了什么2.1 目录组织与文件命名规律拿到一个分类数据集我第一件事不是写训练脚本而是先tree一遍看结构。这份资源的组织方式很直白根目录下按性别分成两个子文件夹图片直接躺在里面没有多余的层级。常见做法是dataset/ ├── woman/ │ ├── 0001.jpg │ ├── 0002.jpg │ └── ... └── man/ ├── 0001.jpg ├── 0002.jpg └── ...这种「一个类别一个文件夹」的结构是torchvision.datasets.ImageFolder和tf.keras.utils.image_dataset_from_directory默认就能吃的格式不需要你额外写解析代码。文件名是顺序编号没有携带性别、年龄等额外信息所以标签完全靠父目录名推断。这里有个细节要注意woman和man的文件夹名会被直接当成类别名训练时类别索引通常按字母序排也就是man0、woman1。如果你后面要输出「男/女」这种中文标签记得在推理阶段做一次映射别指望模型直接吐中文。图片格式是 JPG手机采集意味着分辨率不统一、EXIF 方向信息可能存在。我一般会在预处理阶段统一做一次方向校正和尺寸归一化避免训练时出现「横着的脸」。这一步用 PIL 的ImageOps.exif_transpose就能搞定成本很低但能省掉后面一堆玄学问题。2.2 标注信息与类别平衡这份资源的标注是「文件夹即标签」的弱标注形式没有额外的 XML 或 JSON 文件。对分类任务来说这足够了但如果你想做检测任务比如同时定位人脸框就需要自己补标注。300 张里 woman 和 man 的具体数量简介里没给死数我建议你拿到手先跑一段统计脚本确认一下import os from collections import Counter root dataset counts {} for cls in os.listdir(root): cls_dir os.path.join(root, cls) if os.path.isdir(cls_dir): imgs [f for f in os.listdir(cls_dir) if f.lower().endswith((.jpg, .jpeg, .png))] counts[cls] len(imgs) print(counts) total sum(counts.values()) for k, v in counts.items(): print(f{k}: {v} ({v/total:.1%}))这段脚本做两件事统计每个类别的图片数量并算出占比。参数上没什么可调的root指向你的数据集根目录即可。逻辑说明如果两类数量差距超过 1.5:1训练时就要考虑用WeightedRandomSampler做重采样或者在 loss 里加类别权重否则模型会偏向多数类。300 张的体量下哪怕只差几十张对准确率的影响也会被放大这点血泪经验值得记一下。提示统计完先别删任何图片。手机采集的样本里偶尔会有模糊、遮挡严重的但小数据集里每一张都可能是某个姿态的唯一代表删之前先看模型在验证集上的混淆矩阵再决定。3. 从零跑通性别分类检测、裁剪、训练三段式流程3.1 人脸检测与对齐别把整张图直接喂给分类器性别分类的前提是人脸检测。你手里如果有 SSD 或 MTCNN 的预训练模型直接拿来用就行。项目正文里列了一堆 config 文件像ssd_mobilenet_v2_quantized_320x320_open_image_v4.config、ssdlite_mobilenet_v2_coco.config这些都是 TensorFlow Object Detection API 的配置文件说明这套资源的设计意图是配合 SSD 系列检测器使用的。我一般会选ssdlite_mobilenet_v2因为它在移动端推理速度够快精度对 300 张这种小场景也够。检测完之后要做裁剪和对齐。裁剪的逻辑是以检测框为中心向外扩 20% 再裁这样能保留一点下巴和额头的信息对性别分类有帮助。对齐则用两眼坐标做仿射变换把脸摆正。下面是一个用 OpenCV 做裁剪的示例import cv2 def crop_face(img_path, box, margin0.2): img cv2.imread(img_path) x1, y1, x2, y2 box w, h x2 - x1, y2 - y1 # 向外扩 margin 比例防止裁掉下巴和发际线 x1 max(0, int(x1 - w * margin)) y1 max(0, int(y1 - h * margin)) x2 min(img.shape[1], int(x2 w * margin)) y2 min(img.shape[0], int(y2 h * margin)) face img[y1:y2, x1:x2] face cv2.resize(face, (224, 224)) return face参数说明margin控制外扩比例0.2 是我在手机自拍场景下试出来的经验值太大容易把背景带进来太小会切掉下巴。resize到 224×224 是为了对齐 ResNet、MobileNet 这类骨干网络的输入尺寸。逻辑上检测和对齐是两件独立的事但顺序不能反——先检测再对齐否则对齐算法找不到关键点。3.2 迁移学习训练300 张图该怎么设参数300 张图从头训一个 CNN 基本等于自杀正确姿势是迁移学习。骨干网络选 MobileNetV3 或 ResNet18前者适合端侧部署后者精度稍高。我一般会冻结骨干的前几层只训后面的分类头等 loss 稳定后再解冻做微调。下面是一个 PyTorch 的训练骨架import torch import torch.nn as nn from torchvision import models, transforms # 数据增强小数据集必须上否则过拟合跑不掉 train_tf transforms.Compose([ transforms.Resize((224, 224)), transforms.RandomHorizontalFlip(p0.5), transforms.ColorJitter(brightness0.2, contrast0.2), transforms.RandomRotation(10), transforms.ToTensor(), transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225]) ]) model models.mobilenet_v3_small(pretrainedTrue) # 替换分类头输出 2 类 model.classifier[3] nn.Linear(model.classifier[3].in_features, 2) # 先冻结特征层 for param in model.features.parameters(): param.requires_grad False criterion nn.CrossEntropyLoss() optimizer torch.optim.Adam( filter(lambda p: p.requires_grad, model.parameters()), lr1e-3, weight_decay1e-4 )参数说明lr1e-3是分类头单独训练时的常用起点解冻微调时要降到1e-4甚至更低。weight_decay1e-4是给模型加一点 L2 正则小数据集上能压一压过拟合。RandomHorizontalFlip对性别分类是安全的因为左右翻转不改变性别但RandomRotation别开太大10 度以内够了转多了人脸关键点分布会失真。训练轮数上冻结阶段跑 1520 个 epoch解冻后再跑 10 个配合早停基本就能收敛。3.3 验证集划分与评估指标300 张的体量验证集至少留 20%也就是 60 张。划分时要注意如果同一个人有多张照片必须按人划分不能按图随机分否则同一个人既在训练集又在验证集准确率会虚高。这份资源没有提供身份 ID所以只能按图片随机分这是个已知的局限心里要有数。评估指标别只看准确率。性别分类如果两类不平衡准确率会骗人。我一般同时看混淆矩阵和 F1。下面这段代码输出分类报告from sklearn.metrics import classification_report, confusion_matrix # y_true, y_pred 为验证集上的真实标签和预测标签 print(confusion_matrix(y_true, y_pred)) print(classification_report(y_true, y_pred, target_names[man, woman]))逻辑说明混淆矩阵能告诉你模型是把男人错判成女人多还是反过来多。如果某一类召回率明显低说明该类样本太少或特征不明显需要补数据或调类别权重。F1 是精确率和召回率的调和平均比准确率更能反映小数据集上的真实表现。4. 避坑与排查300 张小数据集上最容易翻车的五件事4.1 现象训练准确率 99%验证准确率 60%原因过拟合。300 张图对 CNN 来说太少了模型把训练样本背下来了。解决先冻结骨干只训分类头加上数据增强再不行就减模型容量把 MobileNetV3 换成更小的版本或者加 Dropout。别一上来就解冻全部参数那是给大数据集准备的。4.2 现象推理时人脸框位置对但性别判断随机原因训练时的裁剪方式和推理时不一致。训练用检测框外扩 20%推理时如果直接裁检测框输入分布就变了。解决把裁剪逻辑封装成一个函数训练和推理共用同一套代码别写两份。4.3 现象手机竖拍的照片人脸是横的原因EXIF 方向信息没处理。手机拍的照片会在 EXIF 里存旋转角度OpenCV 读图时默认不转。解决读图后先做exif_transpose或者用 PIL 读图再转成 numpy 数组。这个坑很隐蔽因为你在电脑上看图是正的但代码读进来是歪的。4.4 现象模型对女性样本准确率明显低于男性原因类别不平衡或者女性样本里的姿态、光照更复杂。解决先统计两类数量不平衡就上重采样平衡的话就看女性样本里是不是有大量侧脸、遮挡必要时针对性补数据。别急着调模型结构先看数据。4.5 现象换一批新手机拍的照片准确率断崖下跌原因域偏移。训练集全部来自某一款手机或某一种光照条件模型学到了设备相关的特征。解决训练时加强颜色抖动和亮度对比度增强推理前做直方图均衡化。如果条件允许混入不同设备采集的样本哪怕每类只加几十张泛化能力都会有明显提升。5. 把 300 张用出 3000 张的效果小数据集的进阶玩法300 张的体量想直接训出一个能打的模型不现实但作为「种子数据」它很有价值。我常用的一个技巧是先用这 300 张训一个粗模型然后用它去伪标注一批无标签的人脸数据人工抽检修正后再混入训练集。这个过程叫自训练能把有效样本量翻几倍。具体做法是用训练好的模型对无标签图片推理取置信度高于 0.9 的样本加入训练集低于 0.6 的丢掉中间地带人工看。一轮下来通常能扩到 8001000 张再训一版验证集准确率一般能涨 58 个百分点。另一个方向是换损失函数。小数据集上ArcFace 或 CosFace 这类加性角度间隔损失比单纯的 Softmax 更能拉开类间距离。把分类头换成 ArcFace 层训练时margin设 0.3 左右scale设 30对性别这种二分类任务类间可分性会更好。代价是训练收敛慢一点需要多跑几个 epoch。还有一个容易被忽略的点输入分辨率。手机采集的图片分辨率通常很高直接缩到 224 会丢掉细节。我试过把输入提到 320×320在 MobileNetV3 上推理速度只慢 15%但性别分类准确率能涨 23 个点。如果你的部署环境算力允许这个 trade-off 是划算的。验证方法上我习惯留一个「跨设备测试集」从不同手机、不同光照下各挑 20 张不参与训练只在最后评估。这个集子上的表现才是模型能不能上线的真实信号。从那以后我每次拿到小数据集都强制先划一个跨域测试集再动手训后悔药没处买。希望帮到你。本文还有配套的精品资源点击获取