PyTorch CNN验证码识别实战：端到端训练与预测

简介这份资源面向希望入门深度学习与验证码识别方向的开发者、学生及算法爱好者提供一套基于CNN的端到端验证码识别完整方案无需进行字符切割、尺寸归一化或特征提取等繁琐预处理即可直接训练与预测。资源包共52个文件以40张png验证码样本、8个py脚本、1份docx设计报告为主另含md说明与license压缩包约899KB涵盖数据生成、模型定义、训练与预测等模块。项目采用pytorch框架配合ImageCaptcha生成训练、测试与预测集合纯四位数字识别率可达99.99%以上数字加字母场景约96%验证码覆盖数字、大小写字母。已有641人学习下载读者可获取可运行的源码、数据集与设计报告理解端到端识别流程与模型调参思路适合作为课程设计、毕业设计或算法练手参考。1. 从一份能跑通的验证码识别源码说起验证码识别这个方向很多人第一次接触都是在爬虫项目里被卡住的时候。图形验证码翻译成人能看懂的字符容易让机器稳定认出来难。这份资源给了一套基于 CNN 的端到端方案用 PyTorch 搭网络用 ImageCaptcha 自己生成训练集纯四位数字识别率能到 99.99%数字加字母大约 96%。它最大的价值在于省掉了传统流程里最烦人的几步字符切割、尺寸归一化、单字符标注、特征提取全部交给卷积网络自己学。适合已经会 Python、想跑通一个完整深度学习小项目的人也适合被验证码卡过、想看看端到端方案到底怎么落地的人。下面按「资源是什么、怎么用、坑在哪」的顺序拆开讲。2. 端到端 CNN 识别验证码网络结构与数据流2.1 为什么不做字符切割传统验证码识别流程是二值化、去噪、找连通域、切割单个字符、归一化到固定尺寸、提取特征、逐字符分类。这套流程在字符不粘连、干扰线少的时候能用但一旦字符重叠或者有扭曲切割就会出错后面全盘皆输。端到端方案换了个思路整张图直接输入网络输出每个字符位置上的分类结果中间不做任何人工干预。这份源码里的captcha_cnn_model.py定义的就是这种结构。输入是固定尺寸的验证码图片经过几层卷积和池化最后接全连接层输出维度是字符位数 × 字符类别数。比如四位数字输出就是 4×10 个节点每个位置独立做 softmax 分类。这样网络自己会学到「第几个字符在图片的哪个区域」不需要你告诉它字符边界在哪。常见做法是卷积层后面接 BatchNorm 和 ReLU再用最大池化降维。源码里具体层数和通道数可以打开captcha_cnn_model.py看但核心逻辑就是「卷积提特征、池化降尺寸、全连接出分类」。这种结构对验证码这种短字符序列足够用不需要上 RNN 或者 Transformer。2.2 数据生成与标签编码captcha_gen.py负责生成验证码图片用的是 ImageCaptcha 库。它支持数字、大写字母、小写字母可以设置字符集、图片宽高、干扰线数量。源码里生成的图片命名格式是「验证码内容_时间戳.png」比如HWD5_1539937370.png这样文件名本身就带了标签省去了单独维护标注文件的麻烦。one_hot_encoding.py做的是标签编码。假设字符集是 0-9 加 A-Z一共 36 个类别四位验证码的标签就是一个 4×36 的 one-hot 矩阵。训练时网络输出经过 softmax 得到每个位置的概率分布和这个 one-hot 标签算交叉熵损失。# one_hot_encoding.py 核心逻辑示意 import numpy as np CHAR_SET [0,1,2,3,4,5,6,7,8,9, A,B,C,D,E,F,G,H,I,J,K,L,M, N,O,P,Q,R,S,T,U,V,W,X,Y,Z] def encode(label): 把 HWD5 这样的字符串转成 4x36 的 one-hot 矩阵 char_to_idx {c: i for i, c in enumerate(CHAR_SET)} arr np.zeros((len(label), len(CHAR_SET)), dtypenp.float32) for i, ch in enumerate(label): arr[i, char_to_idx[ch]] 1.0 return arr这段代码的关键参数是CHAR_SET它决定了分类的类别数。如果你只用数字把列表改成 0-9 就行输出维度从 36 降到 10训练会更快准确率也更高。len(label)是验证码位数源码里是 4 位改成 5 位的话网络输出层也要跟着改。2.3 训练脚本的参数与执行captcha_train.py是训练入口。它做的事情是读train目录下的图片、解析文件名得到标签、编码成 one-hot、按 batch 送入网络、算损失、反向传播、定期保存模型。my_dataset.py定义了 PyTorch 的 Dataset 类负责图片读取和预处理。# captcha_train.py 关键参数示意 BATCH_SIZE 64 LR 0.001 EPOCHS 50 MODEL_SAVE_PATH captcha_model.pth # 训练循环核心 for epoch in range(EPOCHS): for imgs, labels in dataloader: imgs imgs.to(device) labels labels.to(device) preds model(imgs) loss criterion(preds, labels) optimizer.zero_grad() loss.backward() optimizer.step() # 每个 epoch 结束后保存一次 torch.save(model.state_dict(), MODEL_SAVE_PATH)BATCH_SIZE设 64 是常见起点显存不够就降到 32 或 16。LR用 0.001 配合 Adam 优化器这是比较稳的组合。EPOCHS设 50 轮实际训练时看 loss 曲线如果 20 轮后 loss 不再下降就可以停。MODEL_SAVE_PATH是模型保存路径训练完会得到一个.pth文件预测脚本加载它就能用。captcha_setting.py里集中放了字符集、图片宽高、验证码位数这些配置。改配置的时候只改这一个文件训练和预测脚本都从它读避免两边不一致导致预测结果错位。3. 从零跑通训练与预测环境、数据、命令3.1 环境准备与依赖安装这份源码依赖 PyTorch、torchvision、Pillow、ImageCaptcha、numpy。PyTorch 安装要选对版本CPU 版和 GPU 版命令不一样。如果机器有 NVIDIA 显卡并且装了 CUDA用 GPU 版训练会快很多没有的话 CPU 版也能跑只是训练时间会长一些。# 创建虚拟环境推荐避免污染全局包 python -m venv captcha_env source captcha_env/bin/activate # Windows 用 captcha_env\Scripts\activate # 安装依赖 pip install torch torchvision pip install pillow numpy pip install captchacaptcha就是 ImageCaptcha 所在的包安装后from captcha.image import ImageCaptcha就能用。如果 pip 安装 torch 太慢可以换国内镜像源但注意镜像源里的 torch 版本可能不是最新的装完用python -c import torch; print(torch.__version__)确认一下。3.2 生成训练数据与目录结构源码里train目录下已经有一批生成好的图片命名格式是「验证码_时间戳.png」。如果你想自己生成更多数据用captcha_gen.py# captcha_gen.py 生成验证码示意 from captcha.image import ImageCaptcha import random, string, os CHAR_SET string.digits string.ascii_uppercase # 数字大写字母 WIDTH, HEIGHT 160, 60 COUNT 10000 # 生成数量 image ImageCaptcha(widthWIDTH, heightHEIGHT) os.makedirs(train, exist_okTrue) for i in range(COUNT): label .join(random.choices(CHAR_SET, k4)) filename ftrain/{label}_{i}.png image.write(label, filename)CHAR_SET决定字符集WIDTH和HEIGHT要和captcha_setting.py里的配置一致否则训练和预测时图片尺寸对不上。COUNT是生成数量一般每个字符类别至少要有几百个样本四位验证码总共 36^4 种组合不可能全覆盖但一万张左右能让模型学到足够的特征。生成的文件名里带标签my_dataset.py解析文件名就能拿到标签不需要额外标注。test目录放测试集predict目录放待预测的图片。源码里predict目录下有几张KAWJ_1539936857.png这样的图captcha_predict.py会读这些图输出预测结果。3.3 训练与预测命令训练直接跑captcha_train.pypython captcha_train.py训练过程中会打印每个 epoch 的 loss 和准确率。如果 loss 一直不降检查学习率是不是太大或者数据标签有没有编码错。训练完成后模型保存在captcha_model.pth。预测跑captcha_predict.pypython captcha_predict.py它会加载模型读predict目录下的图片输出每张图的预测字符。captcha_test.py是测试脚本用来在测试集上算整体准确率。三个脚本的分工是train 训练、predict 单张预测、test 批量评估。提示训练前先确认captcha_setting.py里的CHAR_SET、WIDTH、HEIGHT、CAPTCHA_LENGTH和生成数据时用的参数完全一致这四个参数任何一项对不上都会导致预测结果乱码。4. 避坑与排查训练不收敛、预测错位的常见原因4.1 现象loss 降到某个值就不动了准确率卡在 10% 左右原因通常是标签编码和网络输出维度不匹配。比如CHAR_SET有 36 个字符但 one-hot 编码时只用了 10 个数字的映射表网络输出的 36 维概率里只有前 10 维有正确标签后面全是错的。解决方法是检查one_hot_encoding.py里的CHAR_SET和captcha_setting.py里的字符集是否完全一致包括顺序。4.2 现象训练集准确率很高但预测新图片全错这是典型的过拟合或者数据分布不一致。源码用 ImageCaptcha 生成的图片风格统一如果预测的图片来自其他渠道比如网页截图、不同字体网络没见过这种风格就会失效。解决办法是用目标场景的验证码重新生成训练数据或者在预测前做简单的灰度化和尺寸缩放让输入分布接近训练集。4.3 现象预测结果字符顺序颠倒或错位网络输出是CAPTCHA_LENGTH × CHAR_SET_SIZE的矩阵解码时如果按列取 argmax 而不是按行取就会把「第1个字符的第3类」和「第3个字符的第1类」搞混。正确做法是对每一行做 softmax 后取 argmax得到该位置的字符索引。检查captcha_predict.py里的解码逻辑确认是按位置维度处理的。4.4 现象GPU 训练报 CUDA out of memoryBATCH_SIZE设太大了。降到 32 或 16 再试或者把图片尺寸从 160×60 降到 120×40。另外确认模型和输入数据都在同一个设备上model.to(device)和imgs.to(device)缺一不可一个在 CPU 一个在 GPU 会直接报错。4.5 现象生成的验证码图片全是空白或乱码ImageCaptcha 的write方法第二个参数是文件路径如果路径里的目录不存在会报错。另外CHAR_SET里如果有 ImageCaptcha 不支持的字符比如中文生成的图片可能异常。确认字符集只包含数字和英文字母。5. 提升识别率的几个实操技巧训练数据量是影响识别率最直接的因素。源码里train目录下的图片数量有限纯数字场景下几千张就能到 99%但数字加字母因为类别多、组合空间大一万张起步比较稳。我一般会按「每个字符至少出现 500 次」来估算生成量四位验证码就是 500×36÷4≈4500 张打底实际用 1-2 万张效果更好。学习率调度是第二个关键点。固定学习率在后期容易在最优解附近震荡加一个StepLR或者ReduceLROnPlateau每 10 个 epoch 把学习率乘 0.5loss 会降得更干净。代码改动很小from torch.optim.lr_scheduler import StepLR optimizer torch.optim.Adam(model.parameters(), lr0.001) scheduler StepLR(optimizer, step_size10, gamma0.5) # 训练循环里每个 epoch 结束后调用 scheduler.step()step_size10表示每 10 轮调整一次gamma0.5表示学习率减半。这两个参数可以根据 loss 曲线微调如果 loss 下降很慢就把step_size调小如果震荡严重就把gamma调小。验证集的使用也容易被忽略。源码里test目录可以当验证集用每个 epoch 结束后在验证集上算一次准确率保存验证集准确率最高的那个模型而不是最后一个 epoch 的模型。这样能避免过拟合导致的「训练集很好、新数据很差」。参数推荐值调整方向BATCH_SIZE64显存不够降到 32/16初始学习率0.001loss 震荡降到 0.0005学习率衰减每 10 轮 ×0.5loss 下降慢则加快衰减训练数据量1-2 万张准确率不够就加量图片尺寸160×60太大降尺寸省显存最后说一个我踩过的坑有次训练完准确率 99%部署到实际场景却只有 60%查了半天发现是预测时图片读取用了 RGB 三通道而训练时my_dataset.py里做了灰度化通道数不一致导致输入分布偏移。从那以后我每次改预处理逻辑都强制把训练和预测的图片读取代码放在一起对比一遍确认通道数、尺寸、归一化方式完全一致再跑。希望帮到你。本文还有配套的精品资源点击获取