Python车牌识别实战：从OpenCV定位到LPRNet识别全流程解析

简介这是一份面向Python开发者的车牌识别参考项目源码包整合了PyQt5界面与OpenCV图像处理库适合正在学习图像处理、模式识别或智能交通应用开发的读者也可作为课程设计与毕业设计的参考资料。资源共2000个文件其中1987张JPG为车牌及字符样本、调试ROI图7个Python源文件覆盖车牌定位、字符分割与识别主流程3个XML和1个UI文件分别用于配置与界面布局2个MD文档说明项目结构整体约25.53MB便于解压后直接浏览。项目支持Python 3.6/3.7环境下运行并兼容opencv-python 3.4.3与4.2.0通过界面与算法代码的衔接可直观理解从车牌检测到字符识别的完整链路调试图与大量样本图还能辅助验证模型效果、调整参数。已有309人学习下载作为学习样例或二次开发起点都较合适也可以继续扩展成更完整的车辆识别系统。1. 车牌识别参考项目解压后离「能跑」还差三步很多第一次接触 Python 车牌识别参考项目的人以为解压 zip 就能看到识别结果实际跑起来才发现它离「识别」还有整整三步定位车牌、分割字符、识别输出。所谓基于 python 的车牌识别参考项目本质上就是一条把摄像头画面变成车牌文本的流水线源码包里通常是 OpenCV 图像处理脚本加一个字符识别模型有些还带简单的 GUI 界面。它解决的是停车场道闸、小区门禁、高速收费站这类固定角度场景下的车牌读取问题适合 Python 刚入门想做课程设计的新手也适合要评估「用纯软件方案替代车牌识别一体机是否可行」的集成商。蓝卡车牌识别道闸这类硬件一体机卖的就是端到端识别能力而这个参考项目想证明的是代码和数据到位软件也能做到七八成效果。2. 三条路线先想清楚传统视觉、深度学习、OCR 怎么选车牌识别这题做了十几年落地路线基本收敛成三条纯传统图像处理、深度学习端到端、传统定位加 OCR 识别。参考项目为了兼顾「源码可读」和「效果可看」通常会选第三条混搭路线。在动手改代码之前先把三条路线的原理和边界摸清后面调参才不会被一个红灯搞得怀疑人生。2.1 传统视觉路线颜色空间、形态学与模板匹配的边界传统方案的第一步是定位核心手段是 HSV 颜色空间。为什么不用 BGR因为 BGR 三个通道都跟着亮度走同一块蓝色车牌在正午和黄昏的像素值差很远阈值根本没法写。HSV 把色调 H、饱和度 S、明度 V 分开H 通道对光照变化相对不敏感。常见蓝牌的 H 值集中在 100 到 124黄色在 20 到 35新能源绿牌在 35 到 80 附近于是可以用cv2.inRange直接把目标颜色抠出来。这个思路很直观但边界也很明显选窄了漏检选宽了把蓝色车漆、蓝色贴纸、远处广告牌全框进来。第二步是形态学处理。二值化后的 mask 上通常有噪点、断口和杂色块先用闭运算把车牌字符区域的断裂填上再用开运算把孤立的小噪点去掉。核大小是这里最敏感的参数3×3 和 7×7 的结果能差出好几个数量级。第三步是findContours提取轮廓然后用几何特征筛掉干扰项面积下限过滤小色块宽高比过滤长条和方块。真实车牌宽高比在 2.5 到 4.5 之间这是一个很强的先验能挡掉大部分误检。字符识别落到模板匹配把每个字符归一化到固定尺寸和模板库里所有样本算相似度取最大。优点是零训练成本缺点同样直白模板库里缺一个字体就错一个字符车牌上汉字有几十个省市区简称每种字体都要备样本这个维护成本很容易让人放弃。很多参考项目选这条路是因为发布者可以不带模型文件只带代码和模板图片zip 解压后目录结构一目了然适合跑通流程但离「现场可用」还有一段距离。2.2 深度学习路线检测框加序列识别为什么更稳深度学习方案把定位环节换成 YOLO 系列检测模型输出车牌的包围框识别环节不再做字符分割改用基于 CTC 的序列识别模型比如 LPRNet。这类模型的输入是一张归一化后的车牌图直接吐出一串字符省掉了分割这一步网络自己学字符之间的时序关系对倾斜、模糊、光照不均的容忍度明显更高。代价是训练数据一个能用的模型通常需要几千张标注车牌做底子训练还要在 GPU 上跑数小时起步这对只想交课程设计的同学来说成本偏高。参考项目一般会直接附带一个预训练好的 ONNX 模型文件推理只用onnxruntime不需要把 PyTorch 或 TensorFlow 拖进来。ONNX 的好处还在跨语言Python 端能推理Java 端也能加载同一份模型做服务热词里常出现的「java onnx 车牌识别」就是冲这个来的。要注意的是 ONNX 对算子版本敏感模型保存时的 opset 版本和推理端不匹配会直接报不支持的算子保存模型时固定 opset 版本是个好习惯。2.3 参考项目里最常见的混搭架构与选型建议我接触过的 Python 车牌识别参考项目大多数不是纯传统也不是纯深度而是混搭OpenCV 负责定位车牌小分类网络或 OCR 负责字符识别。这样做的理由很实际——定位换成深度检测后需要标注的样本量和推理耗时都往上涨而车牌背景相对固定用颜色加几何特征定位已经能拿到不错的召回率省下的资源全花在识别环节更划算。还有一种变体是直接接 PaddleOCR 这类现成 OCR 框架的检测加识别管线优点是中文车牌省份汉字基本不缺字缺点是引入的依赖体积大没有 GPU 的机器推理速度感人。至于用 MATLAB 做车牌识别的老教程在搜索引擎里还占着一席之地GUI 上拉个控件就能看到结果做教学演示确实方便但真要接到道闸设备上做串口或 HTTP 联动MATLAB 的运行时依赖和部署方式就成了迈不过去的坎。选型建议就一句话要 demo 走传统模板匹配最快最省事要做成服务扛住现场光线老老实实走 OpenCV 定位加深度识别。参考项目把定位、分割、识别三条链路都留了代码入口价值正在这里。3. 把源码跑起来环境、目录与最小推理流程拿到 zip 解压后先别急着双击main.py大概率会报缺库或路径错。车牌识别参考项目的典型目录结构里至少要有detect.py或定位脚本、字符分割脚本、识别模型文件、模板目录和一张测试图片。先把环境和依赖理顺再逐段跑定位和分割最后把识别接上这是最不容易翻车的路径。3.1 环境准备Python 版本、依赖安装与启动验证Python 版本建议选 3.8 到 3.10 之间3.11 以上的新版本对部分 OpenCV 的预编译 wheel 支持滞后pip 安装时可能要现场编译过程非常折磨。linux 系统安装 python 用 apt 装好再配 venv 即可Windows 直接官网下载安装包安装时记得勾选 Add to PATH。用 VSCode 做 python 环境配置时有个坑创建虚拟环境后必须在 VSCode 右下角手动切换解释器否则终端里跑的 python 还是全局的pip 装完包后照样 import 不到。以下命令在项目根目录执行python -m venv venv source venv/bin/activate pip install opencv-python numpy onnxruntime python -c import cv2, numpy; print(cv2.__version__, numpy.__version__)第一行创建虚拟环境第二行激活Windows 下命令换成venv\Scripts\activate。第三行装三个核心依赖opencv-python 负责图像处理numpy 负责矩阵运算onnxruntime 负责模型推理如果你的参考项目用的是 PyTorch 模型则把 onnxruntime 换成 torch。最后一行验证导入能打印出版本号说明环境就绪。提示如果cv2.__version__打印的是以 4. 开头的版本基本就是主流版本打印不出来时优先排查 pip 装的到底是 opencv-python 还是 opencv-python-headless后者不带 GUI 功能用cv2.imshow会直接报错。3.2 定位车牌HSV 过滤、形态学操作与轮廓筛选环境配好后用一张包含车牌的测试图跑定位。下面的代码是传统定位的完整最小实现适用于蓝色车牌也是大多数参考项目的主干逻辑import cv2 import numpy as np img cv2.imread(car.jpg) hsv cv2.cvtColor(img, cv2.COLOR_BGR2HSV) # 蓝色车牌色调范围H 100~124 是标准蓝放宽一点应对褪色 lower_blue np.array([100, 80, 80]) upper_blue np.array([124, 255, 255]) mask cv2.inRange(hsv, lower_blue, upper_blue) # 闭运算填补字符断裂开运算去掉小噪点 mask cv2.morphologyEx(mask, cv2.MORPH_CLOSE, np.ones((5, 5), np.uint8)) mask cv2.morphologyEx(mask, cv2.MORPH_OPEN, np.ones((3, 3), np.uint8)) contours, _ cv2.findContours(mask, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) for cnt in contours: x, y, w, h cv2.boundingRect(cnt) area w * h ratio w / h if area 2000 and 2.0 ratio 5.5: cv2.rectangle(img, (x, y), (x w, y h), (0, 255, 0), 2) cv2.imwrite(result.jpg, img)逻辑分四步BGR 转 HSV、颜色过滤拿到候选区域、形态学去噪、轮廓筛选画框。参数要重点说lower_blue和upper_blue里的 [100, 124] 是色调范围[80, 255] 是饱和度范围太低会把灰蓝色车身也圈进来area 2000是基于 1080p 图片的经验值如果你的测试图是 4K 或手机拍的面积阈值要等比放大否则车牌太小会被直接滤掉宽高比 2.0 到 5.5 是车牌的先验范围比真实车牌略宽是为了给倾斜车牌留余量。第一次跑如果定位不到先把宽高比改成 1.5 到 6.0 并把面积阈值降到 800确认能出框再逐步收紧。3.3 字符分割与识别从连通域到文本输出的拼装定位出车牌区域后接下来是分割和识别。车牌字符分布有固定规律第一位是省份汉字第二位是字母第三到第七位是字母和数字的混合。分割常用垂直投影法把车牌灰度图二值化后统计每一列白色像素的数量连续为 0 的列就是字符间隙。用自适应阈值代替固定阈值能让分割在明暗变化下更稳定def split_chars(plate_bgr, out_size(20, 40)): gray cv2.cvtColor(plate_bgr, cv2.COLOR_BGR2GRAY) # 自适应阈值比固定阈值抗光照变化块大小取奇数 binary cv2.adaptiveThreshold(gray, 255, cv2.ADAPTIVE_THRESH_GAUSSIAN_C, cv2.THRESH_BINARY_INV, 31, 10) col_sum binary.sum(axis0) // 255 chars [] in_char False start 0 for i, v in enumerate(col_sum): if v 0 and not in_char: in_char, start True, i elif v 0 and in_char: in_char False if i - start 5: # 过滤掉宽度小于 5 像素的噪点 chars.append((start, i)) # 按顺序取前 7 个字符区域 chars sorted(chars, keylambda c: c[0])[:7] return [cv2.resize(binary[:, s:e], out_size) for s, e in chars]这段代码的核心是col_sum binary.sum(axis0) // 255把二值图按列求和得到每列白色像素数量i - start 5用于过滤掉约等于边框或噪点的窄列。注意汉字结构复杂笔画内部容易出现投影断裂如果分割后字符数量不足 7大概率是汉字被切开需要对靠近左侧的字符区域做一次膨胀再重新投影。识别环节常见做法是把字符图喂给一个预训练分类器按「省份汉字 字母 字母数字混合」逐位输出。如果参考项目用的是 ONNX 模型推理代码通常是加载模型后把字符图转成 blob跑一次前向拿到类别索引再查表得到字符。我自己习惯在分割后把每个字符单独存成一张小图先人工检查一遍分割结果再谈识别准确率因为分割错位导致的识别错误调模型是救不回来的。4. 把准确率从「能跑」做到「能用」参数、数据与评估源码跑通只是第一步离现场可用还差一个数量级的准确率差距。要做到「能用」需要做三件事把定位和识别的关键参数调到一个合理区间自建一点针对现场场景的数据以及先用明确指标给当前效果定一个锚点。4.1 三个必须调的参数HSV 范围、面积阈值与识别置信度参考项目里的参数是作者在自己测试集上调出来的换到你的摄像头和现场光线下基本上都要重调。优先级最高的三个参数如下。参数在代码中的位置经验初值调整方向HSV 色调范围定位脚本inRange调用处蓝牌 H 100~124检测不到时放宽到 95~130误检多时收窄到 105~120最小轮廓面积定位脚本area 20001080p 下 2000 像素画面里车牌越小这个值要越小按分辨率等比缩放识别置信度阈值识别脚本中 softmax 输出处0.5误识别多时拉高到 0.7检不出时降到 0.35HSV 范围是最容易让人抓狂的参数。同一块车牌清晨、正午、傍晚的 H 值能差出 10 以上阴天和晴天又不一样。我调试时习惯在代码里加两个cv2.createTrackbar拖拽调 H 上下限实时看 mask 效果调满意了再写死比盲目改数字效率高得多。面积阈值则和相机安装距离强相关摄像头距车道 3 米和 6 米车牌在画面中的面积能差三四倍把阈值改成「占全图面积比例」而不是绝对像素值换分辨率后就不会再翻车。识别置信度阈值省事但它的作用被很多人忽略调高能滤掉大量把字母 O 和数字 0 混淆的低置信度结果代价是漏识别变多这个值通常放在最后调。4.2 自建数据集与数据增强没有标注怎么起步参考项目自带的测试图通常只有十几张而且都是好看的白天场景。真正让准确率上不去的是夜间、逆光、雨天和倾斜车牌。常见做法是从行车记录仪或道闸录像里抽帧取 5 秒一帧攒 200 到 500 张覆盖不同时段和天气的图。没有标注工具就用最简单的方案先用参考项目的定位脚本自动框车牌人工把框错的删掉只保留定位正确的区域作为后续数据。车牌识别里的汉字是短板每个省市区简称至少要有 20 个样本否则分类器在这个类别上就是瞎猜。给分割后的字符做数据增强是成本最低的涨点手段。下面这段增强代码可以在训练分类器之前扩充样本import cv2 import numpy as np def augment_char(img): h, w img.shape[:2] # 随机旋转正负 5 度模拟倾斜车牌 M cv2.getRotationMatrix2D((w // 2, h // 2), np.random.uniform(-5, 5), 1.0) img cv2.warpAffine(img, M, (w, h), borderModecv2.BORDER_CONSTANT) # 亮度抖动模拟阴天和强光 img cv2.convertScaleAbs(img, alpha1.0, betanp.random.randint(-40, 40)) return imggetRotationMatrix2D生成旋转矩阵围绕字符中心转正负 5 度这个幅度刚好模拟车牌倾斜又不会让字符变形到不可认convertScaleAbs的beta参数是亮度增益负值模拟阴天正值模拟强光。增强的幅度宁小勿大转 10 度以上字符已经不像原字了反而把模型带偏。参考项目里多数模型的识别能力上限就卡在汉字和光照上数据增强补的就是这两块短板。4.3 用四级指标先定验收基线再谈优化调参和增强之前先把评估标准定义清楚否则改一个参数都不知道是变好了还是变坏了。车牌识别要拆成四级来看检测召回率即所有车牌里被定位出来的比例分割正确率即被定位的车牌里字符被完整切开、没有粘连和丢失的比例识别正确率即被分割的字符里分类正确的比例端到端准确率即整张车牌七个字符全部识别正确的比例。这四级是有乘积关系的检测召回率 90%、分割 90%、识别 90% 叠起来端到端就只有 72%所以参考项目看着单项都不差整体正确率却不忍直视问题常常就在这个乘法的累积上。用一个简单的 shell 循环就能在批量图片上跑出统计结果把每张图的识别输出和人工标注好的人工地标比对统计各级别正确数。耗时测试别用time.time()肉眼估用time.perf_counter()统计单张平均推理耗时。如果单张超过 100ms软件方案接实时道闸就会吃力这时要么换模型要么做帧间跟踪优化。对标商用「高清车牌识别管理软件」动辄 99% 的端到端准确率参考项目能做到 90% 以上已经说明管线是通的剩下的是数据和模型迭代的功夫。5. 避坑排查五个高频问题的现象、原因与处理路径把参考项目从「跑通」推到「能扛住现场」中间全是坑。下面五条是我在调车牌识别时踩过或见别人踩过的高频问题每条按现象、原因、解决三步写清楚。5.1 蓝色车牌定位不到绿色新能源车牌反而全被误检现象蓝牌车开过画面程序一个框都不出停在路边的绿牌车却被反复框出来。原因HSV 阈值写死了蓝色区间绿牌 H 值落在 35 到 80 之间直接被inRange滤掉而某些蓝色车漆或蓝色广告牌和车牌蓝接近宽泛的面积阈值把它们全放了进来。解决把蓝色和绿色两个区间的 mask 分开做再合并形态学核大小从 3×3 换成 5×5把车身连接处的细长色块断开再一并走轮廓筛选。这类问题和车牌识别一体机配置工具里做的「颜色分区 ROI 区域」思路本质一样只是参考项目把这块写死在代码里要自己改成可配置。5.2 省份汉字识别成乱码字母数字基本全对现象粤、苏、京、沪这类汉字频繁识别错数字和字母的错误率很低。原因省市区简称有 30 多个单个类别样本少模板匹配字典里汉字字体单一CNN 分类器对汉字这种笔画密集的小图又天然难学。解决把汉字位单独处理不要和字母数字混在一个分类器里。常见做法是单独训一个针对省份汉字的小分类器输入只取第一个字符位置如果模板匹配至少给每个省份准备三种常见字体的样本。这一位允许单独走一次置信度判断置信度低时宁可标注「未识别」也不要输出一个错误汉字糊弄过去。5.3 倾斜车牌和带边框的车牌分割错位现象字符粘连7 被切成两半1 直接丢失字符数量对不上 7 位。原因定位出来的车牌是斜的直接做垂直投影时字符的投影边界重叠车牌下边缘的铆钉和边框在二值化后没有被滤掉被当成字符列。解决先对定位框内的图像用minAreaRect找最小外接矩形拿到角度后做仿射变换矫正把车牌拉正再做分割。分割前加一步高度方向的腐蚀核大小选 5×1能把上下边框腐蚀掉而不伤字符主体。这套「矫正 边框过滤」的顺序不能反先切再矫正的话字符已经被切歪了后面模型再强也认不回来。5.4 视频流卡顿CPU 占用直接拉满现象实时预览只有 5 到 10 帧CPU 占用 90% 以上风扇狂转。原因每一帧都做全图 HSV 转换、形态学运算、轮廓查找和字符推理这几个操作叠在一起单帧就要 150ms 以上。解决接视频流时不要逐帧做全图检测两个手段配合使用。一是跳帧每 3 帧处理一次识别中间帧直接用上一次结果二是帧间 ROI 跟踪在上一帧车牌框基础上向外扩大 20% 作为下一帧搜索区域只有连续 5 帧在扩大区域内找不到车牌时才恢复全图搜索。这套策略能把 CPU 占用砍掉一半还多是参考项目往实时方向改造的第一步。5.5 OpenCV 装不上或 import 直接报错现象pip install opencv-python报编译错误或者装完import cv2提示找不到模块。原因Python 版本太新PyPI 上没有对应版本的预编译 wheelpip 退回去走源码编译编译 OpenCV 这种大工程大概率失败另一个常见情况是装了opencv-python-headless它不带imshow等 GUI 功能脚本用到就崩。解决优先用 conda 建一个 Python 3.9 的环境conda create -n plate python3.9再 pip 装依赖这个版本几乎不会踩 wheel 缺失的坑。交互式调试开发时装opencv-python服务器上纯推理部署时装opencv-python-headless两者不要混着装。6. 从参考项目走向能交付换模型、跟帧与回归测试参考项目跑通后如果想让它真正扛住现场我有三个建议方向按投入产出比排序保留 OpenCV 定位管线把识别环节换成 ONNX 模型给视频流加帧间跟踪建立一个难例回归集每次改动都跑一遍。替换识别模型是最直接的涨点方式。定位环节不动只把模板匹配或小分类器换成 LPRNet 的 ONNX 导出模型。这样既能享受序列识别对倾斜和模糊的容忍度又不用动已经调好的定位参数。Python 端用onnxruntime加载模型推理Java 或其他语言也能复用同一份模型文件不至于被 Python 绑死。保存模型时注意固定 opset 版本跨环境加载才不会报算子不支持的错。帧间跟踪是实时场景的关键。现场摄像头是固定的上一帧车牌的位置到下一帧不会跳太远完全没必要每帧全图扫描。我处理道闸场景时常用这样的循环结构全图检测到车牌后记录框位置后续帧只在框周围扩大 20% 的区域内做颜色过滤和轮廓筛连续丢失 5 帧再回到全图检测。这样单帧耗时能压到 50ms 以内CPU 占用也降下来了。难例回归集是防退化的保险。准备 50 张左右的难例图覆盖夜间开灯、雨天反光、倾斜 30 度、绿牌、车身贴纸干扰这几类。每次改动任何参数或模型后先跑一遍回归集记录端到端准确率和上一次结果对比确保修了 A 场景的 bug 没有弄坏 B 场景。我自己的习惯是每次调参只改一个变量改完跑回归集再动下一个同时把结果记录在一个纯文本注释里。这个习惯让我避免了无数次「昨晚明明调好了今天又不行」的迷茫。参考项目只是起点把定位、分割、识别、数据、评估这五环真正跑顺了它才能从课程设计变成能交付的东西。希望帮到你。本文还有配套的精品资源点击获取