支持12类中国车牌的PyTorch端到端检测识别系统

简介这是一套面向计算机视觉初学者与车牌识别进阶开发者的Python开源实现聚焦中文多类型车牌蓝牌、黄牌、双层黄牌、农用车、警车、校车、教练车、港澳车牌、使领馆车牌及新能源绿牌等的端到端检测与识别任务适用于智能交通、停车场管理、教学实验等场景。资源包共159个文件含42个核心Python源码涵盖预处理、YOLO/CRNN模型调用、后处理逻辑、36张实测车牌图像JPG格式、19个配置YAML文件定义模型结构与参数、8个PNG图标及UI资源以及Dockerfile、Shell部署脚本、PT/PTH模型权重和CCPD2019数据集子集等整体36.51MB结构完整、开箱即用。已有513人学习下载提供从OpenCV图像增强、Canny边缘定位、轮廓筛选到CNN字符识别的全流程代码实现包含box_overlaps加速模块C语言、.so编译库及Pyx扩展便于理解底层优化逻辑与工程落地细节。1. 为什么你训练的车牌检测模型在真实路口总漏检双层黄牌和新能源绿牌这不是数据不够多的问题而是绝大多数开源车牌识别系统默认只认蓝牌——它们的标注规范、Anchor 设计、字符集甚至后处理逻辑从源头就排除了黄牌含双层、农用车牌、港澳粤Z/黑字、使领馆“使”字头、警车“警”字、校车“校”字、教练车“学”字、新能源渐变绿牌小型新能源用“D/F”开头6位大型用“D/F”7位等20类特殊牌照。本项目是一套真正落地于城市卡口、高速收费站、园区出入口的 Python 中文车牌检测与识别系统源码不依赖任何商业 SDK纯 PyTorch OpenCV 实现支持 12 类中国现行合法车牌格式的端到端检测OCR识别且已通过实车视频流1080p30fps压测验证对遮挡50%的双层黄牌识别率仍达91.3%新能源绿牌字符级准确率96.7%。适合需要私有化部署、二次开发道闸联动、或对接公安/交管业务系统的算法工程师与集成商——如果你正被“识别不了黄牌”“新能源车牌识别成蓝牌”“港澳车牌识别错位”这类问题卡住交付这篇就是你该立刻抄起来跑通的实战笔记。2. 从零构建可识别12类车牌的检测模型YOLOv8s定制化改造全路径2.1 为什么不用YOLOv5或YOLOv7选YOLOv8s的三个硬理由YOLOv8s不是“跟风选型”而是针对中文车牌场景的工程权衡结果小目标召回更稳双层黄牌上层字符高度常仅12–16pxYOLOv8s的C2f结构比YOLOv5的Bottleneck更轻量配合P2/P3/P4三层检测头在640×640输入下对≤20px字符的mAP0.5提升11.2%实测对比v5s导出ONNX兼容性好v8官方ONNX导出脚本对动态batch支持更成熟避免v7导出后TensorRT推理时shape mismatch翻车训练配置更透明v8的ultralytics库将anchor计算、loss权重、mosaic概率全部暴露为yaml参数而v5的train.py里混着大量magic number。我们后续要改双层黄牌的anchor宽高比v8只需改data.yaml里的anchors字段v5得重写models/yolo.py。提示不要直接pip install ultralytics——必须用pip install ultralytics8.2.0截至2024年Q28.2.0是最后一个稳定支持自定义anchor且无tensorboard冲突的版本。更高版本在train()中强制注入wandb日志会阻塞内网训练环境。2.2 数据准备12类车牌标注规范与边界框生成逻辑本系统支持的12类车牌不是靠“加个类别名”糊弄出来的每类都有独立标注规则车牌类型标注关键点宽高比约束字符数特殊字符集普通蓝牌单层矩形框2.8–3.27京沪津渝…A-Z0-9双层黄牌必须分上下两框上层汉字字母下层数字上层1.2–1.5下层2.5–2.8上4下37粤桂琼…A-Z0-9新能源绿牌单层但需标注渐变色区域3.0–3.5小型7位D/F6大型8位D/F7D/F京沪…A-Z0-9港澳车牌“粤Z”开头黑字白底右侧预留15%空白区3.8–4.26–7粤Z港/澳0-9A-Z使领馆“使”“领”“外”字开头首字必须单独框出2.6–3.07使/领/外京沪…A-Z0-9关键操作用labelme2yolo.py批量转换标注# labelme2yolo.py 关键片段适配双层黄牌 def convert_labelme_to_yolo(labelme_json, class_map): with open(labelme_json) as f: data json.load(f) img_w, img_h data[imageWidth], data[imageHeight] yolo_lines [] for shape in data[shapes]: # 双层黄牌打标时label为yellow_upper或yellow_lower if yellow_upper in shape[label]: cls_id class_map[yellow_plate_upper] # 单独类别 elif yellow_lower in shape[label]: cls_id class_map[yellow_plate_lower] else: cls_id class_map.get(shape[label], 0) points np.array(shape[points]) x_min, y_min points.min(axis0) x_max, y_max points.max(axis0) # 归一化中心点宽高 x_center (x_min x_max) / 2 / img_w y_center (y_min y_max) / 2 / img_h width (x_max - x_min) / img_w height (y_max - y_min) / img_h yolo_lines.append(f{cls_id} {x_center:.6f} {y_center:.6f} {width:.6f} {height:.6f}) return yolo_lines逻辑说明双层黄牌必须拆成两个独立类别yellow_plate_upper/yellow_plate_lower否则模型会把上下层当一个框回归导致OCR切片错位。代码中class_map需严格对应data.yaml里的顺序顺序错1位训练时类别全乱。2.3 Anchor定制为12类车牌重算3组宽高比YOLOv8默认anchorP3/P4/P5是为COCO通用目标设计的直接用于车牌会导致小目标漏检。我们用k-means对自有数据集重新聚类# 在data/train/labels目录下运行需先确保所有txt标签存在 python tools/autoanchor.py --dataset data/custom.yaml --n 3 --imgsz 640输出结果示例your_anchors.txt# P3 anchors (smallest, for small plates like upper layer of yellow) 12,18, 15,22, 18,26 # P4 anchors (medium, for blue/green plates) 28,42, 32,48, 36,54 # P5 anchors (largest, for double-line or large-format plates) 52,78, 60,90, 68,102参数说明--n 3表示每层输出3个anchor与YOLOv8默认一致--imgsz 640必须与训练时--img值相同否则聚类尺寸失真输出的三行数字需手动填入models/yolov8s_custom.yaml的anchors字段注意顺序不能颠倒第一行对应P3最细粒度第三行对应P5最粗粒度。3. 多类别OCR识别引擎CRNNCTC的字符级鲁棒性设计3.1 为什么不用EasyOCR或PaddleOCRCRNN定制的3个不可替代点EasyOCR对中文车牌泛化差尤其手写体“学”“警”PaddleOCR在嵌入式设备上内存超限。本系统采用轻量CRNNCNNBiLSTMCTC架构核心优势字符级注意力机制在BiLSTM后接Attention层强制模型关注每个字符的局部特征解决“警”字与“紧”字混淆问题动态字符集加载识别时根据检测框的车牌类型如yellow_plate_upper自动切换字符表避免新能源绿牌误识出“Q”“I”等禁用字母CTC解码后置规则对CTC输出序列做车牌语法校验如“粤Z港A12345”中“港”后必须为A-Z“12345”必须为5位数字错误率再降3.8%。3.2 字符集与字体渲染覆盖12类车牌的最小完备集我们不使用系统字体Windows宋体/Linux文泉驿而是用FontTools提取TrueType字体的字形轮廓再合成抗锯齿车牌字符图# gen_char_images.py 关键逻辑 from fontTools.ttLib import TTFont import cv2, numpy as np def render_char(char, font_path, size48): font TTFont(font_path) # 获取字形轮廓glyph glyph_set font.getGlyphSet() glyph_name font.getBestCmap().get(ord(char), None) if not glyph_name: return None glyph glyph_set[glyph_name] # 转为位图此处省略复杂path转bitmap过程实际用fontToolstensorflow_graphics # 最终输出(size, size)灰度图字符居中背景纯黑字符白 return char_bitmap # 生成12类车牌专用字符集 char_sets { blue: 京津沪渝冀豫云辽黑湘皖鲁新苏浙赣鄂桂甘晋蒙陕吉闽贵粤青藏川宁琼使领外, yellow_upper: 粤桂琼渝黑吉辽湘皖鲁新苏浙赣鄂贵云滇藏陕甘宁青新兵团, # 黄牌上层只有省份简称 green_small: 京沪津渝冀豫云辽黑湘皖鲁新苏浙赣鄂桂甘晋蒙陕吉闽贵粤青藏川宁琼, # 新能源小型车省份D/F green_large: 京沪津渝冀豫云辽黑湘皖鲁新苏浙赣鄂桂甘晋蒙陕吉闽贵粤青藏川宁琼, # 同上但字符数不同 hk_macao: 粤Z港澳, # 港澳车牌固定前缀 }参数说明size48是CRNN输入高度宽度按字符比例自适应最长字符“疆”宽约32px最短“一”宽约12px字体路径必须指向fonts/simhei.ttf黑体或fonts/msyh.ttc微软雅黑严禁用思源黑体——其“警”字笔画过细OCR易漏检char_sets字典必须与检测模型输出的类别ID严格映射ID错位会导致识别时加载错误字符集。3.3 CTC解码与车牌语法校验让识别结果“合法”CTC输出的是字符概率序列直接取argmax会出错如“粤Z港A1234”→“粤Z港A12345”少一位。我们加入两级校验# ocr_postprocess.py def ctc_decode_with_rule(logits, char_set, plate_type): # Step1: CTC beam searchbeam_width5 probs torch.softmax(logits, dim-1) pred_chars ctc_beam_search(probs, char_set, beam_width5)[0] # 取最优序列 # Step2: 语法校验plate_type决定规则 if plate_type yellow_double: # 双层黄牌上层4字符粤Z港/澳字母下层3数字 if len(pred_chars) ! 7: return None upper pred_chars[:4] lower pred_chars[4:] if not re.match(r^[粤桂琼渝黑吉辽湘皖鲁新苏浙赣鄂桂甘晋蒙陕吉闽贵粤青藏川宁琼][Z][港澳][A-Z]$, upper): return None if not re.match(r^\d{3}$, lower): return None return f{upper}{lower} elif plate_type green_small: # 新能源小型D/F省份5数字1字母/数字 if len(pred_chars) ! 7: return None if pred_chars[0] not in [D, F]: return None if pred_chars[1] not in provinces: return None if not re.match(r^\d{5}[A-Z\d]$, pred_chars[2:]): return None return .join(pred_chars) return .join(pred_chars) # 其他类型走默认逻辑说明plate_type来自检测模型输出的类别ID必须与data.yaml中类别顺序一致。例如ID5对应yellow_plate_upper则OCR模块收到该ID后自动启用双层黄牌规则。这是整个系统能区分“粤Z港A12345”和“粤Z港A1234”的核心机制。4. 避坑指南12类车牌识别系统上线前必踩的5个深坑4.1 现象双层黄牌检测框完整但OCR识别结果全是乱码原因检测模型输出yellow_plate_upper和yellow_plate_lower两个框但OCR模块未按框类型加载对应字符集统一用了蓝牌字符集含全部A-Z导致“粤Z港A”被识别成“粤Z港Q”。解决检查inference.py中检测结果解析逻辑确保每个检测框的cls_id传入OCR时能正确索引char_sets字典。关键代码必须包含# 错误写法所有框用同一字符集 ocr_result crnn_recognize(crop_img, char_setall) # 正确写法按cls_id动态选择 char_set_key [blue, yellow_upper, yellow_lower, green_small, ...][cls_id] ocr_result crnn_recognize(crop_img, char_setchar_sets[char_set_key])4.2 现象新能源绿牌识别率高但“粤BD12345”被识别成“粤BD1234S”末位S代替5原因CTC解码未启用beam search单靠argmax取最大概率字符而“5”和“S”在绿牌字体下CNN特征相似度高达0.92。解决强制开启CTC beam searchbeam_width设为3–5。实测beam_width5时末位字符错误率从12.7%降至1.9%。注意beam search会增加20ms延迟需在ocr_model.py中预编译CUDA kernel加速。4.3 现象港澳车牌“粤Z港A12345”识别成“粤Z港A1234”总少最后一位原因CRNN输入图像宽度固定为256px但“粤Z港A12345”共8字符含空格模型训练时用的合成图是7字符导致第8字符被截断。解决修改dataset.py中__getitem__的resize逻辑# 原代码固定宽 img cv2.resize(img, (256, 48)) # 改为按字符数动态宽最小256最大448 char_num len(label) target_width max(256, min(448, char_num * 48)) # 每字符占48px宽 img cv2.resize(img, (target_width, 48))4.4 现象模型在测试集上mAP0.5达92%但实车视频中蓝牌漏检率达35%原因训练时用了Mosaic增强但实车视频无Mosaic效果且Mosaic会扭曲车牌长宽比导致模型学到虚假特征。解决训练后期last 30 epochs关闭Mosaic。在train.py中添加if epoch total_epochs - 30: args.mosaic 0.0 # 强制关闭 args.mixup 0.0 # 同时关闭mixup实测关闭后实车视频漏检率从35%→11%且不影响测试集指标。4.5 现象使领馆车牌“使京A12345”识别成“使京A1234”且“使”字位置偏右原因“使”字单独标注为一个框但OCR裁剪时未以该框为中心而是用了检测框整体ROI导致“使”字在图像左侧被压缩。解决OCR裁剪必须用yellow_plate_upper框的坐标而非整个检测框。在inference.py中# 错误用整个检测框裁剪 crop img[y1:y2, x1:x2] # 正确对upper框单独裁剪 if cls_id YELLOW_UPPER_ID: crop img[y_upper1:y_upper2, x_upper1:x_upper2] elif cls_id YELLOW_LOWER_ID: crop img[y_lower1:y_lower2, x_lower1:x_lower2]5. 实车视频流压测与道闸联动把识别结果变成可执行指令5.1 用OpenCV VideoCapture直连海康IPC绕过SDK依赖很多项目用hikvision-sdk或gb28181但部署时需额外授权。我们用RTSP直连兼容99%海康/大华IPC# video_stream.py def init_rtsp_stream(rtsp_url, timeout5): cap cv2.VideoCapture(rtsp_url, cv2.CAP_FFMPEG) cap.set(cv2.CAP_PROP_BUFFERSIZE, 1) # 减少缓冲降低延迟 # 海康IPC需设置特定参数 if hikvision in rtsp_url: cap.set(cv2.CAP_PROP_FOURCC, cv2.VideoWriter_fourcc(H, 2, 6, 4)) cap.set(cv2.CAP_PROP_FRAME_WIDTH, 1920) cap.set(cv2.CAP_PROP_FRAME_HEIGHT, 1080) # 等待首帧 for _ in range(10): ret, _ cap.read() if ret: break time.sleep(0.1) if not ret: raise RuntimeError(fRTSP stream failed: {rtsp_url}) return cap # 主循环每帧处理 cap init_rtsp_stream(rtsp://admin:password192.168.1.64:554/Streaming/Channels/101) while True: ret, frame cap.read() if not ret: continue # 检测识别此处调用detect_and_recognize函数 plates detect_and_recognize(frame) for plate in plates: print(f[{time.strftime(%H:%M:%S)}] {plate[text]} | {plate[type]} | score:{plate[conf]:.2f}) # 发送MQTT指令见5.2节 send_to_gate(plate[text], plate[type])参数说明cv2.CAP_FFMPEG强制使用FFmpeg后端避免V4L2驱动兼容问题CAP_PROP_BUFFERSIZE1是降低端到端延迟的关键实测从800ms→220ms海康IPC的RTSP URL格式必须为rtsp://user:passip:port/Streaming/Channels/{channel}{stream}其中channel为通道号101主码流stream为子码流102。5.2 道闸控制协议用Modbus TCP发指令不依赖厂商SDK我们不调用“臻识道闸SDK”或“捷顺API”而是用标准Modbus TCP协议控制# gate_control.py from pymodbus.client import ModbusTcpClient class GateController: def __init__(self, ip, port502): self.client ModbusTcpClient(ip, port) self.client.connect() def open_gate(self, plate_text): # 写寄存器40001功能码0x06值1表示开闸 self.client.write_register(1, 1, unit1) # 地址1对应40001 # 记录日志可选 with open(/var/log/gate.log, a) as f: f.write(f{time.time()} OPEN {plate_text}\n) def close_gate(self): self.client.write_register(1, 0, unit1) # 在主循环中调用 gate GateController(192.168.1.100) # 道闸IP for plate in plates: if plate[conf] 0.85 and plate[type] in [blue, green_small]: gate.open_gate(plate[text]) time.sleep(3) # 开闸保持3秒 gate.close_gate()协议说明所有国产道闸捷顺、富士、中科讯飞均支持Modbus TCP寄存器地址可查《道闸Modbus通讯协议V2.3》unit1是从站地址常见值为1主闸机或2副闸机安全机制plate[conf] 0.85过滤低置信度结果避免误开闸time.sleep(3)防止连续指令导致电机堵转。5.3 性能压测报告1080p30fps下端到端延迟与吞吐量我们在i7-11800H RTX3060笔记本上实测无TensorRT优化模块输入分辨率FPS平均延迟CPU占用GPU占用YOLOv8s检测640×64028.335.2ms42%68%CRNN OCR单字符48×2561128.9ms/字符28%41%端到端检测OCR1080p原始帧21.746.3ms73%82%关键结论检测耗时占端到端76%OCR仅24%因此优化重点在检测模型如用TensorRT加速YOLOv8s可提至38FPS当前配置可支撑单路1080p视频流实时处理若需4路建议升级至RTX4090或部署TensorRTCPU占用73%是因OpenCV图像预处理resizenormalize在CPU完成迁移到GPU预处理torchvision.transforms可降CPU至45%。我坚持在每个新项目里先跑通双层黄牌和新能源绿牌——因为这两类是检验系统是否真能落地的“照妖镜”。蓝牌识别率99%没用只要漏掉一个双层黄牌停车场管理员就会打电话骂人新能源绿牌错一位车主扫不出充电桩二维码投诉直接打到公司客服。所以我的工作流永远是先用test_yellow_double.py单测双层黄牌再跑test_green_plate.py最后才进全流程压测。这套流程救过我三次交付危机希望帮到你。本文还有配套的精品资源点击获取