LPRNet车牌识别数据集制作全指南：从标注到NPU量化校准

做端侧车牌识别也有一段时间了这段时间经常有朋友问我全志开发板上跑 LPRNet模型转换和部署倒是好说数据集这一步到底怎么搞才靠谱说实话数据集制作是我见过的翻车概率最高的环节。LPRNet 是端到端的序列识别网络对图片裁剪方式、标注格式、字符集定义都极其敏感数据没弄好后面所有环节都跟着遭殃。这篇文章整理的是我实际折腾过的数据集制作流程包含目录结构、标注脚本、增强方案以及从训练数据集到量化校准集之间的衔接细节。适合准备在全志这类带 NPU 的板子上做车牌识别或者只是想从零开始跑通 LPRNet 的朋友参考。1. 整体设计思路与数据集规划1.1 为什么“先定字符集”比“先攒图片”更重要你可能会觉得数据集制作就是从监控里截一堆车牌框一框就完事。其实最该先做的是把字符映射定下来。LPRNet 的本质可以粗略理解成把一张车牌图片按水平方向压成特征序列再用 CTC 解码出结果。解码时模型输出的每个时间步对应一个概率分布我们拿着这个概率分布去查字符表。字符表一旦中途变化比如后面又加了新的省份简称模型多分类的维度就变了所有已训练权重全部作废。所以第一件事就是把业务需要的字符范围列清楚数字 0-9、字母通常会剔除 I 和 O避免和数字 1、0 混淆、省份简称若干。字符表写好后固定成一个文件训练、验证、板端解码都用同一份。我见过有个项目在训练到一半时往字符表里加了一个“警”字结果整个模型输出维度对不上前面几周时间全浪费只能重新训。字符表不要贪多。如果你的业务只跑某几个省份那就只放那几个省份简称把全国所有汉字都堆进去不仅增加模型分类难度还会稀释数据量导致每个类别的样本不够准确率反而下降。1.2 LPRNet 对输入尺寸和颜色通道的要求LPRNet 比较经典的输入规格是 24 像素高、94 像素宽在论文和大部分开源权重中常以单通道灰度图输入。为什么不直接用官方输入因为官方权重是基于公开数据集训练的未必贴合你的车牌场景。如果板端摄像头拍到的图像是 RGB训练时直接转灰度其实有信息丢失尤其蓝牌黑字在暗光环境下灰度图对比度不足识别率会明显下降。我的习惯是先按 RGB 三通道训练同时把输入尺寸统一到某个固定宽高比比如 128x48 或 152x56。要说明的是LPRNet 的输入尺寸并不是只有 94x24 一种只要训练和部署保持一致宽度和高度都可以按需求调整。唯一不能做的是训练用 128x48到部署时随手 resize 成 96x32这样量化后精度会很难看。裁剪范围也有讲究。LPRNet 的输入往往来自检测模型给出的车牌框检测框本身就有误差所以裁剪时在车牌边缘留 2 到 5 个像素让模型看到车牌边框。边框其实是有用的背景信息它提供了字符和背景的分界线去掉之后模型反而更容易在复杂背景下误判。2. 目录结构与文件规范2.1 推荐的目录组织方式数据集目录看着简单但如果不提前定好规则后续脚本和板端程序都会很痛苦。我推荐用下面这种结构dataset/ ├── images/ │ ├── 000001_京A12345.jpg │ ├── 000002_京Q88888.jpg │ └── ... ├── char_dict.txt ├── train.txt └── val.txt图片文件名直接带上车牌字符这个设计不是随意来的。车牌识别数据集的标注通常包括两部分车牌区域坐标和车牌字符串。坐标在抠图阶段已经用掉了剩下的关键信息就是字符串本身。把字符串直接写进文件名好处是Linux 命令里一目了然、不会出现标注文件与图片对不上号的情况、也不需要额外维护一个 JSON 或 XML 中间文件。需要注意中文文件名的编码问题。多数训练框架在 Linux 下按 UTF-8 读取路径没问题但如果你在 Windows 上整理数据再用 U 盘拷到 Linux 开发机上很可能出现文件名乱码。我的建议是二维码逻辑文件名用 ASCII 前缀编号加下划线再接车牌字符串最后一个点后面才是扩展名。标签也可以用拼音或英文缩写但如果你习惯直接显示中文一定要统一 UTF-8 编码。2.2 标签格式与文本列表train.txt 和 val.txt 里每行两个字段先图片路径再车牌字符串两者用空格分隔。这个格式是 PyTorch Dataset 最方便读取的一种PaddleOCR 等框架也支持类似格式。注意图片路径内不能有空格否则读取时会把路径拆成两段解析直接出错。文件列表是整个数据集的“入口”。训练脚本一般不自己去扫描图片目录而是读这个列表文件这样方便做随机打乱、按比例划分也方便后期把新采集的数据增量追加进去。车牌字符串不需要统一长度。中国蓝牌通常是 7 位新能源绿牌可能是 8 位LPRNet 的 CTC 损失天然支持变长序列输出不需要把标签 pad 到固定长度。很多人一上来就填固定长度反而干扰训练。2.3 样本量与类别均衡数据量多少够用取决于场景复杂度。我的经验是合成数据 5 到 8 万张打底真实场景数据 2000 到 5000 张做微调。如果场景很干净、角度固定、光线稳定几千张真实数据也能有不错的效果如果是户外复杂场景合成数据和真实数据都要加量。数据用途建议数量说明合成车牌5万~10万覆盖字符组合、字体、背景噪声用于预训练基础识别能力真实场景采集2000~5000覆盖不同光线、角度、车牌新旧程度用于微调泛化量化校准集200~500从训练集分层抽取覆盖不同亮度、背景、颜色用于板端NPU量化板端验收集100~300与训练数据完全不重叠的实拍图或视频抽帧用于最终指标评估类别均衡要特别留意。如果你抓的监控都是同一个停车场的车那大概率全是同一两个省份开头训练出来的模型省份汉字识别尚可数字和字母覆盖不足换到外地直接抓瞎。抽样时尽量让每个省份、每个数字、每个字母都出现足够多次极端不均衡的类别干脆做降采样。3. 标注脚本实现与关键代码3.1 从文件名一键生成训练列表图片准备好之后生成 train.txt、val.txt 和 char_dict.txt 这一步可以完全自动化。我用 Python 写了一个小脚本按照固定比例划分训练集和验证集同时统计所有出现过的字符导出字符索引表。import os import random from pathlib import Path IMG_DIR Path(dataset/images) TRAIN_RATIO 0.85 # 文件名形如000001_京A12345.jpg names [p.name for p in IMG_DIR.glob(*.jpg)] random.shuffle(names) def label_of(img_name: str) - str: return img_name.split(_, 1)[1].rsplit(., 1)[0] # 统计字符集 label_to_idx {} for n in names: for ch in label_of(n): if ch not in label_to_idx: label_to_idx[ch] len(label_to_idx) # 划分训练集 split_idx int(len(names) * TRAIN_RATIO) train_names names[:split_idx] val_names names[split_idx:] def write_list(names, out_path): with open(out_path, w, encodingutf-8) as f: for n in names: f.write(f{IMG_DIR / n} {label_of(n)}\n) write_list(train_names, dataset/train.txt) write_list(val_names, dataset/val.txt) # 导出字符索引表 with open(dataset/char_dict.txt, w, encodingutf-8) as f: for ch, idx in sorted(label_to_idx.items(), keylambda x: x[1]): f.write(f{ch} {idx}\n)这个脚本很短但有一个非常关键的设计字符索引表是从数据集中统计出来的并写入了独立文件。训练时加载 char_dict.txt 生成分类头部署解码时也要用同一个文件恢复字符映射。这样两边一定一致不会出现模型输出维度和字符表长度对不上的问题。我踩过的坑是第一次训练时忘了导出 char_dict.txt后面推理端手写了一个字符列表少了一个字符结果模型解码出来的车牌字符整体错位查了很久才发现是索引映射不一致。3.2 数据增强怎么配置车牌识别场景的特殊性在于字符顺序是有意义的。常规分类任务常用的水平翻转增强在车牌识别里要慎用。车牌字符从左到右排列翻转之后标签语义也翻转了虽然理论上可以同步翻转标签来训练但中文船牌翻转后并没有实际语义反而容易让模型学到一些不存在的模式。我通常不做水平翻转。可以用的增强主要包括这几类仿射变换小角度旋转 ±3 度轻微倾斜 shear 0.01 到 0.02水平缩放 0.8 到 1.2 倍。模拟摄像头安装角度差异。亮度对比度调整亮度加减 25对比度乘 0.7 到 1.3覆盖白天、黑夜、逆光场景。模糊与噪声高斯模糊核大小 3 或 5高斯噪声标准差 5 左右。模拟低分辨率摄像头和压缩传输。颜色扰动色调、饱和度做小范围扰动适配不同颜色车牌和不同涂层老化程度。增强系数不用一开始就拉满。我见过有人把旋转角度设成 15 度结果字符都变形了模型反而学不到稳定的特征。先从小扰动开始验证集效果好就慢慢加大增益。3.3 合成数据与真实数据结合如果你手头真实车牌图片不够合成数据是很好的补充。合成不是简单地把字符拼在纯色背景上而是要模拟车牌材质、边框、螺孔、光照渐变、透视畸变、污损遮挡。网上有一些开源车牌合成工具原理都是先生成干净车牌再套随机背景和透视变换最后做腐蚀和噪声叠加。合成数据的比例不要超过 80%。全是合成数据训练出来的模型在真实摄像头画面下容易过拟合到合成纹理泛化能力很差。比较稳的做法是先用大规模合成数据预训练主干再用真实数据微调让模型接触真实的边缘锐度、反光和噪点分布。4. 开发板部署视角的数据集准备4.1 量化校准集是独立环节全志这类带 NPU 的板子跑模型时一般都要走量化转换流程把训练好的浮点模型转成 NPU 能高效执行的定点模型。量化过程需要一个校准集目的是统计激活值的分布范围。很多人直接拿 train.txt 前 200 张图做校准运气好没问题运气不好量化后识别率掉一大截。校准集的关键是多样性不是数量。如果 200 张图全是同一时间段的停车场景亮度、背景都差不多激活分布就只覆盖了一小部分真实情况在户外多变光线下车牌图片的激活值范围会远超校准统计范围量化精度自然崩溃。我的做法是分层抽样把训练集按亮度、背景类型、车牌颜色分成几组然后从每组里均匀抽几十张凑成 300 张左右。这样校准集虽然不大但覆盖了白天、黑夜、逆光、蓝色车牌、绿色车牌等主要情况。4.2 板端预处理要和训练完全一致数据集制作不只是喂给训练框还要同时为板端推理定义一套完整的预处理规范。训练时怎么resize、怎么归一化板端就要一模一样。全志 NPU 工具链对输入数据的格式要求比较严格通常 RN-BGR 还是 RGB、归一化系数是多少、输入尺寸是动态还是固定都要在转换时指定清楚。一个常见的预处理流程如下import cv2 import numpy as np def preprocess(image): # image: BGR三通道图 image cv2.resize(image, (128, 48), interpolationcv2.INTER_LINEAR) image image.astype(np.float32) image image / 255.0 image (image - 0.5) / 0.5 # 归一化到[-1, 1] # HWC转CHW image np.transpose(image, (2, 0, 1)) return image这个归一化写法需要和训练代码保持完全一致。如果训练时用的是减均值除方差部署时就不能临时改成简单除以 255。很多人忽略了这个细节模型在 PC 上验证准确率很高一部署到板端就明显掉点排查到最后才发现 reszie 插值方式都不一样。插值方式也要注意。OpenCV 不同插值算法对车牌这种字符边缘比较敏感训练时用了 INTER_LINEAR部署时也尽量用 INTER_LINEAR这能避免一些不必要的边缘差异。4.3 真机验证集的构造板端部署的最终指标最终要有真机验证集来衡量。这里的真机验证集不是随便截几张照片就完事而是需要模拟实际使用场景。我建议从三个维度构造不同摄像头。哪怕同型号不同摄像头的白平衡、锐度也有差异。用多个设备采集才能发现模型是否过拟合了单一设备特征。不同时段。白天、黄昏、夜晚、逆光至少各占一部分。车牌识别的光照敏感性比人眼大得多单一光照下评估很容易自欺欺人。不同背景。同一条路上反复拍背景单一模型可能靠背景特征猜出字符分布而不是真正识别字符。换几个场地说服力强得多。验收时我会同时记录识别精度和单帧耗时。精度够了但帧率上不去也不会真正应用。数据集阶段就习惯性地记录采集条件后面做问题分析会节省很多时间。5. 常见问题与排查技巧实录5.1 经典翻车速查表我把实际项目中经常遇到的问题整理成一个速查表我自己排查时也这样对照。看到现象后直接按表格里对应的处理方式检查比对着日志发呆有效得多。现象常见原因处理办法训练 Loss 降不下去字符索引映射错乱或标签与图片不匹配打印一批训练样本的预测结果人工核对文件名标签推理结果全是空字符输入尺寸或颜色通道顺序不对模型输出宽度为0检查预处理resize和通道顺序确认 BGR/RGB中文车牌字符乱码char_dict.txt 编码和模型读取时不统一统一使用 UTF-8 编码确认索引表一致量化后识别率明显下降校准集覆盖不足或预处理归一化不一致重新分层抽样校准集核对归一化参数同摄像头测试准换场景就废训练集场景单一模型学到的是背景特征增加不同背景的真实样本和增强扰动验证集准确率高实测很差验证集和训练集存在数据泄漏校验是否同一视频段按时间切分改用场景分组字符集中字母 I/O 总出错字符表未剔除易混淆字符训练和板端解码都剔除 I/O或用业务规则修正5.2 防数据泄漏和字符集漂移数据泄漏在车牌识别数据集里非常隐蔽。最常见的一种同一摄像头同一时间段采集的视频按时间顺序前 80% 的帧进训练集后 20% 的帧进验证集。结果验证集和训练集里都是同一辆车在不同角度和亮度下的画面模型实际上已经见过这些车了验证准确率看起来特别高但一到新的停车场就原形毕露。正确的做法是按场景分组。采集 A 停车场、B 停车场、C 路口三段独立视频训练集用两个场景验证集用第三个场景这样评估才有意义。更保险的做法是验证集完全用另一台设备或另一天拍摄的画面。字符集漂移是我第二次踩的大坑。第一次做数据集时字符表里有“京”训练到一半发现验证集识别老是错后来发现我在验证阶段加载的字符表是重新用脚本统计生成的顺序变了和训练时的索引对不上。从那以后我的流程固定在每一次训练前先运行一次字符统计脚本把生成的 char_dict.txt 作为唯一标准后面不管训练、验证、量化还是板端解码全部加载同一个文件。5.3 推荐的工作流习惯数据集这件事我并不建议追求一步到位而是采用迭代式完善。第一版数据量少一些没关系先把完整的制作流程跑通包括目录规范、脚本生成、清单校验确认流程没有低级问题后再继续扩充数据和增强。这样即使后面发现了字符表或者目录结构的问题代价也小。我每次准备完数据集都会做一件看起来很笨的事随机抽 50 张验证图把 LPRNet 的预测结果和文件名里的标签逐行打印出来人眼看一遍。这个步骤花大约 10 分钟但回报非常高能直接检查出标注错误、字符集映射错误、预处理错误等一大批问题。别小看这个冒烟测试它的目的是在训练还没开始前就把基础错误挡下来省掉之后反复试错的几个通宵。顺便提一句LPRNet 的网络结构里一般带有序列建模层全志 NPU 工具链对这类算子的支持情况在不同 SDK 版本里略有差异。如果转换过程遇到算子不支持通常的处理思路是把序列层替换成等价的卷积增强模块再回来微调模型。这个替换方案不是随时都能做的要在最初选择网络结构时就留好备选所以数据集这阶段就得考虑清楚不要等量化失败才回头补工作。