轮胎字符识别实战：从图像预处理到CNN分类的完整指南

简介基于机器学习的轮胎字符识别项目完整交付适合机器学习期末课题、工业字符提取与OCR方向学习者参考。围绕轮胎表面字符检测与识别展开采用EAST、DB进行文本定位CRNN结合LSTM完成序列识别并对弯曲胎面、花样字体等难点做了效果评估与说明。资源共157个文件压缩包约332.75MB包含19个Python源码及9个编译后pyc、63张效果图与27张测试图、6组Paddle模型参数文件pdiparams/pdmodel/pdparams/pdopt以及说明文档和环境配置文本便于直接运行、复现和二次调整。已有165人学习浏览适合需要完整项目模板、模型文件和训练记录的学生参考。1. 轮胎字符识别期末作业一个能拉开分数差距的选题轮胎字符识别这个名字听起来像是车牌识别的亲戚真做起来会发现它比车牌难得多。期末作业选这个题通常要把“图像预处理 → 字符定位 → 字符分割 → 分类识别”整条链路走完正好覆盖机器学习课程里从特征工程到模型评估的核心章节。这个标题下的交付物一般是三类能跑通的 Python 源码、训练好的模型权重、一份使用说明。适合两类人一是机器学习课程期末要交项目但不想做烂大街的猫狗分类二是对工业视觉感兴趣想用一个真实场景练手的学生。读完这篇文章你会清楚轮胎字符识别怎么做、模型怎么训、坑在哪以及怎么把它包装成一份能拿高分甚至被老师追问的作业。2. 数据准备与字符定位轮胎字符识别的第一个分水岭2.1 轮胎字符和普通 OCR 的差别在哪轮胎字符识别这个任务第一眼看过去像普通 OCR实际上和大街上的车牌识别完全不是一个难度等级。车牌字符是平面印刷黑底白字对比度稳定轮胎字符是凸出在曲面橡胶上的侧面还有防滑纹路、模具接缝、毛刺和灰尘。光照条件稍差比如车间里常见的斜侧光源字符的一部分会落在阴影里二值化之后就断成一截一截的。轮胎上需要识别的字符一般有三类规格码比如195/65R15由数字、斜杠、字母R组成品牌标识通常是一串大写字母DOT 生产信息码由字母和数字混合最后几位代表生产周和年份。这三类字符的共同特点是位数不固定、字符宽度不统一所以“先定位整个字符串区域再逐字符分割最后逐字符分类”是期末作业里最稳妥的流程而不是端到端直接识别。另一个和普通 OCR 的差别是字体规范。车牌字符有国标字体笔画粗细和字符间距严格一致轮胎字符是橡胶模具压出来的不同厂商的字体差异很大同一个1在不同品牌轮胎上可能带底座也可能不带甚至同一个轮胎上同一个字符因为磨损程度不同笔画宽度都不一样。这意味着字符分割和分类两个环节都要留足容错空间。2.2 轮胎字符定位用颜色和形态学做候选区域提取常见做法是先做预处理再用形态学把字符区域“抠”出来。这里不用深度学习做定位原因是期末作业的训练数据往往只有几十到几百张图深度学习检测器在小样本下容易过拟合而传统图像处理在字符区域灰度与背景差异明显的条件下稳定性足够。下面是一段最精简的定位代码import cv2 import numpy as np def locate_tire_text(img_path): img cv2.imread(img_path) gray cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) # 高斯模糊去橡胶纹理核大小要和字符笔画宽度匹配 blur cv2.GaussianBlur(gray, (5, 5), 0) # 自适应阈值比固定阈值更能扛住光照不均 binary cv2.adaptiveThreshold( blur, 255, cv2.ADAPTIVE_THRESH_GAUSSIAN_C, cv2.THRESH_BINARY_INV, 31, 15) # 用闭运算把相邻字符连通成一个块 kernel cv2.getStructuringElement(cv2.MORPH_RECT, (15, 5)) closed cv2.morphologyEx(binary, cv2.MORPH_CLOSE, kernel) # 找外轮廓按面积和宽高比筛掉噪声 contours, _ cv2.findContours( closed, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) candidates [] for cnt in contours: x, y, w, h cv2.boundingRect(cnt) area w * h if area 500 or h 20 or w 50: continue if w / h 2.5 and w / h 15: # 字符串通常是扁长形 candidates.append((x, y, w, h)) return candidates这段代码有四个参数值得说明GaussianBlur的核大小(5, 5)如果轮胎表面纹理噪声很重可以调到(7, 7)但太大会把字符边缘也抹掉分割时字符会“变胖”。自适应阈值的blockSize31和C15blockSize必须大于字符笔画宽度而且最好是奇数C是减去的常数越大越不容易让背景变成前景但太大字符会断。闭运算核(15, 5)宽度15取决于字符间距目的是把同一行的字符粘连成一个整体如果字符间距大要适当加大。面积和宽高比阈值area500会滤掉小噪声w/h2.5是为了排除圆形花纹块。这些阈值和采集的图像分辨率强相关如果用 800×600 的图和用 2000×1500 的图参数要重新调没有一个万能值。定位结果是一个候选矩形但只保证“字符在这块区域里”不能保证边界精确。因此下一步要从该区域里做字符分割。2.3 字符分割的三种切法及参数字符分割是整个流程里最玄学的一步因为轮胎字符是凸字光照方向一变同一字符的投影可能断裂或重叠。常见的做法有三种。第一种垂直投影分割。把定位区域二值化后统计每列黑色像素数连续有值的区间就是一个字符。这个方法的优点是简单缺点是遇到1和/这种窄字符时投影区间容易和相邻字符粘连。第二种连通域分析。按字符块的 8-连通关系把每个独立连通域作为一个候选字符。这个方法的优点是能处理字符移位缺点是遇到因光照断了笔画的字符比如8中间断开一个字符会被拆成两个。第三种先做形态学修复再分割。即先用膨胀操作把断开的笔画接起来再做投影或连通域。我一般用第三种给一个示例def split_characters(region_gray): _, binary cv2.threshold( region_gray, 0, 255, cv2.THRESH_BINARY_INV cv2.THRESH_OTSU) # 竖直方向膨胀把同一字符的断开部分连起来 kernel np.ones((3, 1), np.uint8) dilated cv2.dilate(binary, kernel, iterations1) # 垂直投影 col_sum np.sum(dilated 255, axis0) in_char False chars [] start 0 for i, val in enumerate(col_sum): if val 0 and not in_char: in_char, start True, i elif val 0 and in_char: in_char False if i - start 3: # 过滤掉列方向的噪声 chars.append((start, i)) return chars这里关键参数是膨胀核(3, 1)它只在竖直方向膨胀作用是把同一字符里因为光照断掉的上下笔画接上同时不把左右相邻字符粘在一起。iterations1通常就够了如果二值化后断笔严重可以加到2但这时相邻字符也可能被粘连。处理分割时还需要注意宽度过滤。轮胎字符里的1和I都很窄投影区间宽度可能只有其他字符的三分之一如果后端分类器把它们和正常字符混在一起训练模型会学出“宽度先验”导致真实场景里把11识别成1。所以分割阶段可以按宽度比例做一次筛选把明显过窄的区间合并到相邻区间。3. 模型选型与训练CNN 分类器是性价比最高的方案3.1 为什么不用 YOLO 直接识别任务边界和训练成本很多同学第一反应是上 YOLO因为目标检测最省事——直接框出每个字符并给出类别。但期末作业用 YOLO 有三个现实问题。第一数据量。YOLO 在大型公开数据集上效果好是几万张标注图堆出来的。期末作业往往只有几百甚至几十张轮胎照片每个字符的样本量可能只有几十张训练一个检测头很容易过拟合。第二标注成本。YOLO 要求给每个字符画框还要保证类别正确。轮胎字符通常挤在一起画框的工夫比做传统分割多得多而分割加分类的方案标注工作只需要在裁剪出来的单字符图上做。第三可解释性差。期末答辩时老师一定会问“你的模型为什么这么设计”。YOLO 的黑匣子属性更强而你用“定位 → 分割 → 分类”的流水线每一个环节都能单独展示中间结果这在答辩中是明显的加分项。这条分工线也恰好踩在计算机视觉和机器学习的分界上图像处理负责定位和分割机器学习负责分类。所以我的建议是用传统图像处理完成定位和分割把深度学习用在字符分类这个单点上。这符合大多数机器学习期末作业的要求——模型的输入输出边界清晰训练时间短效果容易验证。3.2 搭建字符分类网络结构设计与关键参数字符分类网络的输入是单字符图像。由于轮胎字符是凸起的字符本身的纹理和边缘信息比灰度值更重要建议把输入统一缩放到32×32或48×48保持二值图像作为输入而不是用彩色图。下面是一个轻量 CNN 的参考结构import torch import torch.nn as nn class TireCharNet(nn.Module): def __init__(self, num_classes36): super().__init__() self.features nn.Sequential( nn.Conv2d(1, 32, kernel_size3, padding1), nn.BatchNorm2d(32), nn.ReLU(inplaceTrue), nn.MaxPool2d(2), # 32x32 - 16x16 nn.Conv2d(32, 64, kernel_size3, padding1), nn.BatchNorm2d(64), nn.ReLU(inplaceTrue), nn.MaxPool2d(2), # 16x16 - 8x8 nn.Conv2d(64, 128, kernel_size3, padding1), nn.BatchNorm2d(128), nn.ReLU(inplaceTrue), nn.AdaptiveAvgPool2d(1) # 全局平均池化 ) self.classifier nn.Sequential( nn.Dropout(0.5), nn.Linear(128, num_classes) ) def forward(self, x): x self.features(x) x x.view(x.size(0), -1) return self.classifier(x)设计上有几个点值得解释输入是单通道1因为轮胎字符识别终究是形状识别把 RGB 转成灰度或二值输入不仅减少计算量也避免颜色干扰轮胎照片的颜色变化和字符类别没有关系。BatchNorm2d放在卷积和 ReLU 之间可以有效缓解训练初期梯度不稳定。期末作业数据集小学习率稍大就容易不收敛加 BN 会稳定很多。用AdaptiveAvgPool2d(1)代替全连接层前的展平操作好处是网络不限制输入尺寸。虽然这里输入固定是32×32但保留这个设计会显得你的网络更通用。Dropout(0.5)放在分类器前对小数据集来说是最简单的正则化手段比调 weight decay 更直观。3.3 训练脚本落地数据集划分和超参数设置有了网络结构下一步是把数据集准备好并开始训练。字符分类任务的数据集通常是每个字符一个文件夹文件夹名就是标签。下面给出一份可以直接改路径跑起来的训练脚本import os import torch from torch.utils.data import Dataset, DataLoader from torchvision import transforms from PIL import Image class CharDataset(Dataset): def __init__(self, root_dir, transformNone): self.labels sorted(os.listdir(root_dir)) self.samples [] self.transform transform for label_idx, label in enumerate(self.labels): label_dir os.path.join(root_dir, label) for fname in os.listdir(label_dir): self.samples.append((os.path.join(label_dir, fname), label_idx)) def __len__(self): return len(self.samples) def __getitem__(self, idx): path, label self.samples[idx] img Image.open(path).convert(L).resize((32, 32)) if self.transform: img self.transform(img) return img, label transform transforms.Compose([ transforms.ToTensor(), transforms.Normalize((0.5,), (0.5,)) ]) train_ds CharDataset(datasets/train, transformtransform) train_loader DataLoader(train_ds, batch_size32, shuffleTrue, num_workers0) model TireCharNet(num_classeslen(train_ds.labels)) optimizer torch.optim.Adam(model.parameters(), lr1e-3) criterion nn.CrossEntropyLoss() for epoch in range(30): running_loss 0.0 correct 0 total 0 for imgs, labels in train_loader: optimizer.zero_grad() outputs model(imgs) loss criterion(outputs, labels) loss.backward() optimizer.step() running_loss loss.item() _, predicted torch.max(outputs, 1) total labels.size(0) correct (predicted labels).sum().item() print(fepoch {epoch1}, loss: {running_loss/len(train_loader):.4f}, facc: {correct/total:.4f})这段脚本的核心参数如下参数推荐值说明输入尺寸32×32 或 48×48相似字符混淆严重时提高到 48batch_size32内存不足时降到 16影响不大优化器Adam收敛快期末作业首选初始学习率1e-3类别数超过 50 时降到 5e-4训练轮数20~3010 轮就饱和说明模型容量偏大Dropout0.5小数据必备过拟合时先调这个提示跑训练前先检查len(train_ds.labels)确认类别数和你的字符集合一致。常见问题是数据集里混入了_开头的文件夹比如 Mac 的__MACOSX解压残留标签列表被污染训练出的模型输出维度和实际不符。跑完训练后一定要在测试集上单独评估而不是只看训练集准确率。测试集最好来自另一批轮胎照片至少也要保证和训练集照片不是同一角度拍的。4. 轮胎字符识别实战排查5 个必踩的坑4.1 训练集准确率 99%测试集准确率只有 60%现象训练轮到 10 轮以后训练集准确率一路冲到 99%但一放到测试集上准确率停在 60% 上下。原因这是典型的小数据过拟合。期末作业字符数据集往往只有每个字符十几张图网络把训练图里的光照、角度和橡胶纹理都记住了而不是记住字符形状。尤其是在分割阶段如果没做好训练集里同一个字符的裁剪位置都偏左模型就会把位置特征学进去。解决优先做数据增强。对每张裁剪后的字符图做在线增强包括随机平移 ±2 像素、随机旋转 ±10°、随机缩放 0.9~1.1能明显压制过拟合。另外要做字符级数据平衡。轮胎字符里数字出现频率远高于字母训练集里0有 80 张、A只有 15 张模型对低频字符天然不友好可以按类别做上采样或直接用 weighted sampler。4.2 字符分割把0切成了两半现象定位区域里的0在垂直投影中出现了两个峰值被切成两个字符导致最后的识别结果变长比如195/65R15被识别成 12 个字符。原因轮胎字符是凸起橡胶当光照从侧上方打过来时0的内外圈之间产生明显阴影二值化后内圈和外圈在视觉上断开了投影图呈现出左半右半两个峰。解决在分割前加一步形态学闭运算核用竖直方向的(1, 3)或(3, 3)把字符内部的断开区域接回来。如果还不够可以直接改用连通域方案但把面积小于某个阈值的连通域合并到最近的相邻连通域。注意不要盲目加大膨胀核否则相邻字符之间的空隙也会被填上反而把1和5粘成一个字符。4.38和B、0和O混成一团现象分类器在8和B之间、0和O之间反复犯错测试集上这两组字符的错误占了总错误的一半以上。原因轮胎字符多数情况下是纯大写字母加数字但8和B在低分辨率下确实很像尤其是32×32的输入让B右边的两个圆弧几乎缩成两段竖线。更深层的原因是轮胎侧面字符本身没有严格字体规范厂商压模时0和O可能就是同一个字形。解决有两层。第一层是数据处理层面检查数据集中0和O是不是真的存在可区分标注如果标注本身不靠谱直接向老师说明并把这两类合并成同一类这比硬着头皮训练要诚实也符合工业落地里类别合并的逻辑。第二层是输入分辨率提升到48×48并把二值化后的图像做一次边缘增强突出笔画结构差异。如果还不行可以在分类器输出后加上规则约束比如轮胎规格码中R后面必须是数字O几乎不可能出现这种规则后处理在答辩里非常加分。4.4 轮胎侧面光照不均导致二值化后字符断裂现象同一张图中靠近光源的字符清晰远离光源的字符二值化后断断续续字符整体识别率波动很大。原因轮胎是弧形表面弧面反射和阴影分布不均匀固定阈值无法同时照顾亮区和暗区。OpenCV 的全局 Otsu 阈值也是基于全图灰度分布的亮区字符可能被当成背景。解决换自适应阈值或分块阈值。自适应阈值在 2.2 已经用过一次但这里要注意它的代价如果blockSize设太小字符内部的灰度变化也会被当作边界反而把笔画拆碎。我一般把blockSize设为字符宽度的 2~3 倍在31~51之间调。如果处理完仍然断裂可以在分割前对二值图做一次形态学骨架修复或者使用局部灰度归一化后再走固定阈值。这两个方案二选一即可不要同时叠加太多预处理否则定位区域会被过度膨胀。4.5 换一套数据集后模型直接崩掉现象把训练好的模型拿到网上找的轮胎图或同学拍的轮胎照片上测试准确率骤降到 30% 以下。原因这是工业场景里最常见的泛化失败。训练数据如果是统一角度、统一光照下拍的模型学到的是那个拍照条件下的轮胎字符而不是通用的字符形状。轮胎型号不同字符笔画粗细和浮雕高度差异很大甚至同一个1在不同品牌轮胎上长得完全不一样。解决从两个方向入手。一是训练数据里显式加入多源样本至少要有两个不同角度、两种以上光照方向的照片。二是做预处理时把所有输入都过一遍同一条处理链路比如统一缩放算法用cv2.INTER_AREA而不是默认插值、统一二值化参数避免推理时图像和训练时分布不一致。如果仍然崩稳妥做法是只承认模型适用于同品类轮胎并在期末报告中明确写出模型边界这比吹一个万能识别器更让老师信服。5. 把你的模型串成完整项目推理脚本、模型导出和验证5.1 推理脚本的完整流程训练好模型之后要把它包装成一条完整链路。推理脚本的输入是一张轮胎照片输出是识别出来的字符串。这里最容易犯的错误是训练时预处理和推理时预处理不一致比如训练用 PIL 读图、推理用 OpenCV 读图两者对图像的通道顺序和数值范围处理不同结果直接翻车。下面这份推理脚本把定位、分割、分类都串起来并保存中间结果方便抽查import cv2 import torch from PIL import Image def preprocess_char(crop_bgr): # 统一用 OpenCV 读图、转灰度避免 PIL/OpenCV 混用 gray cv2.cvtColor(crop_bgr, cv2.COLOR_BGR2GRAY) gray cv2.resize(gray, (32, 32), interpolationcv2.INTER_AREA) gray cv2.adaptiveThreshold( gray, 255, cv2.ADAPTIVE_THRESH_GAUSSIAN_C, cv2.THRESH_BINARY_INV, 31, 15) img Image.fromarray(gray) img transforms.ToTensor()(img) img transforms.Normalize((0.5,), (0.5,))(img) return img.unsqueeze(0) def predict_tire_string(img_path, model, label_list): img cv2.imread(img_path) candidates locate_tire_text(img_path) # 第 2 章的函数 results [] for x, y, w, h in candidates: region img[y:yh, x:xw] chars split_characters(region) # 第 2 章的函数 if not chars: continue text for start, end in chars: crop region[:, start:end] tensor preprocess_char(crop) with torch.no_grad(): logits model(tensor) pred torch.argmax(logits, dim1).item() text label_list[pred] results.append((text, (x, y, w, h))) return results这个脚本中有两个容易翻车的点要强调cv2.resize和 PIL 的resize默认插值算法不一样。cv2.resize默认用双线性插值PIL 默认用最近邻字体边缘的差异会被 CNN 当成特征所以推理和训练必须统一用同一套读取与缩放方式。adaptiveThreshold在预处理时再次执行但训练集的字符图如果已经经过一次自适应阈值这里相当于做了两次。关键是保持训练集怎么处理推理就怎么处理不要变换流程。如果训练时用了固定阈值这里也要用固定阈值。5.2 模型保存与加载时容易翻车的细节PyTorch 保存模型有几种方式期末作业里最常犯的错是只保存model.state_dict()但没保存类别列表。等你换了机器加载时发现模型权重加载成功但输出维度和类别数对不上整个推理链直接崩掉。推荐做法是把模型参数和元信息打包在一起checkpoint { model_state: model.state_dict(), labels: train_ds.labels, input_size: 32, arch: TireCharNet } torch.save(checkpoint, tire_char_model.pth) # 加载时 ckpt torch.load(tire_char_model.pth) model TireCharNet(num_classeslen(ckpt[labels])) model.load_state_dict(ckpt[model_state]) model.eval()一个更容易被忽略的坑是model.eval()。如果加载后直接预测训练时开启的 Dropout 和 BatchNorm 的 batch 统计仍会生效两个相同的输入会得到不同的输出。对字符分类这种小网络遗忘model.eval()的后果不会让准确率清零但会明显波动答辩演示时一旦翻车很难看。还有一点要提cv2.findContours在 OpenCV 3 和 OpenCV 4 中的返回值结构不同。OpenCV 3 返回三个值OpenCV 4 返回两个网上旧教程的代码拿过来在新环境里直接报错。如果locate_tire_text在定位阶段抛错先检查这一行contours, _ cv2.findContours(...)OpenCV 3 环境要改成_, contours, _ cv2.findContours(...)。如果没有 GPU加载时还要注意map_locationcpuckpt torch.load(tire_char_model.pth, map_locationcpu)5.3 用混淆矩阵证明你的模型有效期末作业的模型评估不能只写一个“测试集准确率 97%”老师更愿意看到能说明问题的评估图。混淆矩阵是最直接的。它有两个读法一是看对角线哪些字符识别得干净。二是看非对角线哪些字符互相混淆。如果混淆集中在8/B、0/O上说明模型的失败模式符合人类直觉这是可以被解释的误差如果混淆毫无规律说明网络结构或数据处理有问题。from sklearn.metrics import confusion_matrix import matplotlib.pyplot as plt import seaborn as sns cm confusion_matrix(all_labels, all_preds, labelslabel_list) plt.figure(figsize(12, 10)) sns.heatmap(cm, annotTrue, fmtd, xticklabelslabel_list, yticklabelslabel_list) plt.xlabel(Predicted) plt.ylabel(True) plt.tight_layout() plt.savefig(confusion_matrix.png, dpi150)这个代码块里我用的是seaborn的heatmap如果你环境里没有这个库用matplotlib的imshow也可以但seaborn默认会加数值标注展示效果更好。期末报告里放一张混淆矩阵图篇幅不大但说服力很强而且老师看评估图比看一堆训练日志快得多。6. 让期末答辩眼前一亮加一个可交互验证脚本答辩现场有两类表现一类是把训练好的模型跑一张图输出一个字符串结束另一类是在演示时把定位框、分割结果、每个字符的置信度都实时展示出来让老师看到“这个系统是怎么一步步得出结论的”。后者几乎必被追问“这是不是模型自己画的框”。如果把这个过程做成一个可视化脚本整个项目的工程感会提升一个档次。def visualize_pipeline(img_path, model, label_list): img cv2.imread(img_path) canvas img.copy() candidates locate_tire_text(img_path) for x, y, w, h in candidates: cv2.rectangle(canvas, (x, y), (xw, yh), (0, 255, 0), 2) region img[y:yh, x:xw] chars split_characters(region) for i, (start, end) in enumerate(chars): crop region[:, start:end] tensor preprocess_char(crop) with torch.no_grad(): logits model(tensor) conf torch.softmax(logits, dim1) pred torch.argmax(conf, dim1).item() score conf[0, pred].item() label label_list[pred] # 在图上标出每个字符和置信度 cv2.putText(canvas, f{label} {score:.2f}, (xstart, y-4-i*14), cv2.FONT_HERSHEY_SIMPLEX, 0.4, (0, 0, 255), 1) cv2.imwrite(pipeline_visual.png, canvas)这段代码的每个字符框上都打印了预测类别和置信度。从实践角度看好处有三第一现场演示不用口述“模型准确率很高”直接把置信度打在图上老师一眼能看出识别稳不稳。第二中间结果能直接暴露问题所在如果某个字符的置信度低于 0.6你能当场解释是分割问题还是分类问题。第三这个可视化脚本很容易扩展成批量验证比如把几十张测试图全部跑一遍并合成一张大图期末报告的附录位置可以直接用。我自己做这类作业时的习惯是宁可只做 3 个字符类别的精准识别不做 36 个类别的“看起来能跑”。老师判断一份期末作业值不值得拿高分看的是你的排错能力和对模型边界的理解而不是你堆了多少层网络。先把定位、分割、分类三个环节的中间结果全部可视化再谈优化模型这条路对期末作业来说最稳。希望帮到你。本文还有配套的精品资源点击获取