基于DyHead改进YOLOv11的错题切分系统实践

简介面向毕业设计与课程作业场景的错题自动切分系统完整实现基于DyHead与YOLOv11双模型架构前者负责试卷题目区域精准分割后者识别错号、斜线、半对、问号、圆圈五类错误标记。系统内置四层匹配策略中心点包含、重叠面积、IOU、最近距离可将错误符号与对应题目自动关联同时支持训练、验证、推理全流程为计算机视觉、教育信息化方向的学生提供可直接复用的基线方案。资料共984个文件以Python脚本、YAML配置、Markdown文档为主涵盖模型训练、推理、评估及项目说明等模块压缩包总大小51.75MB目录结构便于按需查阅。目前已有44人浏览学习。从内容预览看包含torchvision相关C/CUDA算子源码与Shell辅助脚本便于深入调试与二次开发适合需要快速搭建错题识别系统或开展YOLO系列算法实验的读者。1. 这套错题切分系统凭什么比普通YOLO更值得做做过错题本数字化的人都有同感拍一张满是红笔批改、贴纸、水印和歪斜题号的卷面想让模型只把“题目区域”切出来远没有想象中顺利。普通YOLO在均匀分布的目标上很强但错题页恰恰是“密集、长宽比极端、目标边界模糊”的典型场景——同一道题可能跨栏出现题号被批改笔迹盖住半边相邻题目之间几乎没有留白。这时候用固定检测头去回归候选框经常把两题切在一起甚至把批注区域当成题目。这个项目的核心思路是用DyHead把多尺度特征融合的灵活性引入YOLOv11的检测头再配合一套按列排序与重叠合并的后处理规则把“题区域检测”变成“可落地的切分管线”。这套思路适合正在做试卷识别、错题采集、OCR预处理方向的人也适合想在自己数据集上把YOLOv11检测精度再往上推一把的工程师。2. 先交代DyHead为什么能补上YOLOv11在这类场景的短板2.1 错题页检测的难点到底在哪错题页和常规目标检测数据集最大的差别是目标没有“标准姿态”。常规检测里人、车、猫都有自己的典型外观和比例。错题区域的边界是由排版、字号、题号、留白共同决定的。同一个页面里有的题只有一行有的题占据三分之一页还有的题被两道批注夹在中间。YOLOv11的C3k2骨干网络和SPPF结构能提取多尺度特征但检测头对每个尺度特征是“平等看待”的。小目标那头关注纹理细节大目标那头关注语义信息错题区域需要的是“动态地决定该听谁的”——而这就是DyHead设计的出发点。DyHead的完整名字是Dynamic Head它把尺度感知、空间感知、任务感知三个注意力机制串联在检测头里。尺度感知用类似SE的注意力机制去加权不同level的特征图让模型自己学会“这道题要看浅层的边缘还是深层的语义”空间感知用稀疏注意力让每个位置关注其他位置对判断它有用处的上下文任务感知则用动态ReLU的风格让分类和回归两个分支各自拿到对自己更友好的特征表达。放到错题切分这个具体任务里最直接的好处是跨页长题不会被特征融合平均掉边界小字号题号也不会因为细节和语义信号打架而漏检。2.2 不改主干、只换头的工程收益很多做YOLOv11改进的人第一反应是动Backbone换注意力模块、换卷积但我要说一个相对务实的判断错题切分的数据量通常不会特别大改动主干会让预训练权重基本失效训练难度倍增。我一般建议把改动集中到Head部分。因为YOLOv11的检测头本身结构清晰每一个检测层有独立的卷积路径接入DyHead时不需要动C3k2和SPPF预训练权重中Backbone和Neck的部分可以完整加载训练收敛速度会快非常多。从部署角度看DyHead增加的显存开销集中在特征图加权计算上相比给Backbone增加一个注意力模块它在TensorRT和ONNX导出时的算子兼容性也更好。对Jetson Nano这类边缘设备DyHead的ExtraStage如果开启会带来额外延迟但如果关掉ExtraStage只保留尺度感知和空间感知整体推理速度基本与原始YOLOv11在同一个量级。这类“换头不换干”的改动是我更推荐给有落地压力的团队的。注意DyHead的实现版本很多有的魔改代码把三个attention模块全堆到Detect之前有的放在each level之后。选型时优先看结构清晰、能单独开关每个attention的版本方便做消融实验。2.3 配套的YOLOv11版本怎么选YOLOv11本身有几个变体n、s、m、l、x对应从轻量到高精度。错题切分这个场景我实测下来的结论是YOLOv11n当base精度确实欠一点特别是压缩后的小字题号容易漏YOLOv11s是性能和速度的平衡点考虑到切分系统后续要跑OCR模型的输出还要喂给后处理排序算法YOLOv11m更稳妥。不要在边缘设备上一上来就挑战YOLOv11x错题页的检测难度没有高到需要这个级别的模型容量换来的是Jetson上两倍以上的推理延迟。用YOLOv11s起步如果小目标漏检率超过5%再升级到m这是比较理性的路径。下面这段配置一个以YOLOv11s为baseline、加载YOLOv11m预训练权重做迁移的YAML是我常用的初始配置# yolov11s_dyhead.yaml —— 基于YOLOv11s做DyHead替换的最小配置 # 用m权重初始化s结构能让小目标检测头的特征表达起点更高 # 训练时关闭mosaic因为错题题区域往往横跨上下边界mosaic拼接反而制造伪边界 python train.py \ --model yolov11s_dyhead.yaml \ --pretrained yolov11m.pt \ --data mistakes.yaml \ --epochs 200 \ --batch 16 \ --imgsz 1280 \ --mosaic 0.0这个命令里imgsz 1280不是随便写的。错题页里的题号区域通常只有几十个像素宽输入分辨率降到640的话小目标特征在下采样后只剩不到十个像素DyHead的尺度感知注意力再强也拿不到有效信号。mosaic 0.0是为了防止跨样本拼接把题目边界切成几段。这样做的代价是训练速度变慢、显存占用增加但换来的是小目标召回率显著上升。3. 把DyHead装进YOLOv11结构改动和训练配置3.1 修改模型定义文件的三处关键位置以Ultralytics的工程结构为例接入DyHead需要在ultralytics/nn/modules/head.py里新增DynamicHead模块并且让Detect类的forward调用它。很多网上魔改代码喜欢把DyHead塞在model/yolo.py的parse_model里直接替换Detect但那样会导致detect的输入特征层格式不一致。更稳的做法是保留Detect的对外接口在其forward入口前加一道DyHead。# head.py 中新增的DyHead核心模块简化版 class DyHead(nn.Module): def __init__(self, in_channels, num_heads6): super().__init__() # 尺度感知对多尺度特征做加权本质是SE注意力 self.scale_attention nn.Sequential( nn.AdaptiveAvgPool2d(1), nn.Conv2d(in_channels, in_channels // 4, 1), nn.ReLU(inplaceTrue), nn.Conv2d(in_channels // 4, in_channels, 1), nn.Sigmoid() ) # 空间感知1x1卷积做空间注意力不引入额外超参 self.spatial_attention nn.Conv2d(in_channels, 1, 1) # 任务感知对分类/回归分支做动态激活 self.task_attention nn.Sigmoid() def forward(self, x): # x是list包含三个尺度的特征图 multi_scale torch.stack(x, dim0) # [num_levels, B, C, H, W] # 尺度维度上做注意力 scale_weight self.scale_attention( multi_scale.mean(dim(2, 3, 4), keepdimTrue) ) x [multi_scale[i] * scale_weight[:, i] for i in range(len(x))]这段代码的逻辑不复杂先把三个尺度的特征图在通道维度上做全局池化算出每个尺度对当前样本的重要程度然后乘回去。空间注意力采用1x1卷积相当于给每个像素位置学一个重要性分数。num_heads控制任务感知里的分组数错题检测里有“题号”和“题区域”两类目标任务冲突不算严重默认6组够用不要为了堆参数加到16训练容易早停不动。3.2 训练超参的四个必调项接入DyHead之后原来YOLOv11训练脚本里的四个参数需要单独调整。首先是lr0原始YOLOv11s默认学习率是0.01带DyHead的检测头收敛节奏更慢建议降到0.005不然前10个epoch loss震荡得很厉害。然后是lrf余弦退火的最终学习率系数从0.01改成0.001让末期的权重更新更细。第三个是box_loss权重DyHead会增强回归分支的梯度信号box权重从默认7.5降到5.0防止定位分支过度自信把小目标框震荡掉。最后是hsv_h错题采集时不同手机拍出来的色温偏差很大把色调增强从0.015调到0.05增加对偏色卷面的鲁棒性。# 训练启动脚本带DyHead的YOLOv11s完整参数 python train.py \ --model yolov11s_dyhead.yaml \ --data mistakes.yaml \ --epochs 300 \ --batch 16 \ --imgsz 1280 \ --optimizer AdamW \ --lr0 0.005 \ --lrf 0.001 \ --box 5.0 \ --cls 0.5 \ --dfl 1.5 \ --hsv_h 0.05 \ --patience 30patience 30也很关键DyHead在150到200个epoch之间会出现一个平台期loss几乎不动但之后会突然掉一截。如果patience设太小比如默认的100会在这个平台期提前保存权重错过后面更好的收敛点。optimizer AdamW对DyHead这类带注意力分支的模型比SGD更友好注意力权重的更新幅度小AdamW的自适应步长能避免梯度消失。当然显存不够时SGD也能跑只是需要把lr再调低三分之一。3.3 数据集标注的格式约定错题切分的目标类别建议只设两类question和question_number。很多人会加第三类answer想把答案解析区域也切出来但这是给自己挖坑。因为解析区域通常紧挨着题目检测框重叠严重后处理合并规则会变得极度复杂。我见过加了answer类的项目最终切分准确率反而下降6个百分点原因就是目标重叠导致的NMS误抑制。标注规则上question框要比题目印刷区域外扩5-10个像素把轻微倾斜的边界兜住。question_number框则标注题号数字的外接框不要包含顿号或括号。这个细节对切分排序至关重要——排序时先用题号的横坐标定位列再用纵坐标定序如果框里包含了顿号坐标会产生几个像素的抖动在密集排版下足以让排序错位。标注工具用LabelImg或X-AnyLabeling都行导出YOLO格式即可。数据增强方面错题页的干扰项主要来自红笔批改、水印、订正贴纸因此建议在训练时增加三类增强RandPerspective的度数在5度以内卷面倾斜是这个范围、CopyPaste关闭会把题目区域黏到别的图上制造假边界、Mosaic关闭前面已提到。Albumentations里的RandomBrightnessContrast开启幅度0.2模拟不同光照条件下的拍照效果。这些增强不增加标注成本但对错题切分这种边界敏感任务价值极大。4. 训练、验证与切分规则从检测框到干净题目图4.1 在千张级数据上快速验证DyHead是否有效错题页的数据集和通用检测数据集不同通常一个学生能提供的有效标注样本在几百张级别。这个量级下跑300个epoch验证集波动会很大所以评估要看两个指标的组合mAP0.5和Recall0.5。错题切分更关心漏检——漏掉一题学生那页的题目就不完整。相比之下多切一块区域的后处理更可控。# 验证脚本保存每张图的检测结果方便排查漏检模式 python val.py \ --model runs/train/exp/weights/best.pt \ --data mistakes.yaml \ --imgsz 1280 \ --conf 0.25 \ --iou 0.45 \ --save_json \ --save_conf验证时--save_json会把每张图的检测框坐标保存下来推荐配合--save_conf一起用。排查漏检时只看mAP数字不够需要把漏检样本框出来、按“排版密度高”、“红笔遮盖严重”、“题号字号小”分桶看哪类占比高。如果红笔遮盖类占比超过一半说明训练数据里这类样本不够需要去采集更多红笔批改的卷面而不是盲目加迭代轮数。4.2 切分规则列排序与重叠合并检测模型输出的是一堆带置信度的question框还不是可直接入库的“错题图”。要让这些框变成按顺序排列的题目列表需要两步后处理列排序和目标合并。错题页一般是单栏或双栏排版双栏时两列题目在版面上左右并列如果只按y坐标排序左右两栏的题会交叉排。正确做法是先按题号框或题目框的x中心聚类成列再在每个列内按y中心排序。# 切分排序算法按列优先排序 IOU重叠合并 import numpy as np def sort_and_merge(boxes, iou_thres0.5, col_gap_ratio0.3): boxes: np.array, shape(N,5)每行是 [x1, y1, x2, y2, conf] 返回排序后的题目区域列表 if len(boxes) 0: return [] # 1. 按x中心粗聚类成列双栏排版用单栏时所有框在一列 x_centers (boxes[:, 0] boxes[:, 2]) / 2 page_width boxes[:, 2].max() - boxes[:, 0].min() # 两栏的列间距通常是页宽的25%~45%取0.3作为列分隔阈值 col_labels np.zeros(len(boxes), dtypeint) col_id 0 for i in range(1, len(boxes)): if abs(x_centers[i] - x_centers[i-1]) page_width * col_gap_ratio: col_id 1 col_labels[i] col_id # 2. 每列内按y中心排序 result [] for col_id in np.unique(col_labels): col_boxes boxes[col_labels col_id] y_order np.argsort((col_boxes[:, 1] col_boxes[:, 3]) / 2) col_boxes col_boxes[y_order] # 3. 合并重叠区域如果一个框的中心落在另一个框的内部只保留大框 merged [] for box in col_boxes: if not merged: merged.append(box) continue last merged[-1] iou calc_iou(box, last) if iou iou_thres: if (box[2] - box[0]) * (box[3] - box[1]) (last[2] - last[0]) * (last[3] - last[1]): merged[-1] box else: merged.append(box) result.extend(merged) return result def calc_iou(box_a, box_b): x1 max(box_a[0], box_b[0]) y1 max(box_a[1], box_b[1]) x2 min(box_a[2], box_b[2]) y2 min(box_a[3], box_b[3]) inter_area max(0, x2 - x1) * max(0, y2 - y1) area_a (box_a[2] - box_a[0]) * (box_a[3] - box_a[1]) area_b (box_b[2] - box_b[0]) * (box_b[3] - box_b[1]) return inter_area / (area_a area_b - inter_area 1e-6)这段代码里的col_gap_ratio0.3是经验值如果你采集的错题页经常是单栏建议把阈值提高到0.5避免把左右两题误判成不同列。iou_thres0.5控制“同一道题被检测模型切成上下两段”时的合并强度错题页中跨页或跨栏的长题模型很可能给出多个框这时需要靠这个参数做区间合并。合并策略是“保大框”因为大框覆盖了更多题目内容而小框往往只是局部——这个策略是基于错题页的题目区域连续且完整这一假设在OCR后续处理前是合理的。4.3 切分效果的量化验证切分系统不能只看检测mAP还要看“一次切分成功率”。定义一个简单的评估指标每张试卷的标准题目数G切分结果数P匹配上且IOU大于0.7的算作成功匹配M。切分准确率 M/G切分完整率 M/P。这两者分别对应“有没有漏”和“有没有多切”。只有当准确率和完整率都超过95%时这套系统才算可以推到学生端。低于这个阈值后端OCR会频繁看到被截断或拼接的题目直接拉低整个错题本应用的体验。5. 踩坑记录从环境配置到推理部署的五个真实教训5.1 环境安装Ultralytics版本陷阱现象按网上教程pip install ultralytics之后训练能跑但自己改的DyHead代码报错提示Detect类参数数量不匹配。原因YOLOv11在8.3.0版本后重构了Detect类nc从初始化参数移到了__init__内部逻辑老代码直接失效。解决固定版本安装pip install ultralytics8.3.2并确保项目的requirements.txt锁死这个版本。不要追新Ultralytics每隔两周发一次小版本对魔改代码极不友好。5.2 Jetson Nano部署ONNX导出算子问题现象在PC上导出的ONNX模型在Jetson Nano的TensorRT上跑报错OP: [GridSample]。原因DyHead里的双线性插值采样部分实现用了F.grid_sample在TensorRT 8.x上不支持。解决检查自己用的DyHead实现如果里面有grid_sample替换成nn.functional.interpolate的版本或者直接把空间注意力改成普通卷积形式。Jetson Nano部署yolov11还有一个细节输出层如果带有nn.functional.softmax的变体TensorRT的--fp16开关下精度会掉建议先用FP32完成功能验证再考虑半精度。5.3 训练不收敛DyHead的多尺度特征stack顺序现象loss在前50个epoch不降反升判断是DyHead加入后梯度异常。原因有些DyHead魔改代码把特征图stack的顺序写反了P3小目标特征放在了索引0但loss计算时按P5大目标特征优先梯度传播对不上。解决在训练脚本里打印DyHead的输入特征shape确认符合[B, C, H/8, W/8]到[B, C, H/32, W/32]的排列P3是索引0P5是索引2。这个顺序在多数开源实现里搞反是网上YOLOv11改进教程里最隐蔽的坑。5.4 切分结果大量偏移标注框坐标系的四舍五入现象模型训练时mAP很好0.98但切出来的题目图位置整体偏右上偏移10个像素左右。原因标注工具导出的坐标是浮点数但内部某次转int时用round()而不是int(x)导致边界框统一向上取整。解决写一个数据清洗脚本把所有标注框的坐标统一转float并保留两位小数训练前再检查一遍labels目录下的txt文件。这类问题用肉眼很难察觉建议在数据集准备阶段加一个可视化抽查脚本把标注框画出来保存成jpg随机抽50张看一遍再开训。5.5 推理结果保存被遗忘的原始图像分辨率现象部署后保存的切分图比原图小一圈坐标对不上。原因模型输入imgsz 1280推理输出框坐标是640x640归一化坐标后处理时没有按原始图像尺寸做等比缩放。YOLOv11推理后保存结果有个常见误区——results[0].plot()直接用了letterbox后的坐标画图而不是原图。解决在推理脚本里显式调用result.boxes.xyxy.cpu().numpy() * scale_factorscale_factor original_size / model_input_size。这个问题会导致错题切分框整体偏移在边缘设备上更常见因为容易忽视预处理和解码的差异。注意错题页拍摄时的透视畸变和边缘畸变是切分正确率的天花板。手机广角镜头拍摄A4纸边缘的题区域实际是梯形的但检测框是矩形的。如果发现切分框整体偏移集中在纸张边缘不要调模型先去给手机装个文档扫描类的梯形校正功能。6. 把切分结果喂给OCR一个必须做的排版恢复技巧检测模型把题区域从卷面上一一框出来但下一个问题立马出现OCR阅读顺序和题目排版不一定一致。尤其是双栏错题页OCR引擎按阅读顺序会把文字逐行读取而不是按我们切分框的语义顺序输出。这时候不能直接把切分框里的图丢给OCR要先做“框内区域到文本行的重投影”。做法是把切分框的四个顶点坐标记录下来在OCR返回的文字行坐标上做一个仿射映射把文字行归属到对应的切分框ID上。# 将OCR识别的文字行归属到错题切分框 def assign_text_to_box(ocr_results, split_boxes): ocr_results: list of dict每个含text和poly字段 split_boxes: 切分后的题目区域框列表每个是 [x1, y1, x2, y2] 返回每个切分框对应的文本拼接结果 assignments [[] for _ in range(len(split_boxes))] for res in ocr_results: poly res[poly] # 取文字行的几何中心 cx sum(p[0] for p in poly) / 4 cy sum(p[1] for p in poly) / 4 # 归属到包含该中心点的最小切分框 best_idx, best_area -1, float(inf) for i, box in enumerate(split_boxes): x1, y1, x2, y2 box if x1 cx x2 and y1 cy y2: area (x2 - x1) * (y2 - y1) if area best_area: best_area area best_idx i if best_idx ! -1: assignments[best_idx].append(res[text]) return [ .join(assignments[i]) for i in range(len(split_boxes))]这段代码的价值在于它把检测模型定义的“矩形区域”和OCR引擎定义的“文本行”做了对齐。很多团队跑通了切分和识别但发现输出的题目文字顺序是乱的就是因为少了这一步归属。best_area条件用来处理文字行恰好落在两个切分框边界的情况——归属到面积更小的框通常更准因为小框一般对应单题区域大框的语义范围更宽松。验证逻辑上建议每次跑完一个错题页把切分框、OCR文字行归属结果叠加到原图上存一份HTML预览。肉眼快速扫一遍如果两道题的文字互相穿插优先检查列排序的col_gap_ratio参数其次检查合并阈值大概率是这两个参数在特定页面上失效了。纯看结果数字很难定位问题可视化预览是这套方案里最值得花半个小时搭建的调试工具。我在自建数据集上把这套方案完整跑通过之后最大的习惯变化是每次训练完不直接看mAP而是固定挑那张最难的双栏红笔批改卷看切分后的题目顺序和完整度——一个反例比一堆曲线都更能说明模型到底有没有进步。这个习惯也帮我最快发现了DyHead输入顺序、坐标缩放和列间距这三个坑希望这套路径能帮你少走几趟。错题自动切分系统的落地价值不在于单张图切得有多准而在于整页错题的排列是否稳定可复现——稳定了OCR、错题归档、知识点推荐才有可靠地基。希望帮到你。本文还有配套的精品资源点击获取