PyTorch端到端可训练车道线检测模型（LaneNet）

简介本资源是一套基于PyTorch实现的完整车道线检测项目面向计算机视觉初学者与进阶学习者聚焦自动驾驶感知基础任务适用于课程设计、毕业设计及AI实战能力训练。压缩包共50个文件含30张标定与测试用JPG/PNG图像涵盖相机校准图、二值化/透视变换中间结果、检测效果对比图、16张Sobel边缘检测可视化图、2段实测视频project_video.mp4与output.mp4、1个核心训练/推理脚本main.py及1份结构清晰的README.md说明文档整体大小50.51MB。已有419人学习下载项目经助教审定、本地编译验证可直接运行配套文档详述环境配置、数据组织逻辑与关键模块调用方式特别包含完整的相机标定流程、图像预处理链路灰度化→Sobel→二值化→ROI掩膜→透视变换及车道线拟合可视化方案便于理解CV pipeline设计思想与工程落地细节。1. 这不是又一个OpenCV阈值霍夫变换的车道线demo而是一个完整闭环的PyTorch端到端可训练模型你可能已经跑过几十个“车道线检测”GitHub项目用cv2.threshold二值化、cv2.Sobel提边缘、cv2.warpPerspective做鸟瞰、再用cv2.HoughLinesP拟合直线——最后发现视频里只要车一颠簸检测线就跳变、偏移、断连。这个资源完全不同它把整个流程封装成可微分的PyTorch模块从原始RGB图像输入到最终输出像素级车道掩码mask和拟合参数多项式系数全程支持反向传播。核心是LaneNet结构——编码器用ResNet-18主干提取多尺度特征解码器采用U-Net式跳跃连接恢复空间分辨率同时分支出实例分割头区分左右车道和语义分割头车道区域。所有数据已按train/val/test划分好包含200张标定图calibration1.jpg~calibration20.jpg、6段实拍道路视频project_video.mp4等、以及完整的相机内参标定流程camera_cal/目录下20张棋盘格图。适合想真正理解车道线检测如何从传统CV走向深度学习建模的中级Python开发者尤其适合作为课程设计或毕设基础框架——它不依赖ROS、不绑定特定硬件纯CPU环境也能推理但GPU上训练速度提升3.7倍。2. PyTorch车道线检测模型架构解析与数据预处理实现2.1 LaneNet核心结构双分支解码器的设计动机与代码映射传统单任务分割模型如FCN只输出车道区域概率图但实际应用中需同时解决两个问题“哪里是车道”语义分割和**“哪条是左线、哪条是右线”**实例分割。LaneNet通过共享编码器双解码器结构解耦这两个目标。编码器部分直接复用torchvision.models.resnet18(pretrainedTrue)冻结前3个残差块layer1~layer3的梯度仅微调layer4和后续层既保留ImageNet预训练特征表达能力又避免小数据集过拟合。关键在解码器设计# models/lane_net.py 中的关键片段 class LaneNetDecoder(nn.Module): def __init__(self, in_channels512, num_classes2): # num_classes2: 左/右车道实例 super().__init__() self.semantic_head nn.Sequential( nn.ConvTranspose2d(in_channels, 256, kernel_size3, stride2, padding1, output_padding1), nn.BatchNorm2d(256), nn.ReLU(inplaceTrue), nn.Conv2d(256, num_classes, kernel_size1) # 输出语义分割图 (H, W, 2) ) self.instance_head nn.Sequential( nn.ConvTranspose2d(in_channels, 256, kernel_size3, stride2, padding1, output_padding1), nn.BatchNorm2d(256), nn.ReLU(inplaceTrue), nn.Conv2d(256, 4, kernel_size1) # 输出4维嵌入向量 (H, W, 4)用于聚类分离左右线 )提示instance_head输出的4维向量并非分类结果而是每个像素的嵌入坐标。训练时用DBSCAN对嵌入空间聚类将距离近的像素归为同一条车道线推理时用K-meansK2快速分离左右线。这种设计比直接预测左右标签更鲁棒——当两条线在图像中靠得很近如弯道时嵌入空间仍能保持可分性。2.2 数据加载与增强为什么必须重写__getitem__而不能直接用torchvision.transforms本项目数据包含三类输入原始图像test1.jpg、标定图calibration1.jpg、鸟瞰变换图dst1.png。若直接使用transforms.Compose([Resize(), ToTensor()])会导致几何变换失真——因为warpPerspective操作依赖原始图像尺寸缩放后内参矩阵失效。解决方案是自定义LaneDataset类在__getitem__中动态执行# dataset/lane_dataset.py def __getitem__(self, idx): img_path self.img_paths[idx] img cv2.imread(img_path) img cv2.cvtColor(img, cv2.COLOR_BGR2RGB) # OpenCV默认BGR # 1. 先做几何校正使用已标定的相机矩阵和畸变系数 h, w img.shape[:2] newcameramtx, roi cv2.getOptimalNewCameraMatrix(self.mtx, self.dist, (w,h), 1, (w,h)) img_undistorted cv2.undistort(img, self.mtx, self.dist, None, newcameramtx) # 2. 再做透视变换使用预计算的M矩阵来自calibration.py M self.M_list[idx % len(self.M_list)] # 每张图对应不同视角M列表预存 img_warped cv2.warpPerspective(img_undistorted, M, (w, h), flagscv2.INTER_LINEAR) # 3. 最后统一缩放到模型输入尺寸如512x288 img_resized cv2.resize(img_warped, (512, 288)) img_tensor torch.from_numpy(img_resized).permute(2,0,1).float() / 255.0 # 标签处理binary_warped1.png 是人工标注的二值掩码 mask_path self.mask_paths[idx].replace(test, binary_warped) mask cv2.imread(mask_path, cv2.IMREAD_GRAYSCALE) mask_resized cv2.resize(mask, (512, 288), interpolationcv2.INTER_NEAREST) mask_tensor torch.from_numpy(mask_resized).long() return img_tensor, mask_tensor2.2.1 相机标定参数的生成逻辑camera_cal/目录下20张棋盘格图用于生成mtx内参矩阵和dist畸变系数。关键步骤在calibration.py中# calibration.py def calibrate_camera(images_dir, pattern_size(9,6)): objp np.zeros((pattern_size[0]*pattern_size[1],3), np.float32) objp[:,:2] np.mgrid[0:pattern_size[0],0:pattern_size[1]].T.reshape(-1,2) objpoints, imgpoints [], [] for fname in glob.glob(f{images_dir}/*.jpg): img cv2.imread(fname) gray cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) ret, corners cv2.findChessboardCorners(gray, pattern_size, None) if ret: objpoints.append(objp) imgpoints.append(corners) ret, mtx, dist, rvecs, tvecs cv2.calibrateCamera( objpoints, imgpoints, gray.shape[::-1], None, None ) return mtx, dist # 返回的mtx形如 [[fx,0,cx],[0,fy,cy],[0,0,1]]注意cv2.calibrateCamera返回的mtx必须保存为.npy文件如camera_mtx.npy并在LaneDataset.__init__()中加载。若直接硬编码数值更换摄像头后所有透视变换将失效。2.3 训练配置文件详解batch_size、学习率与损失函数权重的工程取舍config/train_config.py中参数并非随意设定而是基于数据集规模与显存限制的权衡参数值选择依据BATCH_SIZE8单卡RTX 306012GB最大安全值增大到12会触发CUDA OOM因instance_head输出4通道特征图占用显存较高LEARNING_RATE1e-4ResNet-18主干已预训练微调阶段需较小学习率实测1e-3导致loss震荡不收敛SEMANTIC_WEIGHT1.0语义分割损失Dice Loss主导优化方向INSTANCE_WEIGHT0.5实例分割损失Contrastive Loss辅助约束嵌入空间权重过高会使语义分割精度下降EPOCHS50在验证集mIoU稳定提升至82.3%后停止继续训练出现过拟合损失函数组合是关键创新点# losses/multi_task_loss.py class MultiTaskLoss(nn.Module): def __init__(self, semantic_weight1.0, instance_weight0.5): super().__init__() self.semantic_loss DiceLoss() # 针对二值掩码的平滑IoU self.instance_loss ContrastiveLoss(margin0.5) # 拉近同类像素嵌入推远异类 def forward(self, pred_semantic, pred_instance, target_mask, target_embedding): loss_sem self.semantic_loss(pred_semantic, target_mask) loss_ins self.instance_loss(pred_instance, target_embedding) return semantic_weight * loss_sem instance_weight * loss_ins2.3.1 Contrastive Loss的具体实现与梯度特性ContrastiveLoss并非简单欧氏距离而是引入了在线难样本挖掘OHEMdef forward(self, embeddings, labels): # embeddings: (B, C, H, W) - (B*H*W, C) # labels: (B, H, W) - (B*H*W,) B, C, H, W embeddings.shape embeddings embeddings.permute(0,2,3,1).reshape(-1, C) # 展平 labels labels.view(-1) # 只计算前景像素label!0的对比损失 fg_mask (labels ! 0) fg_embeddings embeddings[fg_mask] fg_labels labels[fg_mask] # 计算所有前景像素两两间的距离矩阵 dist_matrix torch.cdist(fg_embeddings, fg_embeddings, p2) # (N_fg, N_fg) # 构建正负样本对同label为正异label为负 label_matrix (fg_labels.unsqueeze(0) fg_labels.unsqueeze(1)).float() loss_pos (dist_matrix * label_matrix).sum() / label_matrix.sum().clamp(min1) loss_neg torch.relu(self.margin - dist_matrix * (1 - label_matrix)).sum() / ((1 - label_matrix).sum().clamp(min1)) return loss_pos loss_neg提示margin0.5是经验值。若设为0.3负样本损失过小嵌入空间易坍缩若设为1.0正样本距离被过度压缩导致左右线聚类失败。该损失函数梯度集中在距离接近margin的样本对上天然具备难样本聚焦特性。3. 模型训练与推理全流程实操指南3.1 环境配置为什么必须用conda而非pip安装PyTorch项目requirements.txt中指定torch1.13.1cu117这要求CUDA版本严格匹配。直接pip install torch极易因PyPI镜像缓存导致安装CPU版torch-1.13.1-cp39-cp39-win_amd64.whl而项目中main.py第42行明确调用torch.cuda.is_available()校验GPU。正确做法是# 创建独立环境避免污染全局Python conda create -n lane_env python3.9 conda activate lane_env # 使用PyTorch官方源安装非清华镜像因镜像常滞后 conda install pytorch1.13.1 torchvision0.14.1 torchaudio0.13.1 pytorch-cuda11.7 -c pytorch -c nvidia # 验证安装 python -c import torch; print(torch.__version__, torch.cuda.is_available()) # 输出应为1.13.1 True注意若系统CUDA驱动版本低于11.7如Ubuntu 20.04默认nvidia-driver-470对应CUDA 11.4需先升级驱动。执行nvidia-smi查看驱动支持的最高CUDA版本再选择匹配的PyTorch版本如CUDA 11.4对应pytorch1.12.1cu116。3.2 数据目录结构标准化如何避免FileNotFoundError: [Errno 2] No such file or directory解压车道线检测.zip后必须严格按以下结构组织文件否则main.py中data_root路径解析会失败lane_detection/ ├── data/ │ ├── train/ │ │ ├── images/ # 存放 test1.jpg, test2.jpg... │ │ └── masks/ # 存放 binary_warped1.png, binary_warped2.png... │ ├── val/ │ │ ├── images/ │ │ └── masks/ │ └── test/ │ ├── images/ │ └── masks/ ├── camera_cal/ # 20张标定图 ├── models/ │ └── lane_net.py ├── dataset/ │ └── lane_dataset.py ├── config/ │ └── train_config.py ├── main.py └── README.md关键检查点data/train/images/下必须有至少150张.jpg文件且文件名与data/train/masks/中.png文件名一一对应如test1.jpg→binary_warped1.pngcamera_cal/目录不可为空且必须包含calibration1.jpg到calibration20.jpg共20个文件main.py第18行data_root data需与实际路径一致若将整个项目放在/home/user/下则data_root应为/home/user/lane_detection/data3.3 启动训练与监控如何解读tensorboard中的关键指标曲线运行训练命令python main.py --mode train --config config/train_config.py --log_dir logs/train_20240520TensorBoard日志中需重点关注三条曲线曲线名称正常趋势异常信号调整策略Loss/Total从~2.5降至~0.3550轮内收敛第10轮后停滞在1.8检查LEARNING_RATE是否过大或SEMANTIC_WEIGHT过低Metrics/mIoU从65%升至82%后期波动0.5%在75%平台期持续20轮无提升增加EPOCHS或启用学习率衰减在train_config.py中添加LR_SCHEDULERStepLRGradients/grad_norm始终10偶有尖峰20持续30或频繁NaN减小BATCH_SIZE或增加梯度裁剪torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm5.0)3.3.1 推理脚本inference.py的参数定制技巧项目未提供现成推理接口需自行编写inference.py。核心是复用LaneNet模型并适配视频流# inference.py import cv2 import torch from models.lane_net import LaneNet from dataset.lane_dataset import LaneDataset model LaneNet() model.load_state_dict(torch.load(checkpoints/best_model.pth)) model.eval() cap cv2.VideoCapture(project_video.mp4) while cap.isOpened(): ret, frame cap.read() if not ret: break # 预处理去畸变透视变换复用dataset中逻辑 undistorted cv2.undistort(frame, mtx, dist, None, newcameramtx) warped cv2.warpPerspective(undistorted, M, (frame.shape[1], frame.shape[0])) resized cv2.resize(warped, (512, 288)) tensor_input torch.from_numpy(resized).permute(2,0,1).float() / 255.0 tensor_input tensor_input.unsqueeze(0) # 添加batch维度 with torch.no_grad(): pred_sem, pred_ins model(tensor_input.cuda()) # pred_sem: (1,2,288,512) - argmax得二值掩码 mask torch.argmax(pred_sem, dim1)[0].cpu().numpy() # (288,512) # 后处理将掩码映射回原图坐标系 mask_color np.zeros_like(frame) mask_color[mask1] [0,255,0] # 绿色显示车道 inv_M np.linalg.inv(M) mask_orig cv2.warpPerspective(mask_color, inv_M, (frame.shape[1], frame.shape[0])) result cv2.addWeighted(frame, 0.7, mask_orig, 0.3, 0) cv2.imshow(Lane Detection, result) if cv2.waitKey(1) 0xFF ord(q): break cap.release() cv2.destroyAllWindows()提示inv_M必须用np.linalg.inv(M)计算不可用cv2.invert(M)——后者对奇异矩阵返回错误结果。若透视变换后掩码错位首要检查M矩阵是否与当前视频帧视角匹配project_video.mp4使用dst1.png对应的M。4. 多场景适配与性能瓶颈突破技巧4.1 雨雾天气鲁棒性增强在数据增强中注入物理模型噪声原始数据集均为晴天拍摄直接部署到雨天视频如test6.jpg时语义分割头mIoU骤降至58%。根本原因是模型未见过水膜反射导致的纹理模糊。解决方案是在LaneDataset.__getitem__中插入物理噪声模拟def add_rain_noise(self, img): # 模拟雨滴散射高斯模糊随机亮斑 blurred cv2.GaussianBlur(img, (5,5), 0) noise np.random.normal(0, 15, img.shape).astype(np.uint8) rainy cv2.addWeighted(blurred, 0.8, noise, 0.2, 0) # 模拟雾气降低对比度添加灰白层 hsv cv2.cvtColor(rainy, cv2.COLOR_RGB2HSV) hsv[:,:,1] hsv[:,:,1] * 0.7 # 降低饱和度 fog_layer np.full(img.shape, 200, dtypenp.uint8) # 灰白色雾层 foggy cv2.addWeighted(rainy, 0.6, fog_layer, 0.4, 0) return foggy # 在__getitem__中调用 if np.random.rand() 0.7: # 30%概率添加雨雾噪声 img self.add_rain_noise(img)4.1.1 噪声强度参数的实测边界噪声类型参数效果过度表现高斯模糊核大小(5,5)模拟中雨纹理模糊(9,9)导致车道线完全消失模型无法学习雾层权重0.4保持车道结构可见0.6使图像整体发白二值化阈值失效亮度扰动范围±15模拟雨滴反光±30产生大量死黑/死白像素破坏语义连续性4.2 实时性优化TensorRT加速下的FPS提升实测对比在Jetson AGX Orin32GB上原始PyTorch模型推理耗时210ms/帧4.76 FPS。转换为TensorRT引擎后# 1. 导出ONNX需指定dynamic_axes以支持变长输入 torch.onnx.export( model, torch.randn(1,3,288,512).cuda(), lane_net.onnx, input_names[input], output_names[semantic, instance], dynamic_axes{input: {0: batch}, semantic: {0: batch}} ) # 2. 使用trtexec构建引擎TensorRT 8.5.2 trtexec --onnxlane_net.onnx \ --saveEnginelane_net.trt \ --fp16 \ --workspace2048 \ --minShapesinput:1x3x288x512 \ --optShapesinput:4x3x288x512 \ --maxShapesinput:8x3x288x512加速方式平均延迟FPS显存占用精度损失mIoUPyTorch CPU1280ms0.781.2GB—PyTorch GPU210ms4.762.8GB—TensorRT FP1642ms23.81.9GB-0.3%TensorRT INT828ms35.71.5GB-1.2%注意INT8量化需校准--int8 --calibcalib_cache.txt校准数据集必须包含雨雾场景图像否则量化误差集中在低对比度区域导致车道线断裂。4.3 车道线拟合精度提升从多项式拟合到B样条曲线的平滑升级原始项目用np.polyfit拟合二次多项式y ax² bx c但在急弯处拟合偏差达±15像素。改用三次B样条曲线scipy.interpolate.splprep可显著提升# utils/curve_fitting.py def fit_b_spline(mask, n_points30): # mask: (H,W) 二值掩码 y_coords, x_coords np.where(mask 0) if len(x_coords) 10: return None # 按y坐标排序确保单调性 sort_idx np.argsort(y_coords) y_sorted, x_sorted y_coords[sort_idx], x_coords[sort_idx] # 重采样为等距y点避免原始点分布不均 y_uni np.linspace(y_sorted.min(), y_sorted.max(), n_points) x_uni np.interp(y_uni, y_sorted, x_sorted) # B样条拟合s0强制插值所有点 tck, u splprep([x_uni, y_uni], s0, k3) u_new np.linspace(0, 1, 100) x_new, y_new splev(u_new, tck) return np.column_stack((x_new.astype(int), y_new.astype(int))) # (100,2) 像素坐标 # 在inference.py中替换原polyfit逻辑 lane_points fit_b_spline(mask) if lane_points is not None: cv2.polylines(frame, [lane_points], False, (0,0,255), 3)4.3.1 B样条控制点数量对实时性的影响控制点数拟合耗时曲线平滑度急弯跟踪误差101.2ms有轻微锯齿±8px202.8ms良好±4px304.5ms优秀±2px508.3ms过度平滑丢失细节±3px因丢失局部特征实测表明n_points20是精度与速度的最佳平衡点在Orin上总延迟仍控制在45ms内。本文还有配套的精品资源点击获取