船舶识别数据集选型与采砂检测模型部署全流程实战

简介这份船舶识别数据集面向计算机视觉开发者与采砂监管系统研发人员用于训练和测试船舶目标检测模型解决非法采砂场景下船只自动识别与分类的问题。资源包共2000个文件以1841张jpg与158张png图像为主另含1个json标注文件压缩包约228.85MB图像尺寸多为800×240标注涵盖大型、中型、小型与巨型四类船只适合直接用于模型训练与验证。目前已有155人学习下载可作为环境监管与智能监控方向的入门到进阶实践素材。读者可借助这批标注数据搭建采砂船只检测流程理解多尺度船舶目标的标注组织方式并在此基础上完成模型微调、类别平衡与精度评估为后续部署监控系统提供可复用的数据基础与实验参照。1. 船舶识别数据集怎么选采砂检测场景下的第一道分水岭内河和近海采砂监管最头疼的不是没有摄像头而是摄像头拍到了船却分不清哪条是正常运输船、哪条是偷偷作业的采砂船。船舶识别数据集就是用来训练模型完成这个区分任务的图像集合它通常包含不同光照、不同角度、不同船型的标注样本直接决定了后续采砂检测系统能不能落地。很多人拿到一个公开数据集就急着跑 YOLO结果 mAP 看着不错一上真实河道就翻车——因为公开数据里的船大多是远洋货轮和游艇跟内河采砂场景里的自卸砂船、吸砂船、运砂驳船完全不是一回事。这篇笔记就围绕“船舶识别数据集用于部署采砂检测”这条线把选数据集、清洗标注、训练调参、部署验证的完整路径拆开讲适合正在做水域监控、河道执法信息化、边缘视觉部署的工程师参考。2. 采砂检测到底需要什么样的船舶数据从任务反推数据集规格2.1 采砂检测和通用船舶识别的任务差异通用船舶识别数据集的目标通常是“把船找出来并分类”类别体系可能是货船、渔船、客船、军舰这种粗粒度划分。但采砂检测的业务逻辑完全不同它要回答的是“这条船是不是在非法采砂”。这个判断依赖的不只是船的类型还包括船的姿态和行为特征。比如一条自卸砂船停在河道中央船尾有传送带伸出水面旁边还有一条小船靠帮这种组合在采砂场景里就是高度可疑信号。而通用数据集里根本不会有“传送带展开状态”“靠帮作业”这类标注。所以从任务反推采砂检测用的船舶数据集至少需要满足三个条件第一类别体系要包含采砂作业相关船型常见做法是分为采砂船、运砂船、普通货船、其他船只四类第二标注粒度要细到能区分船体关键部件比如采砂管、传送带、抓斗这些作业装置第三场景分布要覆盖目标水域的实际条件包括夜间红外、雾天、逆光、岸边遮挡这些让模型集体翻车的硬骨头。我一般会先拿目标水域的监控截图做一轮人工统计看看画面里出现的船型比例、常见角度、光照分布然后再去比对候选数据集。如果某个数据集里 80% 的样本都是晴天正午的远洋货轮那它对你这个采砂项目的价值就很有限不如自己标几百张。2.2 数据集规格清单图像分辨率、标注格式与类别体系确定任务差异之后下一步是把需求翻译成可检查的数据集规格。下面这张表是我在多个水域监控项目里总结出来的最低要求可以直接拿去比对候选数据集。维度最低要求推荐值说明图像分辨率1920×10802560×1440低于 1080P 时采砂管等细长目标会糊成一条线单帧船舶数量1~5 条1~8 条采砂场景通常不会出现几十条船同框类别数4 类6 类采砂船、运砂船、货船、其他、作业装置、人员标注格式YOLO txtCOCO json如果后续要转格式优先选 COCO 保留更多元信息夜间样本占比≥15%≥25%采砂作业高发时段在凌晨夜间样本不能太少遮挡样本占比≥10%≥20%岸边树木、桥梁、其他船只遮挡是常态最小标注框32×32 像素48×48 像素太小的框训练时容易被忽略这张表里最容易被忽视的是夜间样本占比和最小标注框。很多公开船舶数据集的夜间样本不到 5%直接拿来训练采砂检测模型到了凌晨时段召回率会掉到 50% 以下。最小标注框的问题更隐蔽采砂管在 1080P 画面里可能只有 40 像素宽如果标注时随手画个大框把整条船框进去模型学到的就是“船”而不是“采砂管”部署时根本没法触发报警。2.3 公开数据集与自建数据的取舍策略公开船舶数据集不是不能用关键是怎么用。我的策略是“公开数据预训练 自建数据微调”。公开数据集负责让模型学会“船”的基本特征——船体轮廓、水面纹理、常见角度这部分知识是通用的。自建数据负责教会模型“采砂船长什么样”“采砂管在哪个位置”“什么姿态算作业中”这部分是业务专属的。具体操作上我会先用公开数据集训练一个基础检测器然后在目标水域采集 500~1000 张图做微调。微调时冻结 backbone 的前几层只训练 neck 和 head学习率设为基础训练的十分之一。这样既能利用公开数据的泛化能力又能快速适配本地场景。如果目标水域的船型特别特殊比如某些地区特有的吸砂船那自建数据的比例还要再提高公开数据只作为正则化手段。提示自建数据标注时建议用 LabelImg 或 CVAT 这类工具标注完立刻做一轮交叉检查。采砂管的标注框要贴着管体画不要为了省事框住整条船。3. 从原始标注到可训练格式转换脚本与四个边界坑3.1 用 Python 把 COCO 标注转成 YOLO 格式假设你拿到的公开数据集是 COCO 格式的 json 标注而训练框架用的是 YOLO 系列那就需要做格式转换。下面这个脚本是我常用的版本处理了类别映射、坐标归一化和空标注过滤。import json import os from pathlib import Path # 类别映射把 COCO 的 category_id 映射到 YOLO 的 0~N-1 CATEGORY_MAP { 1: 0, # 采砂船 2: 1, # 运砂船 3: 2, # 普通货船 4: 3, # 其他船只 5: 4, # 采砂管/传送带 6: 5, # 人员 } def coco_to_yolo(coco_json_path, output_dir, img_width1920, img_height1080): with open(coco_json_path, r, encodingutf-8) as f: data json.load(f) # 建立 image_id 到文件名的映射 img_id_to_info {img[id]: img for img in data[images]} # 按 image_id 分组标注 from collections import defaultdict anns_by_img defaultdict(list) for ann in data[annotations]: anns_by_img[ann[image_id]].append(ann) output_path Path(output_dir) output_path.mkdir(parentsTrue, exist_okTrue) for img_id, anns in anns_by_img.items(): img_info img_id_to_info[img_id] w img_info.get(width, img_width) h img_info.get(height, img_height) lines [] for ann in anns: cat_id ann[category_id] if cat_id not in CATEGORY_MAP: continue # 跳过不需要的类别 x, y, bw, bh ann[bbox] # COCO 格式左上角 x,y 宽高 # 转成 YOLO 格式中心点 x,y 宽高全部归一化 cx (x bw / 2) / w cy (y bh / 2) / h nw bw / w nh bh / h # 过滤掉宽高为 0 的脏标注 if nw 0 or nh 0: continue lines.append(f{CATEGORY_MAP[cat_id]} {cx:.6f} {cy:.6f} {nw:.6f} {nh:.6f}) if not lines: continue # 没有有效标注的图不生成 label 文件 stem Path(img_info[file_name]).stem with open(output_path / f{stem}.txt, w) as f: f.write(\n.join(lines)) print(f转换完成共处理 {len(anns_by_img)} 张图) if __name__ __main__: coco_to_yolo(annotations/instances_train.json, labels/train)这段代码的逻辑分四步先读 COCO json 建立 image_id 到图像信息的索引再按 image_id 把标注分组然后逐条把 COCO 的左上角坐标转成 YOLO 的中心点坐标并归一化最后过滤掉无效标注并写出 txt 文件。参数方面CATEGORY_MAP要根据你实际数据集的类别 id 调整不能直接抄img_width和img_height是兜底值当 json 里没有记录图像尺寸时才会用到。转换完成后一定要抽查几个 txt 文件确认坐标数值在 0~1 之间类别 id 从 0 开始连续。3.2 四个边界坑空标注、越界框、类别不连续、文件名冲突格式转换看着简单但实际做的时候有四个坑几乎每次都会踩。第一个坑是空标注图片。COCO 里有些图片没有任何标注转换后不会生成对应的 txt 文件。如果训练时按图片列表读取这些图会被当成负样本但 YOLO 默认要求每张图都有对应的 label 文件否则直接报错。解决办法是在转换脚本里对没有标注的图生成一个空 txt 文件或者在训练配置里开启允许空标签的选项。第二个坑是越界框。有些标注的 bbox 坐标超出了图像边界比如 x 为负数或者 xbw 大于图像宽度。转成 YOLO 格式后中心点可能跑到 0~1 之外训练时虽然不会报错但会导致损失计算异常。稳妥做法是在转换时做一次裁剪把 bbox 限制在图像范围内裁剪后宽高小于 2 像素的直接丢弃。第三个坑是类别不连续。COCO 的 category_id 可能是 1、3、5、7 这种跳号直接拿来当 YOLO 的类别索引会出问题。必须像上面脚本那样建一个映射表把原始 id 映射到 0 开始的连续整数。映射完还要检查一遍确认没有遗漏的类别。第四个坑是文件名冲突。不同子目录下可能有同名图片比如img_001.jpg在白天和夜间文件夹里各有一张。转换时如果只取文件名做 stem后写的会覆盖先写的。解决办法是在输出文件名里加上子目录前缀或者在转换前先做一轮重命名。注意转换完成后用ls labels/train | wc -l和ls images/train | wc -l对比数量两者应该一致。不一致就说明有空标注或文件名冲突的问题。4. 训练采砂检测模型的参数怎么设从 anchor 到学习率4.1 用 YOLOv8 在自建船舶数据集上跑通第一个 baseline格式转换完之后下一步是跑通一个 baseline。我一般用 YOLOv8n 或 YOLOv8s 起步因为采砂检测的类别数不多小模型足够用而且边缘设备部署压力小。下面是一个最小可运行的训练命令和配置。# 安装 ultralytics pip install ultralytics # 准备 data.yaml内容如下 cat data.yaml EOF path: /data/ship_dataset train: images/train val: images/val nc: 6 names: [dredger, sand_carrier, cargo, other, pipe, person] EOF # 启动训练 yolo detect train \ modelyolov8s.pt \ datadata.yaml \ epochs100 \ imgsz640 \ batch16 \ lr00.01 \ lrf0.01 \ patience20 \ device0 \ projectruns/ship \ namebaseline这个命令里几个关键参数需要根据你的数据情况调整。imgsz640是默认值但如果你的采砂管在画面里很细建议提到 960 或 1280代价是显存占用和训练时间增加。batch16在 8GB 显存上跑 640 分辨率基本够用如果 OOM 就降到 8。lr00.01是初始学习率自建数据量小于 2000 张时建议降到 0.005避免过拟合。patience20表示验证集指标 20 轮不提升就早停这个值在采砂检测任务里比较合适因为夜间样本少模型容易在某个阶段震荡。训练启动后重点看三个指标metrics/mAP50看整体检测能力metrics/mAP50-95看定位精度val/box_loss看验证集损失是否发散。如果 mAP50 在 60 轮左右还在涨但 box_loss 开始上升说明过拟合了应该提前停。4.2 anchor 尺寸和输入分辨率的联动调整YOLOv8 默认是 anchor-free 的不需要手动设 anchor但输入分辨率的选择会直接影响小目标的检测效果。采砂管、缆绳、人员这些目标在原图里可能只占几十个像素如果统一缩放到 640到了网络深层特征图上就只剩几个像素很容易被忽略。我的做法是先把数据集里所有标注框的宽高统计出来看最小的一批集中在什么范围。如果 5% 分位数在 32 像素以下那 640 分辨率肯定不够至少要上 960。如果显存不够可以改用切片推理的策略训练时用 640推理时把大图切成 640×640 的小块分别检测再合并结果。这样既能控制训练成本又能保住小目标召回。另一个联动参数是multi_scale数据增强。开启后每轮训练会随机缩放输入尺寸让模型适应不同距离的船只。采砂场景里船离摄像头的距离变化很大这个增强很有用。但要注意如果数据集本身分辨率就不高multi_scale 的下限不要设得太低否则小目标会糊到无法识别。4.3 学习率调度和早停策略在船舶数据上的实际表现学习率调度方面YOLOv8 默认用余弦退火从lr0降到lrf。在船舶数据集上我一般把lrf设成 0.01也就是最终学习率是初始值的百分之一。如果数据集里夜间样本少可以把lrf再调低到 0.005让模型在后期更稳定地收敛。早停策略要结合验证集的实际表现来定。采砂检测的验证集最好按时间段划分比如用白天数据训练用夜间数据验证这样能真实反映模型在困难场景下的泛化能力。如果随机划分白天和夜间样本混在一起验证指标会虚高部署时才发现夜间漏检严重。还有一个容易被忽视的点是类别权重。如果采砂船样本只有几百张而普通货船有几千张模型会偏向多数类。可以在 data.yaml 里加cls_weights参数给采砂船类别更高的权重或者在数据加载时做重采样。我一般先跑一轮不加权重的 baseline看混淆矩阵里采砂船被误判成货船的比例如果超过 20% 就加权重再训一轮。5. 部署采砂检测模型时最容易翻车的五个地方5.1 现象白天召回 95%夜间掉到 40%原因训练集里夜间样本占比太低模型没学过夜间船舶的纹理和光照特征。另外如果夜间用的是红外摄像头图像是灰度且对比度低和白天彩色图像的分布差异很大直接混在一起训练会让模型困惑。解决单独采集夜间红外图像做微调或者在训练时对白天图像做灰度化和对比度扰动增强让模型提前适应。更彻底的做法是白天和夜间各训一个模型推理时根据时间或图像亮度切换。5.2 现象模型把水面反光当成采砂管原因采砂管是细长目标水面波纹和反光也是细长纹理如果标注时采砂管样本太少模型会把两者混淆。另外如果标注框画得太松把周围水面也框进去模型学到的就是“细长纹理”而不是“管状物体”。解决增加采砂管的正样本数量标注时紧贴管体画框。训练时开启mosaic和copy_paste增强增加细长目标的出现频率。推理时把置信度阈值从 0.25 提到 0.4过滤掉低置信度的反光误检。5.3 现象两条船靠帮作业时只检出一条原因NMS 后处理时两条船的重叠区域超过阈值其中一条被抑制掉了。采砂场景里靠帮作业是常见姿态这个问题不解决会漏掉关键证据。解决调高 NMS 的 IoU 阈值从默认的 0.45 提到 0.6 或 0.7。如果还是漏检可以改用 Soft-NMS它不会直接删除重叠框而是降低其置信度。另外训练时增加靠帮作业的样本让模型学会区分两条船的边界。5.4 现象模型在 A 河道表现好换到 B 河道就崩原因过拟合到 A 河道的背景特征比如特定的岸边建筑、水面颜色、摄像头角度。B 河道的分布不同模型就失效了。解决训练时加入更强的数据增强特别是随机裁剪、颜色抖动、背景替换。如果条件允许在 B 河道也采集少量数据做 few-shot 微调。部署时先用 A 河道模型跑 B 河道的测试集看 mAP 下降幅度如果超过 30% 就说明泛化不够需要补数据。5.5 现象边缘设备上推理速度只有 5 FPS原因模型太大或者输入分辨率太高。YOLOv8s 在 640 分辨率下用 TensorRT 加速后Jetson Xavier NX 上大概能跑 30 FPS但如果换成 YOLOv8l 或者把分辨率提到 1280速度会掉到 10 FPS 以下。解决优先用 YOLOv8n 或 YOLOv8s导出时用 TensorRT FP16 量化。如果精度不够可以尝试知识蒸馏用大模型教小模型。另外推理时开启半精度和批处理把多帧图像攒成一个 batch 一起推理能明显提升吞吐。6. 用切片推理和时序投票把采砂管召回率再提一截切片推理是我在采砂检测项目里最常用的进阶技巧。原理很简单把一张 2560×1440 的大图切成 640×640 的小块每块单独送进模型检测最后把结果映射回原图坐标再合并。这样做的好处是小目标在每块里的相对尺寸变大了采砂管、缆绳这些细长目标的召回率能提升 15~25 个百分点。代价是推理时间变成原来的 4~6 倍所以适合对实时性要求不高的场景比如每 10 秒抽一帧做分析。具体实现上我一般用 SAHI 这个库它封装好了切片、推理、合并的流程。下面是一个最小示例。from sahi import AutoDetectionModel from sahi.predict import get_sliced_prediction # 加载 YOLOv8 模型 detection_model AutoDetectionModel.from_pretrained( model_typeyolov8, model_pathruns/ship/baseline/weights/best.pt, confidence_threshold0.35, devicecuda:0 ) # 切片推理切片尺寸 640重叠 128 result get_sliced_prediction( test_image.jpg, detection_model, slice_height640, slice_width640, overlap_height_ratio0.2, overlap_width_ratio0.2 ) # 导出结果 result.export_visuals(export_diroutput/)参数方面slice_height和slice_width一般设成和训练分辨率一致overlap比例设 0.2 左右太小会导致切片边缘的目标被切断太大则增加计算量。confidence_threshold可以比正常推理低一点因为切片后误检会在合并阶段被过滤掉。时序投票是另一个实用技巧。采砂船作业是一个持续过程不会只出现一帧。如果连续 10 帧里有 6 帧以上检测到采砂船才触发报警这样能大幅降低水面反光、飞鸟等偶发误检。实现上可以用一个滑动窗口队列每帧的检测结果存进去窗口满了就统计各类别的出现次数超过阈值才输出。这个逻辑用 Python 的collections.deque就能实现不需要额外依赖。最后说一个我自己的习惯每次训练完新模型不要只看 mAP 就决定上线。我会把验证集里所有误检和漏检的图单独挑出来按场景分类——夜间、逆光、遮挡、靠帮——然后逐类看模型的失败模式。很多时候 mAP 只掉了 2 个点但夜间漏检率翻了一倍这种模型上线就是给自己埋雷。采砂检测这事宁可召回率低一点也不能让一条采砂船从眼皮底下溜过去。希望帮到你。本文还有配套的精品资源点击获取