SAM 3 微调完整指南：用你自己的数据训练一个领域分割专家

SAM 3 微调完整指南用你自己的数据训练一个领域分割专家【免费下载链接】sam3The repository provides code for running inference and finetuning with the Meta Segment Anything Model 3 (SAM 3), links for downloading the trained model checkpoints, and example notebooks that show how to use the model.项目地址: https://gitcode.com/gh_mirrors/sam/sam3给 SAM 3 一句 “a red backpack”它就能把画面里所有匹配的实例找出来。但换成你自己行业的照片——产线、影像、田间地头——它大概率认不全你真正关心的东西。做一轮 SAM 3 微调正是补上这个缺口的直接办法sam3 仓库官方支持在自定义数据集上微调从环境、数据、配置到启动、监控、评估本文带你走一遍完整流程跑出一个真正贴合你领域的分割模型。微调之后你能拿到什么先看清目标训练完你手里会有三样东西一个针对你领域数据调过参的checkpoint模型权重、一套记录完整训练过程的TensorBoard 日志以及一组可复现的YAML 配置。实际收益是——输入同样一句自然语言提示模型对你领域里的概念找得更全、框得准、掩码更贴边这在检测 AP 和掩码 IoU 上都能直接看出来。SAM 3 微调前值得花 30 秒了解它的内部结构文本提示交给 Text Encoder 转成特征图像交给 Image EncoderDetector 负责在当前帧找出所有实例Tracker 把实例在视频帧之间延续下去Memory Bank 则复用历史帧的信息。微调默认走的是图像侧的sam3_image模型也就是下图中检测这条主线三项前置条件一次备齐环境、显卡、数据开训之前把这三样东西确认到位能省掉后面 90% 的踩坑时间项目要求说明Python3.12 及以上官方 README 给出的前置版本PyTorch CUDAPyTorch 2.7CUDA 12.6需要一块 NVIDIA GPU 做加速数据集COCO 格式 JSON 标注 图像文件见下一节的目录约定环境搭建只需要两步先把仓库拉下来git clone https://gitcode.com/gh_mirrors/sam/sam3再进入目录安装训练依赖.[train]会把 hydra、submitit、tensorboard 等训练依赖一并装好cd sam3 pip install -e .[train]硬件方面仓库默认配置是单卡 batch size 为 1、输入分辨率 1008所以一块显存充裕的显卡就能起步数据量大时再加卡。训练数据一次备齐COCO 标注与目录怎么摆数据读取由Sam3ImageDataset完成它只认两样东西一个放图的img_folder和一个 COCO 格式的ann_fileJSON。标注文件里至少要覆盖这些信息images每张图的路径与宽高categories类别名SAM 3 用它当文本概念命名尽量贴近你想提示的短语annotations目标框XYWH 格式 分割掩码RLE 或多边形坐标仓库给出的标准目录长这样每个 split 目录下都有一份_annotations.coco.jsonmy_dataset/ └── superclass/ ├── train/ # 图片 _annotations.coco.json ├── valid/ └── test/图像本身没有特殊要求常见的 JPG/PNG 即可比如下面这张街景照片就可以直接作为输入下面这组多场景标注样例展示了 SAM 3 训练数据中开放词汇概念的粒度——同一张图里“a yellow shirt”“white sack”这类短语都能单独成类你的标注也应保持这种“短语级”的颗粒度如果你纠结标注画到哪里算对官方给了同一张图上三位标注者的结果对照边界差异远没有想象中夸张不用追求像素级完美训练配置怎么定制SAM 3 关键参数速查配置都是 Hydra YAML放在 sam3/train/configs/ 下。我的建议是复制一份现成配置再改不要从零写。打开一份配置真正需要动的就是下面这几处字段作用参考起点paths.experiment_log_dir日志、checkpoint 的落地目录你的实验路径paths.bpe_path文本分词表sam3/assets/bpe_simple_vocab_16e6.txt.gzscratch.resolution输入分辨率显存消耗大头1008scratch.train_batch_size每卡 batch size1scratch.gradient_accumulation_steps梯度累积变相放大 batch1scratch.max_ann_per_img单图最大标注数200scratch.lr_scale学习率整体缩放系数0.1scratch.num_train_workers数据加载线程10trainer.max_epochs训练轮数20trainer.val_epoch_freq每几轮跑一次验证10trainer.skip_saving_ckpts是否跳过保存权重false想留 checkpoint 务必关掉launcher.gpus_per_node/submitit.use_cluster每机卡数 / 是否提交集群2 / False把路径和核心数值摘出来改动集中在这几行就够paths: experiment_log_dir: ./experiments/my_domain_finetune bpe_path: sam3/assets/bpe_simple_vocab_16e6.txt.gz # 数据集根目录字段名随所选配置而变如 roboflow_vl_100_root / odinw_data_root scratch: resolution: 1008 train_batch_size: 1 gradient_accumulation_steps: 1 max_ann_per_img: 200 lr_scale: 0.1 trainer: max_epochs: 20 val_epoch_freq: 10 mode: train skip_saving_ckpts: false数据部分则指向你上一节准备好的目录核心是img_folder、ann_file和load_segmentation三个字段checkpoint.save_freq设为 0 表示只保留最后一个权重想中途回滚就改成具体轮数。三种启动方式对比单卡、多卡、集群所有启动都从同一个入口 sam3/train/train.py 出发区别只在命令行参数。本地单卡——最轻的验证方式适合先把流程跑通python sam3/train/train.py -c configs/roboflow_v100/roboflow_v100_full_ft_100_images.yaml --use-cluster 0 --num-gpus 1单机多卡——把--num-gpus改成机器上的卡数即可例如 4 卡python sam3/train/train.py -c configs/your_config.yaml --use-cluster 0 --num-gpus 4SLURM 集群——加上--use-cluster 1并提交分区、账号和节点规模python sam3/train/train.py -c configs/your_config.yaml --use-cluster 1 --partition gpu_partition --account your_account --num-gpus 8 --num-nodes 2常用命令行参数一览参数含义-c / --config配置文件路径必填--use-cluster0 本地运行1 提交集群--num-gpus/--num-nodes每节点卡数 / 节点数缺省用配置里的值--partition/--account/--qosSLURM 分区、账号、服务质量命令行参数优先级高于 YAML改卡数不用动配置文件。怎么盯与怎么调监控、评估与调优对照表训练开始后所有产物都落在配置里的paths.experiment_log_dir下目录结构很规整experiment_log_dir/ ├── config.yaml # 原始配置 ├── config_resolved.yaml # 变量展开后的完整配置 ├── checkpoints/ # 模型权重 ├── tensorboard/ # 曲线日志 └── logs/ # 文本日志打开曲线面板只需一条命令tensorboard --logdir 你的experiment_log_dir/tensorboard盯曲线时我主要看四类损失侧的loss_ce / loss_bbox / loss_giou / presence_loss是否稳定下降验证侧的bbox AP是否随轮数抬升学习率是否按调度退火以及每轮耗时有没有异常抖动。跑完或中途想验收就用同一个入口切到验证模式——把配置的trainer.mode改为val再执行python sam3/train/train.py -c configs/roboflow_v100/roboflow_v100_eval.yaml结果以IoU、AP为核心指标分别对应框的准度与掩码的质量。遇到典型问题对照着改就行症状调整方向过拟合验证指标先升后降缩短trainer.max_epochs、适当调大scratch.wd权重衰减、补充训练数据显存不足OOM调低scratch.resolution与scratch.max_ann_per_img验证侧可下调category_chunk_size或保留 batch1 靠scratch.gradient_accumulation_steps累积训练偏慢加大scratch.num_train_workers确认optim.amp.enabled: Truebfloat16 混合精度默认已开损失发散出现 NaN调小scratch.lr_scale检查标注与图像是否对得上更完整的评估与指标实现在 sam3/eval/ 里训练细节可回看 README_TRAIN.md。收尾把 SAM 3 从通用分割变成你的领域专家走完一遍数据准备、配置定制、启动与调优你就有了一个“认自己领域东西”的分割模型——同一句提示命中率和边界贴合度都明显更稳这就是微调的核心价值。往后想继续加料仓库里还有现成方向视频侧的跟踪与预测sam3_video_predictor、新版 SAM 3.1 的多目标共享内存方案见 RELEASE_SAM3p1.md以及面向 SA-CO 等基准的评测脚本都可以直接复用本文的这套流程。【免费下载链接】sam3The repository provides code for running inference and finetuning with the Meta Segment Anything Model 3 (SAM 3), links for downloading the trained model checkpoints, and example notebooks that show how to use the model.项目地址: https://gitcode.com/gh_mirrors/sam/sam3创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考