SAM 3 概念分割深度拆解：一句话如何把图里所有实例都切出来-云帆数科

SAM 3 概念分割深度拆解一句话如何把图里所有实例都切出来【免费下载链接】sam3The repository provides code for running inference and finetuning with the Meta Segment Anything Model 3 (SAM 3), links for downloading the trained model checkpoints, and example notebooks that show how to use the model.项目地址: https://gitcode.com/gh_mirrors/sam/sam3想在一张图里把所有黄色衬衫都框出来却只能逐个点击SAM 3 是 Meta 开源的概念分割基础模型给一句话或一次点选它就能找出并分割全部实例图像和视频用的是同一套接口。它到底解决了什么问题SAM 3 的核心能力可以概括为一句话对文本指定的概念做穷尽式分割——不是点哪切哪而是匹配的都切出来。看三个具体场景就明白了逐个点选太慢。一张图里有 40 只企鹅用旧的交互式分割模型要点 40 次SAM 3 只需把 a penguin 作为 prompt检测器一次性给出全部实例。相似词汇容易串味。a player in white 和 a player in red 这种提示传统文本模型很容易张冠李戴。SAM 3 在解码器里引入了presence token先判断这个概念到底在不在画面里再让各 query 去定位细粒度提示的区分度明显更稳。视频里跟踪会飘。遮挡、形变、重新出现逐帧人工重选目标非常痛苦。SAM 3 的 tracker 把上一帧的 mask 延续下去检测器周期性重新检测做再校准长视频也不容易跑偏。一句话总结检测器负责一次全找出来跟踪器负责一路追下去两者共享同一个图像编码器。核心机制是怎么跑起来的整个模型 848M 参数顺着数据流看其实不难理解输入一个文本 prompt名词短语或者点、框、掩码这类视觉 prompt再加上当前帧图像。编码文本编码器把句子变成语义向量ViT 图像编码器把画面变成特征图窗口注意力搭配若干层全局注意力第 8、16、24、32 层小目标和整场景都不落下。定位检测器基于 DETR 结构200 个可学习 query 在融合好的视觉-语言特征里找对象有点像拿着清单在仓库里找货——每个 query 竞争锁定一个实例经过多轮框精化后输出每个目标的 mask、框和置信度。延续tracker 读取memory bank默认最多缓存 7 份 mask 记忆在两次检测之间把目标往前推每 16 帧让检测器重新跑一遍防止误差累积。输出当前帧的检测结果和上一帧的跟踪结果合并输出同时写回 memory bank 供下一帧使用。这里最值得称道的是一个工程决策检测器与跟踪器解耦。两者分开训练、互不干扰还能各自随数据量放大——只关心单图任务的话检测器单独用就够。图中数据从左到右走文本和图像并行编码上方 Detector 负责在当前帧找新目标下方 Tracker 负责从历史继承两路结果合并后得到该帧输出Memory Bank 则是串联前后帧的枢纽。训练数据从哪来、质量怎么保证分割模型的上限很大程度上由数据决定。项目方用自研的data engine自动标注了 400 万唯一概念构成 SA-CO 基准27 万唯一概念比已有公开评测集多出一个数量级。标注策略分成黄金-白银两级原因很直接黄金人工专业标注员手绘用于最关键的金标准评测集SA-Co/Gold保证尺子可靠白银模型辅助规模化自动标注用于训练把覆盖面做大评测集还拆出图像与视频SA-Co/VEval两套每个图像名词短语都带实例 mask 和唯一 ID没有匹配对象时的负样本negative prompt也保留在数据里——模型因此学会了什么时候该什么都不画。效果是在金标准集上模型达到了人类标注一致性 75-80% 的水平这个量级过去基本只有人工才能达到。拿它实际能干什么场景一单图文本穷尽分割。给一张购物照片一句话把所有袋子切出来model build_sam3_image_model() processor Sam3Processor(model) state processor.set_image(Image.open(groceries.jpg)) out processor.set_text_prompt(statestate, prompta bag) masks, boxes, scores out[masks], out[boxes], out[scores]不用点选直接拿到每个袋子的 mask、框和置信度想换成 a bottle of water 时只需替换文本。场景二视频一句话跟踪。输入 JPEG 帧目录或 mp4开启会话并给目标起个名字vp build_sam3_video_predictor() r vp.handle_request(requestdict(typestart_session, resource_pathvideo.mp4)) r vp.handle_request(requestdict(typeadd_prompt, session_idr[session_id], frame_index0, texta dog))目标会在整个视频里被持续跟踪发现漂移还能追加点击点来修正完整流程见 examples/sam3_video_predictor_example.ipynb。场景三复杂描述 Agent 精修。长句或带逻辑的描述可以交给 examples/sam3_agent.ipynb让 LLM 拆解描述、反复调用 SAM 3 并自我检查适合把分割当作更大多模体 agent 的一个工具环节。5分钟跑起来从克隆到第一次推理git clone https://gitcode.com/gh_mirrors/sam/sam3进入目录准备 Python 3.12 CUDA 12.6 以上环境装 PyTorchpip install torch2.10.0 torchvision --index-url https://download.pytorch.org/whl/cu128pip install -e .[notebooks]模型权重需先在 Hugging Face 上申请访问通过后执行hf auth login打开 examples/sam3_image_predictor_example.ipynb从头运行第一组 mask 就出来了写在最后SAM 3 把视觉分割从指哪切哪推进到了一句话切一批视频跟踪只是顺带的能力。如果你在做开放词表检测、商品标注或者想给多模体 agent 配一个分割后端它值得纳入候选。仓库里已经能看到 SAM 3.1 的 multiplex 版本——共享记忆做多目标联合跟踪更快且不掉精度同屏追更多目标这条路大概率是接下来值得盯的方向。【免费下载链接】sam3The repository provides code for running inference and finetuning with the Meta Segment Anything Model 3 (SAM 3), links for downloading the trained model checkpoints, and example notebooks that show how to use the model.项目地址: https://gitcode.com/gh_mirrors/sam/sam3创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考

企业数字化 ERP 产品动态

相关推荐

LanceDB 性能优化实操指南：让向量检索提速并守住召回率

LanceDB 性能优化实操指南：让向量检索提速并守住召回率【免费下载链接】lancedb Developer-friendly OSS embedded retrieval library for multimodal AI. Search More; Manage Less. 项目地址: https://gitcode.com/gh_mirrors/la/lancedb LanceDB 官方基准… · 2026/11/4 6:11:22

XHS-Downloader 小红书内容采集工具：三步完成作品批量保存

XHS-Downloader 小红书内容采集工具：三步完成作品批量保存【免费下载链接】XHS-Downloader 小红书（XiaoHongShu、RedNote）链接提取/作品采集工具项目地址: https://gitcode.com/gh_mirrors/xh/XHS-Downloader XHS-Downloader 是一款… · 2026/11/4 6:11:22

DLSS Swapper 完整指南：如何 5 分钟免费给游戏升级或降级 DLSS 版本

DLSS Swapper 完整指南：如何 5 分钟免费给游戏升级或降级 DLSS 版本【免费下载链接】dlss-swapper 项目地址: https://gitcode.com/GitHub_Trending/dl/dlss-swapper 游戏里的 DLSS 版本一直停在旧构建，你不想等官方补丁；或者新版画… · 2026/11/4 6:11:22

AI声音克隆的伦理边界：Audio8-TTS-Realistic-0.6b的局限、常见陷阱与负责任使用指南

语音音频深度学习大模型本地部署【免费下载链接】Audio8-TTS-Realistic-0.6b 项目地址： https://ai.gitcode.com/hf_mirrors/Edge0/Audio8-TTS-Realistic-0.6b 点击查看免费下载 Audio8-TTS-Realistic-0.6b 是一个 0.6B 参数的开源 AI 声音克隆（AI vo… · 2026/11/4 6:58:29

agent-plugin安全深潜：进程内执行代码的6大审查清单项，如何守护智能体安全

AI 插件AI 技能插件系统人工智能开发工具【免费下载链接】agent-plugin openJiuwen 社区官方插件仓库——一套轻量、易扩展的插件体系，让能力集成像搭积木一样简单。项目地址： https://gitcode.com/openJiuwen/agent-plugin 点击查看免费下载 agent-… · 2026/11/4 6:58:29

PlayCover 完全指南：Apple Silicon Mac 上跑 iOS 游戏的实践教程

PlayCover 完全指南：Apple Silicon Mac 上跑 iOS 游戏的实践教程【免费下载链接】PlayCover Community fork of PlayCover 项目地址: https://gitcode.com/gh_mirrors/pl/PlayCover 想在 M 系列 Mac 上用手柄和键鼠玩《原神》这类 iOS 独占游戏，… · 2026/11/4 6:58:29

Folia 全屏歌词播放器安装指南：4 条路径从零跑通第一首

Folia 全屏歌词播放器安装指南：4 条路径从零跑通第一首【免费下载链接】folia-major 专注于绚丽的歌词动画效果的本地音乐/navidrome/第三方多平台在线音乐播放器项目地址: https://gitcode.com/GitHub_Trending/fo/folia-major Folia 是把歌词渲染成全屏动… · 2026/11/4 6:58:29

PDFPatcher：书签编辑、文档合并到无损提取图片的免费 PDF 工具箱完整实战指南

PDFPatcher：书签编辑、文档合并到无损提取图片的免费 PDF 工具箱完整实战指南【免费下载链接】PDFPatcher PDF补丁丁——PDF工具箱，可以编辑书签、剪裁旋转页面、解除限制、提取或合并文档，探查文档结构，提取图片、转成图片等等 … · 2026/11/4 6:58:29

首次开源材料晶体结构生成：40% 通过率吊打 GPT-5.5 的技术拆解

首次开源材料晶体结构生成：40% 通过率吊打 GPT-5.5 的技术拆解【免费下载链接】Intern-S2-397B 项目地址: https://ai.gitcode.com/InternLM/Intern-S2-397B 材料科学的智能计算，长期卡在"最后一公里"：模型能读懂论文、能… · 2026/11/4 6:57:29

双极步进电机控制实战：DRV8818PWPR与PIC18F86K22驱动调试

/* MD / 富文本中的 .toc（含博客园搬家等嵌套结构）；.toc-box 在侧栏，不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p（:empty 仍占 20px），一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/4 3:16:49