基于SAM的分割与关系识别：从图像分割到场景理解的完整落地指南

做计算机视觉落地的人大概都有这种感觉分割模型把画面分得越细越暴露一个尴尬——模型“看”到了但没“想”明白。SAM这类分割模型确实能把物体轮廓处理得非常漂亮但它始终不会回答“这个杯子和这张桌子是什么关系”“那个人的手和杯子有没有接触”“键盘是不是被猫踩着”这类问题。RelateAnything这个工作的定位非常直接在SAM完成分割之后再加一层对象关系识别把零散的mask升级成结构化的场景理解——输出类似“人-抱着-猫”“杯子-在-桌子上”这样的关系三元组。这篇文章我会从设计思路、核心实现、复现流程到踩坑调优完整讲一遍适合正在做场景理解、关系检测、机器人操作感知以及想把SAM落地成“会看图说话”产品的同学参考。整条链路拆开看并不复杂但每个环节都有不少工程细节值得认真处理。1. 项目定位为什么分割之后还要识别关系1.1 SAM的上限和边界在哪先对齐一下SAM到底做了什么事。给定一张图SAM可以输出高质量的分割掩码每个物体一个mask甚至不需要任何训练样本就能在任意图像上工作。这个能力确实很强但它有两个明显的边界第一SAM不给mask分配语义标签它不知道这个mask是一只猫还是一把椅子第二即便我们通过外部分类器或CLIP给每个mask打上了“猫”“杯子”“桌子”的标签SAM依然不知道这些物体之间是什么关系。这两者的差别其实就是“看到”和“理解”的差别。我经常拿裁缝打比方SAM像是特别熟练的裁剪师傅把整块布料按轮廓剪成一片片裁片裁得非常精准但他不会告诉你这一片是袖子、那一片是前襟更不会告诉你它们该怎么缝合。关系识别要做的就是把这些裁片组合成一张完整的版型图——既要认出每片是什么还要知道它们之间的连接方式。实际项目里这个差距会非常直观。比如给一张桌面场景图SAM能干净利落地把杯子、笔记本、鼠标、桌面都割出来可是下游机器人想要抓取“杯子旁边的笔”就需要知道“笔在杯子的左边”或“笔和杯子相邻”这样的空间关系再比如做图像检索时想找“戴着围巾的人”单纯靠类别标签也检索不出来因为“戴”本身是一个跨物体的关系属性。这就是RelateAnything要补的位。1.2 两阶段解耦为什么是性价比更高的路线目标明确了接下来是方案选择。早期做视觉关系检测Visual Relationship Detection或者场景图生成Scene Graph Generation通常是把“物体检测关系分类”塞在一个模型里端到端训练。这样做的理论完备性没问题但落地时很痛苦检测分支和关系分支共享特征为了关系任务牺牲检测精度同时关系标注数据又贵又少模型很容易过拟合。RelateAnything这一类思路最舒服的地方在于把任务拆成两个阶段。第一阶段只负责分割这个能力SAM已经做到很通用直接拿来用第二阶段只管关系推理输入是第一阶段产生的实例输出是关系。两个阶段之间的耦合极小你可以冻结SAM专门优化关系模块也可以随时用更强的分割模型替换掉SAM关系模块基本不用动。我用一个词总结这种架构的好处解耦。分割和关系推理本质上是两种不同复杂度的问题。分割更多依赖底层视觉特征边缘、纹理、形状就能支撑而关系推理需要更大范围的上下文和一定的常识能力比如看到“人”和“马”要知道这是“骑”而不是“站在一起”这需要模型理解空间姿态、交互语义。硬要把两件事放同一个模型里互相干扰不如让强项各司其职。2. 核心实现拆解从mask到关系三元组2.1 关系预测的输出形式在深入实现之前先明确关系预测到底输出什么。最经典的结构是关系三元组(主语subject, 谓语predicate, 宾语object)。比如“人骑在马上”就可以表达为(“人”, “骑”, “马”)。RelateAnything在图像层面的输出就是一系列这样的三元组同时把每个主语和宾语对应的mask或边界框也带出来方便可视化或供下游使用。这里有一个容易忽略的细节一个物体可以同时参与多个关系三元组。比如“人”和“杯子”可以是“拿着”的关系和“椅子”可以是“坐在”的关系和“桌子”可以是“靠着”的关系。因此关系识别模块的输出不应该是一个全局的单一标签而是要对图像中的多组候选对象对pair逐一判断。这也是为什么工程上经常要先枚举候选对再对每个候选对做分类。2.2 分割结果如何变成候选实例既然要枚举候选对第一步就是把SAM的输出整理成干净、可用的实例列表。SAM的自动分割模式SamAutomaticMaskGenerator默认会输出一大摞mask在一张中等复杂的图上生成一两百个mask都很正常。这些mask里有很多质量不稳定的小碎片直接拿去配对会带来大量无效计算。我的习惯是按三个条件过滤面积过滤mask像素占比过小的直接丢弃比如小于画面1%的碎片除非你的业务关心小物体。稳定性过滤在生成mask时SAM会给出一个stability_score代表这个mask的稳定程度。低于阈值的mask通常边界飘忽容易被关系模块带偏。重叠过滤SAM默认输出可能包含多个高度重叠的mask可以通过box_nms_thresh做非极大值抑制或者自己按IoU去重。过滤完成后每个实例通常保留三样东西mask本身、mask的外接矩形、从mask推导的类别标签如果关系模块需要语义标签。这里我不建议直接用外接矩形抠图丢给后续模型因为矩形区域会混入大量背景尤其是细长物体矩形裁剪一半都是干扰。更稳妥的做法是拿mask做掩码抠图背景位置填灰值或零值再统一缩放到固定尺寸。2.3 关系判断的几条技术路线把两个实例的区域特征准备好之后就要回答“它们是什么关系”。目前比较常见的判断方式有三条路RelateAnything整体思路上会倾向于把前两种结合使用。第一是纯几何先验。利用两个mask的坐标和形状信息计算中心点距离、重叠度、相对位置角度、面积比等特征然后对“左、右、上、下、内部、旁边”这类空间关系做规则判断。这个方式快、可解释性强但只能覆盖空间关系没法理解“骑、抱、戴、支撑”这类需要语义推理的动作关系。第二是基于视觉-语言模型VLM或对比模型的方式。把两个实例区域拼在一起配合一个提示问题让多模态模型输出关系。比如把“人”的区域和“马”的区域同时给到模型问“这个物体和这个物体是什么关系”模型回答“骑”。这条路线上限高能理解开放语义关系但计算量也大而且如果不做微调直接上通用模型的回答可能不够稳定。第三是图神经网络或Transformer关系头。把所有实例当作节点通过消息传递机制在整张图范围内学习节点之间边的类别。这种路线对全局上下文建模更完整但需要足量的关系标注数据来训练关系头工程复杂度也更高。RelateAnything这类工作通常不会把几何先验丢掉。实际部署时我发现一个很有效的做法先用几何规则筛掉空间上根本不相关的组合比如两个物体相隔半个屏幕、mask完全没有邻近区域基本不可能是“拿着”“踩着”“放在上面”这种关系直接跳过剩下空间上接近的候选对再交给语义关系分类器。这样既保住精度又减少了大批量无效语义计算。2.4 关系标签体系怎么定关系标签的设计直接影响数据成本和模型上限。我建议至少区分三类关系大类典型标签适用情况空间关系左、右、上、下、旁边、内部、远处场景布局相关容易标注规则可覆盖动作/支撑关系拿着、抱着、骑、穿、戴、放在、支撑、靠着人与物体、物体与物体之间的交互需要语义理解部分/从属关系属于、部分、包含组件与整体比如“瓶盖属于瓶子”注意两点第一动作关系通常伴随着空间邻近但“在人旁边”和“被人拿着”是不同的必须让模型学会区分第二真实场景里绝大多数候选对之间是“无关”关系如果分类器没有“无关”这一类所有候选对都会得到某个低置信度关系标签误报率会很高。标签体系里一定要留一个“无关/背景”类再配合置信度阈值才能控住误报。3. 实操复现从环境搭建到跑通一次完整推理3.1 环境准备与依赖选择我假定你手里有一张普通NVIDIA显卡显存8G以上就能把流程完整跑起来。基础环境是Python 3.9、PyTorch 2.x、torchvision。分割部分用segment-anything官方库权重文件我建议直接下sam_vit_h_4b8939.pth虽然体积大一点约2.5GB但分割质量是最好的显存紧张可以换sam_vit_l或sam_vit_b效果差距在复杂场景会比较明显。关系识别模块如果走VLM或CLIP路线需要额外安装多模态模型依赖并下载对应的权重。这一步要提醒的是权重下载是完整流程最容易卡壳的地方建议先把所有权重文件下载到本地固定目录再写代码不然真到跑推理的时候才发现某个权重缺失调试体验会非常糟糕。3.2 推理主流程逐步拆解整体流程我拆成六个步骤读图并做基本预处理包括缩放、颜色空间校正。用SAM自动分割生成全图mask列表。按面积、稳定性、重叠度过滤mask得到候选实例集合。枚举候选实例两两组合先用几何先验做粗筛。对剩余候选对提取mask区域特征送入关系分类模块。汇总关系三元组置信度低于阈值的丢弃输出结构化结果。伪代码大致长这样import torch from segment_anything import build_sam, SamAutomaticMaskGenerator sam build_sam(checkpointsam_vit_h_4b8939.pth) generator SamAutomaticMaskGenerator( sam, points_per_side32, pred_iou_thresh0.88, stability_score_thresh0.90, box_nms_thresh0.7, ) image load_image(demo.jpg) masks generator.generate(image) candidates filter_masks(masks, min_area0.01) relations [] for i in range(len(candidates)): for j in range(i 1, len(candidates)): if not geometric_prior(candidates[i], candidates[j]): continue relation predict_relation(candidates[i], candidates[j], image) if relation.confidence 0.6: relations.append(relation) output format_triplets(relations)从代码顺序上也能看出来真正的关系语义分类只是内层循环里的一小步更大的工作量花在候选过滤和几何粗筛上。这里points_per_side控制自动采样的点数点数越多分割越细但速度也会明显变慢。我实测下来32是一个比较均衡的值16会让小物体漏得多64则单张图经常跑到几秒到十几秒。3.3 输出结构化结果的落地细节关系三元组的输出格式建议直接用JSON每个三元组包含主语、宾语、关系、置信度和对应的bbox/mask索引方便后续可视化或接入业务逻辑。一个典型的输出片段{ relations: [ { subject: 3, object: 5, predicate: on top of, confidence: 0.93 }, { subject: 2, object: 7, predicate: holding, confidence: 0.87 } ] }可视化时把每个参与关系的mask用不同颜色叠加画在原图上然后用箭头或连线连接主语和宾语旁边标注关系标签。这一步看起来简单但作用很大只有把结果可视化你才能一眼看出关系模块的失误模式到底在哪——是空间方向判断反了还是两个物体本来就离得近但没动作关系被误判成了“拿着”。4. 实战中的常见问题与调优技巧4.1 SAM自动分割数量膨胀怎么办分割阶段最容易遇到的问题是mask数量爆炸。一张街景图可能分割出几百个实例两两配对就是几万对关系模块就算再快也会被拖垮。我从实际项目里总结出两个处理原则。第一先过滤再配对。用面积和置信度把明显低质量的碎片全部清除宁可漏掉一些小物体也不能让一堆垃圾实例参与关系计算。第二设置最大实例数。如果一个场景中候选实例超过比如80个优先保留面积大、置信度高的实例其余丢弃。对绝大多数业务场景来说关注最显眼的几十个物体之间的核心关系已经够用了。4.2 遮挡和重叠导致的误判分割阶段最头疼的是遮挡。两个物体叠在一起时SAM可能把后面那个物体的mask搞得很不完整甚至只割出边缘一圈。关系模块拿到这种残缺区域很容易把“骑在马上的人”误判成“站在马旁边的人”因为马的背部区域被人的mask盖住了。我的应对办法是关系识别时不要只用mask内的像素可以考虑把物体外接矩形扩大一个比例比如扩大10%让模型看到周围上下文。因为关系判断很多时候依赖上下文线索——人和马的相对位置、接触面积、姿势方向这些并不是只看前景区域就能看出来的。但扩大的比例要控制扩太多又会引入其他物体干扰。4.3 关系类别极端不平衡视觉关系中存在非常严重的标签不平衡问题。“旁边”“附近”这类弱空间关系占了绝大多数而“骑着”“穿着”“插着”这类有意义的动作关系占比极低。如果不做处理模型会倾向于把所有候选对都预测成“旁边”看起来准确率还行实际完全没用。解决手段有三个层级。最基础的是在损失函数中对稀有关系类别加大权重进阶一点是引入“无关”类让模型只在置信度高的时候输出具体关系否则输出“无关”再进阶一点是调整推理阈值把输出具体关系的置信度门槛调高宁缺毋滥。我在实际项目中通常把关系输出的阈值设在0.6到0.7之间低于这个值默认无关系误报率能压下来不少。4.4 推理速度优化关系识别链路最吃时间的有两处SAM分割和成对关系判断。SAM分割本身可以通过换小模型、减少采样密度、半精度推理来加速成对关系判断则推荐两个方法并行使用。第一是几何粗筛前置这在前面已经提过能筛掉一半以上空间上不相关的候选对。第二是批量推理把语义关系分类模块改成批处理接口把几百个候选对的特征打包成batch一次前向计算完而不是两两依次调用。这个优化通常能带来数倍的速度提升。如果显存允许还可以把SAM和关系模块都切到半精度FP16精度损失在可接受范围内速度则能进一步改善。4.5 一个容易被忽略的工程问题坐标对齐这个坑我认为值得单独拿出来说。在完整流程中图像处理会涉及到缩放、裁剪、mask坐标映射。SAM输出的mask坐标是在它内部处理过的尺寸上的而关系分类模块拿到的图像可能又是另一个尺寸。如果坐标映射没有做对齐会出现“分割结果明明正确但关系模块拿到的是错误区域的像素”这种情况。直接表现就是空间关系判断全乱套。建议在任何一步变换图像尺寸或坐标时都先写一个坐标转换函数并且每一步都保留同一套坐标系定义。调试时最有效的手段是在可视化图像上同时画上SAM输出的mask和按坐标抠出来的区域图两张图对得上再往下走。5. 应用场景与扩展方向5.1 机器人操作前的场景理解关系识别在机器人和具身智能领域的需求是最实际的。机器人要抓取一个物体只靠分割结果是不够的它需要知道物体是放在桌面上还是被夹在其他物体之间是稳固的还是会倒旁边是否有障碍物。有了关系三元组机器人就能把“放在桌子上的杯子”“压在书本下的手机”这类信息直接转化为操作策略。比如抓取“压在书本下的手机”之前先要规划一个移开书本的步骤。这一步对视觉感知来说很关键。5.2 自动标注与结构化描述生成对数据生产团队来说RelateAnything这类能力可以批量生成带关系标注的结构化描述。过去人工标注“杯子在桌子上”这样的关系要一张图一张图地标周期长成本高现在可以先跑分割再跑关系识别自动产出候选三元组人工只需要做筛选修正。这个流程能把标注效率提升不少而且三位一体的输出格式天然适合训练下游场景图模型。5.3 图像编辑和生成场景的关系保持扩散模型做图像编辑时经常遇到一个经典问题把某个物体替换掉之后它和周围物体之间的空间关系可能会崩坏明明在原图“帽子在头上”生成结果变成“帽子飘在一边”。如果能预先用关系识别把关键的空间关系显式抽出来再把这些信息作为条件或约束输入到生成流程中关系保持会稳定很多。这也是关系识别在未来生成式应用里一个很有潜力的方向。5.4 与指代分割、视觉问答的联动SAM本身支持交互式提示比如给定一个点或一个框分割出对应物体。如果把RelateAnything的关系输出作为提示就能实现“分割出那个人骑着的马”这种指代式分割——先用关系识别锁定“人骑马”这个关系对再把“马”的mask作为提示输入SAM。这等于把关系识别和分割模型串成了一个闭环对交互式视觉助手来说非常自然。6. 一些心得和后续建议做了一段时间的分割关系识别落地我最大的体会是这类任务真正的难点往往不在模型选型而在工程细节。关系判断的准确率很大程度取决于候选实例的质量而候选实例的质量又取决于分割参数、过滤规则、坐标对齐。很多人一上来就调关系分类模型的结构折腾很久没效果其实把SAM的阈值调准、把过滤规则写干净精度已经能涨不少。后续如果想再往前走我建议优先关注两个方向一个是把关系标签体系做成开放词汇的也就是不限定固定关系列表而是通过视觉-语言模型直接生成自然语言关系描述这样能覆盖更多长尾关系另一个是在关系推理时引入时序信息视频中的“拿起、放下、推”这类动作关系单帧很难判断多帧信息会可靠得多。这条路线扩展性很强做好了能直接对接很多实际业务。