RelateAnything：从SAM分割掩码到视觉关系识别的完整流水线解读

分割技术这些年被 SAM 带到了一个非常热闹的节点但单纯把画面里的物体“抠”出来只是第一步。拿一张照片来说你能用 SAM 圈出人、圈出自行车、圈出路灯但如果你想知道“这个人正在骑自行车车旁边还有一棵树”SAM 就回答不了了。RelateAnything 这类项目解决的正是这个缺口分割之后再进一步识别对象之间的关系把“有什么”升级成“谁和谁怎么了”。这篇文章会从关系识别为什么难、整体流水线怎么搭、核心模块怎么实现、到跑通与适配自己的数据一层层拆开讲清楚适合正在做视觉分割、场景理解、视觉问答或机器人抓取相关工作的同学参考。1. 为什么需要 RelateAnything分割的另一半工作1.1 分割做到了什么又停在哪儿语义分割、实例分割、指代分割这些任务本质上都在回答一个共同的问题图像里的某个位置属于哪个对象。SAM 这类基础模型的厉害之处在于它把“找轮廓”这件事做到了接近通用的程度。你给它一个点、一个框或者一段文字它能输出对应的 mask而且不需要针对每个新数据集重新训练。这在两年前是很难想象的很多做标注的同学应该还记得以前标注一个分割数据集要一帧一帧地磨现在先用 SAM 跑一遍再人工修正效率能翻好几倍。但分割任务的输出天然是“空间轮廓”它没有语义关系的出口。你拿到几十个 mask它们之间的相对位置是不是有语义人和自行车是“骑”还是“扶”手机在人的“手里”还是“旁边”这些信息不会自动浮出来。很多实际场景里对象的类别和轮廓只是中间产物真正要决策的是关系。我举个具体例子。自动驾驶里感知模块检测到前方有个行人、路面上有个锥桶如果只是两个独立检测框规划模块并不知道“行人正在绕过锥桶”还是“行人正向锥桶走去”两者的驾驶策略完全不同。安防系统里“一个人站在银行门口”和“一个人正在砸银行的门”同样是人和门的组合但完全是两种事件。这就是分割之后还需要关系识别的价值从空间共现走向语义联系。1.2 关系识别到底在解决什么问题关系识别本质上是要预测一个三元组通常写作 (主语, 谓语, 宾语)比如 (人, 骑, 自行车)、(杯子, 放在, 桌子上)、(狗, 追, 球)。这里最难的地方在于同一个视觉场景可以有多种关系描述方式而且关系是开放集合的。你没法像做一千类物体分类那样把所有关系提前枚举完。更麻烦的是关系判断常常要同时依赖全局语义和局部细节。判断“人骑车”你可能要看人的姿态、腿的位置、自行车在两个物体之间的空间配置、甚至车轮和地面的接触关系。判断“拿着”则非常依赖手部与物体的接触点和遮挡关系。两个物体挨在一起并不等于它们有关系隔得很远也不代表没有关系比如“桌子上的杯子”可能是小杯子放在大桌子中央这种关系的空间尺度差异非常大。所以关系识别不是一个单纯的分类问题而是一个“谁跟谁构成候选对、这两个候选对之间到底是什么关系、以及这对关系的边界在哪里”的综合问题。早期很多做法直接对全图所有检测框做两两配对O(n²) 的组合数量在物体一多的时候立刻爆炸而且会产生大量无意义的“背景到背景”对。比较好的策略是先通过分割结果筛选出真正有交互潜力的候选对再做关系分类这也是 RelateAnything 这类思路把分割前置的一个核心原因。1.3 为什么一定要“先分割再识关系”这里有个反问为什么不在一个模型里同时把检测和关系一起做了确实有些两阶段方法就是这么干的先用目标检测提取区域然后做关系分类。但问题在于检测框是矩形而物体之间的交互往往依赖精细的形状。比如“猫趴在窗台上”猫的轮廓并不是一个矩形能表达清楚的尾巴延伸的方向、身体卷曲的程度这些细节对判断“趴”这个动作至关重要。如果用矩形区域直接做关系分类模型能看到的特征被严重污染背景区域会混进来。SAM 这类模型提供的 mask 把前景轮廓精确地刻画出来再配合区域特征提取关系模型拿到的输入干净得多。你可以在 mask 内部做 RoI Align 之类的池化也可以把 mask 当作注意力权重让下游模型只关注真正属于该物体的像素。这种“先用分割把空间边界锁死再在各自区域内做语义分析”的思路在工程上也更容易调试分割出了问题单独修分割关系判断出了问题单独修关系模型。另外从数据利用的角度看先分割再识关系还有一个隐性红利。很多已有数据集只有分割标注没有关系标注。利用 SAM 可以把没有关系标签的图像先跑一遍生成高质量的区域建议再用弱监督或者少量人工标注的方式补关系标签。这让关系识别模型的训练数据扩充变得容易很多不用从零开始设计一个检测关系的一体化标注方案。2. 核心原理拆解从掩码到关系三元组2.1 流水线设计一个上游一个下游RelateAnything 的整体结构可以理解成两个模块的接力。上游是分割模型负责从图像中找出所有候选对象并输出 mask下游是关系推理模块负责接收 mask 和对应的区域特征输出关系三元组以及置信度。两个模块各有分工损失函数也是分开的训练时可以各自训练再联合推理。这种解耦设计的最大优势是灵活。如果你的应用场景里已经有现成的检测或者分割模型完全可以只替换上游保留下游的关系推理模块不动。比如我现在手上的视频分析项目原本用的是 YOLO 实例分割我就直接把输出接到关系推理模块上不需要重新训练分割部分。反过来如果关系模型更新换代也只动下游。如果在同一个网络里端到端联合训练虽然理论上性能更好但调试成本会高很多而且对数据量的要求也不是一般团队能承受的。我把这种拆分理解成两条流水线第一条流水线做“抠图”第二条流水线做“读图”。抠图这件事已经被 SAM 做得足够好没必要重复造轮子读图才是 RelateAnything 要发力的地方。2.2 Mask 如何喂给关系模型特征、注意力与区域池化下游关系模型拿到 mask 之后首先要做的不是直接分类而是把 mask 转化成对物体有用的特征表示。这里常见有三种做法。第一种是 RoI Align 式的池化。把 mask 包围盒内对应的特征图区域裁剪出来在特征图上做对齐池化得到一个固定长度的向量。这种方法实现最简单很多检测框架里已经封装好了。第二种是 mask 作为注意力掩码。把上游特征图上属于某个物体的位置保留其他位置置零然后做全局平均池化或者加权池化。这样得到的是“纯物体内部”的特征避免了包围盒里其他物体的干扰。我实际用下来这种方法的边界更干净特别是两个物体互相重叠时比如“人抱着一只猫”如果不做 mask 注意力人的包围盒里全是猫的像素特征会非常乱。第三种是直接把 mask 本身当作一个额外通道拼到特征里。模型可以通过 mask 通道自主学习“物体形状”对关系判定的意义。这种方法适合做形状敏感的关系比如“盘旋”、“覆盖”、“靠着”这些关系对空间构型的依赖远大于物体内部纹理。如果你用的是 SAM 这类输出多尺度 mask 的模型建议把 mask 分辨率统一到特征图的尺寸再做 soft 边界处理。硬边界的 mask 在梯度回传时容易出现问题因为边缘像素的梯度贡献是突变的。加一个 1-2 像素的模糊或者使用 sigmoid 形式的 mask 输出能让关系模型训练更稳定。2.3 关系预测的输出形态与后处理关系模型的输出不是简简单单一个类别标签而是带置信度的关系列表。每个候选关系可以用一个五元组表示(主语索引, 主语类别, 谓语, 宾语类别, 宾语索引, 置信度)。主语宾语索引对应上游分割结果的编号这样做的好处是关系结果可以直接和分割结果对齐可视化时你知道关系是挂在哪两个 mask 上的。模型内部通常用一个两分支结构。第一个分支做“是否有关联”的二分类判断这对物体之间是否存在任何语义关系第二个分支做“具体是什么关系”的多分类。为什么要拆开因为视觉场景里大量物体组合根本不存在关系比如背景里的两栋楼、远处的两棵树如果直接多分类模型会把大量无关系对硬塞进某个类别准确率非常难看。先做关系存在性判断再细分类别漏检率虽然会高一点但精确率会明显提升。后处理阶段最常用的是置信度筛选和关系 NMS。置信度筛选好理解低于阈值的丢掉。关系 NMS 稍微特殊一点它处理的是重复预测问题同一对主语宾语可能会被模型预测成“骑”和“坐在……上”两个类别而且置信度都很高。这时候你可以采用一个策略保留置信度最高那条同时把共享同一个主语宾语的候选对中与最高分关系相近的关系抑制掉。具体阈值调整我一般在 0.3 到 0.5 之间摸索太小会保留一堆重复关系太大容易误杀。2.4 置信度、NMS 和 Top-K 的作用这三个概念是关系识别任务落地的关键但也容易踩坑。置信度不是越高越好。在真实场景里关系类别之间存在层级和语义重叠比如“拿”和“握”、“穿”和“戴”模型很难完全分开。你把置信度阈值拉到 0.8得到的可能是关系确实准确但召回率极低一帧里往往只有一两个关系被输出。我实测下来把阈值放在 0.4 左右比较均衡宁可多出几个关系候选再做下游任务的筛选。NMS 的重点在于距离度量的设计。普通目标检测的 NMS 用的是 IoU关系 NMS 里除了 IoU还需要使用主语宾语索引的一致性。两条候选关系如果主语宾语完全相同即使谓语不同也应该被看作同一组关系预测只保留置信度最高的那条。主语相同宾语不同则不应该互相抑制因为可能确实存在多重关系比如“人看着手机同时拿着手机”。Top-K 的作用是控制输出数量。在端到端的场景理解系统中关系列表长度会直接影响下游决策的复杂度。比如机器人导航时它只需要最显著的几组关系来规划下一步动作多而杂的关系列表只会增加计算负担。所以一般推理时会按置信度排序取 Top-K 作为最终输出。K 的取值取决于应用安防场景可能需要输出全部候选关系移动端场景通常取 10 到 20 就够用了。3. 实操过程跑通 RelateAnything 并适配自己的数据3.1 环境准备与模型加载先说明一下我这里描述的是基于常见开源实现推理流程具体仓库可能有差异但模块划分逻辑是通用的。第一步是准备环境核心依赖就三样一个深度学习框架PyTorch 就行、一个分割模型SAM 或者类似的分割模型、一个文本/视觉特征提取器用于把物体区域和关系描述映射到同一个语义空间。# 示例环境安装 pip install torch torchvision pip install segment-anything pip install transformers安装完成后建议先单独验证 SAM 能否正常输出 mask。我遇到过很多次环境没问题但 SAM 权重下载不完整的坑症状是推理时显存直接吃满然后报错。所以加载模型后第一件事就是跑一张小图确认 mask 输出尺寸和数量是否符合预期。from segment_anything import sam_model_registry, SamPredictor sam sam_model_registry[vit_h](checkpoint./checkpoints/sam_vit_h.pth) sam.to(devicecuda) predictor SamPredictor(sam)3.2 一条推理流程代码骨架跑通一条完整推理流程可以分成四步分割出候选对象、提取区域特征、成对组合、关系打分与后处理。下面给一个可参考的实现骨架思路是通用的。import torch import torchvision.ops as ops from PIL import Image def inference_with_relateanything(image_path, predictor, relation_model, tokenizer, thresholds): image Image.open(image_path).convert(RGB) predictor.set_image(image) # 1. 分割候选对象用网格点和低阈值过滤尽量多召回物体 masks, scores, _ predictor.predict( point_coordsNone, box_coordsNone, multimask_outputFalse, ) # 过滤低质量 mask keep scores 0.5 masks masks[keep] # 2. 提取每个 mask 对应的区域特征这里示意用 crop resnet 特征 region_features extract_region_features(image, masks) # 3. 构建所有两两组合排除同一索引 n len(masks) idx_pairs [(i, j) for i in range(n) for j in range(n) if i ! j] # 4. 关系打分输出五元组 relation_logits relation_model(region_features, idx_pairs) relation_probs torch.sigmoid(relation_logits) # 5. 后处理置信度过滤 关系 NMS final_relations relation_nms(idx_pairs, relation_probs, conf_threshold0.4) return masks, final_relations这里的relation_model可以是任何一种支持“输入两个区域特征输出关系类别概率”的结构比如把两个区域特征拼接后过 MLP也可以用跨注意力 Transformer。关键点是输入不能只依赖边框坐标至少要把 mask 内的视觉特征加入否则模型只能学到位置先验。早期我做这个的时候偷懒只用了 bbox 和 IoU 特征结果模型对“上面/下面/旁边”这类空间关系学得不错但对“骑/拿/穿”这种动作关系几乎没有任何判别力。3.3 理解输出可视化与结果字段解析关系模型的输出需要可视化检查否则很难判断模型究竟学到了什么。我习惯直接画在图像上把主语 mask 用红色描边宾语 mask 用蓝色描边中间画一条带箭头的线箭头上写谓语和置信度。这样子一眼就能看出哪些关系是合理的哪些是模型瞎猜的。# 可视化伪代码示意 draw_relation(image, subj_mask, obj_mask, predicate, confidence)可视化时特别注意一个方向性细节关系三元组是有方向的。(人, 拿, 手机) 和 (手机, 拿, 人) 是完全不同的含义。模型输出的方向受到训练数据标注方式的影响有的数据集习惯把主动者放在主语位置有的则相反。如果你发现模型输出“自行车骑着人”这种反转结果大概率不是模型坏了而是数据标注的方向约定不一致不要盲目去调模型结构。字段解析上我一般把最终结果存成 JSON每个物体带一个唯一 id关系通过主语 id 和宾语 id 来引用。这样做的好处是后续做场景图、做决策推理时只需要在 id 上做索引不需要反复读像素级数据。3.4 用自己的数据集微调最核心的问题来了如何让 RelateAnything 适配自己的数据我先说明如果只是推理直接用预训练权重也能跑个大概但关系识别对场景和数据分布非常敏感不同领域的关系谓词分布差异极大。医疗图像里关系可能是“位于”、“接触”、“包绕”监控场景里可能是“行走”、“停留”、“靠近”这些领域词如果没出现在预训练数据里输出基本是废的。微调的第一步是数据准备。把图像准备好用 SAM 辅助生成分割 mask然后标注关系三元组。这里有个很实用的半自动流程先用 SAM 自动分割所有物体再用一个简单的启发式规则生成候选关系对比如两个 mask 的中心距离小于阈值、或者 IoU 大于阈值、或者一个 mask 在另一个 mask 的上下左右方向就会自动生成候选对。人工只需要对候选对进行确认和修正标注效率能提升不少。第二步是训练设置。关系模型的学习率通常要比骨干网络小我一般设置为 2e-5 到 5e-5骨干层冻结或者用更小的学习率。Batch size 要足够大关系分类是个样本不平衡问题无关系对远比有关系对多。这里推荐做负样本采样控制在正负比 1:3 左右否则模型会倾向于输出“所有候选对都没有关系”。第三是评估方式。关系识别不能只看准确率。我给一张图和一组标注判断一个三元组是否正确除了要关系谓词对还要主语和宾语的 mask 都正确匹配。用 Recall50、Recall100 这类指标比单纯的 mAP 更能反映实际情况。我整理了一个简单对照表方便新手理解各个指标看的是什么指标看什么什么时候用准确率预测出来的关系里有多少是对的精确率优先时召回率真值关系里有多少被找出来漏检代价高时Recall50/100取 Top-K 条关系里的召回情况关系数量庞大时关系 mAP综合精确率和召回率学术对比常用微调完一定要做人工审查。找两三个人同时看一批结果标注出哪些关系是模棱两可的。这类主观分歧是关系识别任务里的常态你要么把它们合并成一种中性关系要么在 Loss 里降低这些样本的权重。4. 常见问题与排查技巧实录4.1 关系漏检与误检之间的阈值平衡这是一个我每次都会遇到的老问题阈值调低误检一堆“人看着背景”阈值调高真正有用的“人骑自行车”反而丢了。我的建议是不要把阈值当成一个固定超参而是当成一个跟随场景动态调整的参数并且要拆成存在性阈值和类别阈值两个独立标准。存在性阈值判断这对物体有没有关系建议设低一点比如 0.3。类别阈值判断具体是哪种关系建议设高一点比如 0.5。这样做的逻辑是先放宽候选对的数量保证正确的对能进来再在分类阶段严格把关避免把错误的关系类别输出去。我自己在多个数据集上测试下来这种双阈值方案比单阈值能多挽回 5% 到 10% 的召回率。另外还有个容易被忽略的地方主语的置信度和宾语的置信度不等价。有些物体天然更容易被分割比如大目标、中心目标小而偏的物体 mask 质量差关系置信度自然就会下降。如果发现漏掉的关系集中在某个小物体上可以考虑对小物体的关系置信度做一个补偿或者调整分割阶段的点提示策略提升小物体 mask 的召回。实时场景里还容易出现“关系闪烁”的问题。同一组物体上一帧输出“站立”下一帧输出“行走”再下一帧又是“站立”。这不是模型 bug而是置信度在阈值附近来回摆动。工程上的处理是加一个时序滤波比如连续三帧中至少有两次输出同一个关系才生效。视频应用里这招很实用。4.2 分割掩码质量明显影响关系判断关系模型对上游 mask 质量非常敏感这是我踩过最深的一个坑。一开始我以为去掉关系模型的影响单独调分割模型就行结果分割精度上来后关系效果并没有同步变好。后来发现问题出在 mask 的边界糊了特别是两个物体紧挨着时SAM 可能会把一部分背景或者相邻物体的像素画进 mask 里。解决办法有两条。其一是在特征提取时对 mask 做腐蚀处理把边缘几个像素去掉降低边缘混合带来的噪声。其二是使用 mask 的软版本不要用硬 0/1 mask而是用类似于逻辑回归输出的概率图。软 mask 在池化时能平滑边缘贡献配合 sigmoid 操作比硬 mask 稳定很多。如果遇到某个类别关系总是判断不准比如“手握杯子”里的杯子被分割得支离破碎主语的 mask 又大又完整这时可以单独对难分物体做一个辅助分类确认“这个区域确实存在一个手部物体”再把辅助分类的置信度和关系置信度做乘性融合。这个方法没有改变主模型结构但能让场景中交互密集的部分留出更多注意力。另外一个容易被忽视的点是 mask 的数量。如果你用全图自动分割模式一张复杂图像可能输出上百个 mask大部分是背景碎片。直接把这些全部两两配对关系模型会被淹没在无意义候选对里。实际工程中我通常先做一个基于面积的过滤mask 面积小于图像面积 1% 的直接丢掉再把剩余 mask 的区域特征拼在一起效果立竿见影。4.3 显存、速度与批处理优化关系识别是一个天然的多阶段流水线显存占用往往来自两个大头图像特征图和关系模型的计算图。如果你一次性把整张图的高分辨率特征图都保存在显存里再同时跑关系分类很容易爆显存。我常用的优化方案是把流水线拆成两个阶段来执行。第一阶段先加载分割模型得到 mask 后立即释放分割模型的中间特征第二阶段再加载关系模型和少量区域特征进行关系推理。中间结果存到 CPU 内存里要用的时候再搬回 GPU。这种串行策略可以让你在一张 24G 显存的卡上处理接近 4K 分辨率的图像。Batch 化推理也要注意关系分类时两个不同图像的物体对不能拼在同一个 batch 里因为物体对数量不等补零会影响注意力计算。比较干净的做法是让每个 batch 只包含一张图像内部的全部候选对按图像维度并行批处理的是不同图像而不是不同区域对。推理速度上还有一个容易忽视的瓶颈区域特征提取。如果你对每个 mask 单独做一次前向网络几百个 mask 就会产生几百次前向非常慢。正确做法是把所有 mask 的区域特征通过矩阵运算一次性提取或者只提取一次全图特征图然后用池化操作在不同 mask 上进行批量特征聚合。我实测下来同样数量的 mask批量池化比逐 mask 前向快 5 倍以上。4.4 常见问题速查表整理了一份排查表基本覆盖了我跑这个流程时遇到的大部分情况现象可能原因排查方案关系全部为空置信度阈值过高把存在性阈值压到 0.2 观察输出全是“旁边/附近”类关系特征里没有物体本身的语义信息加入 mask 内部视觉特征别只看坐标主语宾语方向反转训练数据关系方向约定不一致检查标注指引统一主动者为主语小物体关系丢失分割阶段对小目标召回不足调整输入分辨率或使用点提示增强同一关系重复输出缺少关系 NMS按主语宾语索引做去重保留最高分显存不足分割和关系模型同时驻留 GPU拆分阶段推理及时释放中间变量训练 loss 下降但指标不涨正负样本比例失衡负样本采样控制在 1:3 以内5. 我的实操体会与后续扩展方向5.1 这个思路还能延伸到哪在把 RelateAnything 思路跑通之后我最大的感受是它把场景理解从“像素级”推到了“语义级”。不过它的价值远不止于视觉关系标注本身我试过几个延伸方向都还挺有意思。一个是零样本场景图生成。配合 CLIP 这类多模态模型可以把物体区域特征和关系谓词描述同时映射到共同语义空间这样模型可以识别出训练时没见过的关系描述。比如训练数据里只有“拿着”和“握着”但推理时你让它判断“捧着”也能得到合理的置信度。这种开放词汇关系识别的思路很适合做定制化需求毕竟业务里总会出现文档里没写过的关系词。另一个是和大型语言模型结合。把关系三元组整理成自然语言描述输入给语言模型做进一步推理分析就能完成一些看似复杂的高层任务。比如识别“冰箱上方偏左有杯子杯子旁边是调料瓶”然后把这句话交给语言模型让它判断“杯子的位置是否在人的可触及范围”。这种“视觉关系抽取 语言推理”的组合模式在家庭机器人、辅助导航领域非常实用。我还试过把关系识别的结果用于检索任务。给定“一个穿红色衣服的人站在白色的车旁边”这样的检索语句传统方法靠标签匹配往往很难覆盖但关系识别可以先输出所有三元组再在语义空间里做匹配。实测下来这种方式对细粒度描述的理解能力比纯分类方案强不少。后续如果再扩展我会优先尝试把时序视频信息纳入关系识别同一组物体在连续帧中的关系变化往往蕴含更多的行为信息比如“人接近门”变成“人推门”这个递进关系比单帧关系更有价值。5.2 我踩过最深的坑做关系识别最容易被坑的地方不是模型结构而是关系定义本身。初期我用的数据集里关系谓词有重叠比如“接触”和“靠着”在很多场景里几乎不可区分导致标注人员自己都经常犹豫。这种含糊的标注直接反映到模型输出上表现为同一对物体在不同帧里关系来回跳。后来我重新整理标签体系把语义重叠严重的类别合并或者建立包含关系比如把“靠着”吸收到“接触”下整体稳定性明显改善。如果你准备在自己的数据上做关系识别我建议在开始标注之前先花一周时间定义清楚你的关系本体。列一个场景清单写出所有可能出现的关系动词然后两两比较语义距离把近义词或者场景强相关的词单独标注出来。这个过程看着费时间但实际上是在给模型提前注入知识训练出来的效果会比直接用现成数据集好很多。还有一个小技巧也是我每次做视觉 AI 项目都会用的把推理结果做成可视化报告每天随机抽 50 张图截图存档。不要小看这个习惯很多奇奇怪怪的模型行为都是靠翻这些截图发现问题线索的。你在调试新业务时这些截图就是最可靠的第一手证据。