betum_tool 中的 SAM 3 零样本 PCS 消融实验日志：从实验设计到后处理调优

人工智能深度学习NLP计算机视觉强化学习【免费下载链接】google-researchGoogle Research项目地址https://gitcode.com/gh_mirrors/go/google-research点击查看免费下载导读本文围绕betum_tool仓库中 SAM 3Segment Anything Model 3模块的消融实验记录文档 ablations.md 展开系统讲解 Promptable Concept SegmentationPCS零样本推理实验的完整设计与记录规范包括实验跟踪表、文本提示词工程、置信度阈值扫描与 mask→bbox 后处理调优。读者将掌握如何在 Cashew / Coffee 农业数据集上运行 SAM 3 零样本分割实验、如何用统一 COCOEval 计算 AP50以及如何把每一次实验系统地沉淀为可复现、可对比的消融日志。一、实验日志的定位为什么需要一张一行一跑的消融表在 betum_tool 的统一评测框架下四支学生团队分别用 OWL-ViT、YOLO26、SAM 3、DiffusionDet 完成同一个农业检测任务最终全部换算成 COCOEval 的AP50单一指标进行对比。SAM 3 组的目标是用文本提示驱动分割基础模型输出稠密实例分割掩码再通过掩码转边界框mask→bbox管道对齐到目标检测的评价口径。正因如此ablations.md 被设计为 SAM 3 组的实验台账——Track all experiments here. One row per run.在这里跟踪所有实验每次运行一行。它承担三个核心职能实验可复现记录 Mode、Dataset、Prompts/Config、Confidence Threshold 等关键变量后续可完整复现任一行实验对比可追溯AP50 指标与提示词、阈值一一对应便于横评提示词工程与后处理策略的收益汇报可依赖作为小组展示与跨模型对比的原始依据直接支撑 TECHNICAL_BRIEFING.md 中 SAM 3 消融结论的沉淀。仓库约定每个模型组只能在各自的models/name/目录内工作实验结果统一记录在models/name/results/ablations.md这与本文档的目录位置betum_tool/models/sam3/results/ablations.md完全对应。二、实验跟踪表零样本 PCS 的四种基线运行文档的核心是 Results 表当前已登记的 4 次运行为 SAM 3 组划定了零样本实验的起点RunModeDatasetPrompts / ConfigConfidence ThresholdAP50Notes1zero-shot PCSCashew (val)baseline prompts0.05——2zero-shot PCSCoffee (val)baseline prompts0.05——3zero-shot PCSCashew (val)simple prompts0.05——4zero-shot PCSCoffee (val)simple prompts0.05——这张表揭示了 SAM 3 组消融实验的两个关键设计维度数据集维度Cashew 与 Coffee 两个数据集在类别构成上差异显著。class_map.json 显示Cashew 有 6 类tree、flower、premature、unripe、ripe、spoiltCoffee 有 5 类unripe、ripening、ripe、spoilt、coffee_tree。因此在同一提示词策略下分别验证两个数据集可以区分提示词质量问题与数据集固有难度。提示词维度Run 1/2 使用 baseline prompts如cashew tree、cashew flower、premature cashew nut等类别直译提示Run 3/4 使用 simple prompts如tree、flower、premature等更短、更泛化的提示。两组实验保持相同的置信度阈值0.05从而隔离出提示词措辞对 AP50 的独立影响。从 template_inference.ipynb 的配置节可以看出提示词列表与 COCO JSON 的category_id顺序严格对应Order matches category_ids 0, 1, 2, ...TEXT_QUERIES { cashew: [ cashew tree, cashew flower, premature cashew nut, unripe cashew nut, ripe cashew nut, spoilt cashew nut, ], coffee: [ unripe coffee berry, ripening coffee berry, ripe coffee berry, spoilt coffee berry, coffee tree, ], }这意味着 Run 1 在 Cashew 上实际会逐类执行 6 次 PCS 推理每次推理产出的实例掩码被转换为 bbox 后统一汇入预测 JSON再与cashew_val.json比对计算 AP50。填表时 Notes 列建议补充每类的表现差异例如 TECHNICAL_BRIEFING.md 中记录的微类micro-class案例标准提示cashew flower的 AP50 仅为 0.0001而判别性提示下同一类提升约 100 倍——这类洞察正是 Notes 列应当沉淀的内容。三、提示词工程零样本 PCS 收益最大的杠杆文档的第二张表专门用于记录试过哪些文本提示及其对 PCS 分割质量与 bbox 推导的影响Prompt SetDescriptionEffect on AP50baselinecashew tree,cashew flower,premature cashew nut, ...—simpletree,flower,premature, ...—domain-specificcashew tree foliage,cashew inflorescence,immature cashew nut, ...—3.1 三类提示词策略的设计意图baseline基线用类别名直译是最自然的出发点便于建立零样本性能下限simple简单去掉类别前缀如cashew测试模型对单一名词的响应能力。从实践中看这种提示往往因为概念过于泛化如tree可能命中背景中的其他树木而表现不稳因此必须逐一记录其 AP50 影响domain-specific领域特定引入作物学高保真术语如cashew inflorescence花序、immature cashew nut未成熟坚果目标是缩小基础模型预训练分布与无人机俯拍农业图像之间的语义鸿沟。3.2 提示词工程的标准实验协议template_inference.ipynb 的Prompt Engineering Experiments一节给出了明确的实验纪律至少评估 3 种不同的提示词配置并把结果记录到results/ablations.md。建议的消融方向包括简单类别名tree、flower、unripe等上下文短语a photo of a unripe coffee berry、dense cashew tree leaves等领域特定描述采用数据集论文或类别映射中的高保真术语。仓库已有的实证结果见 TECHNICAL_BRIEFING.md充分说明提示词对 PCS 微类性能的放大效应Standard Promptcashew flowerAP50 0.0001Discriminant Promptan isolated cluster of tiny pale cashew flower blossomsAP50 0.0177需要注意的是判别性提示对特定微类带来约 100 倍的相对提升但绝对分数依然很低说明零样本性能瓶颈更多来自领域根本性差距而非提示措辞——这正是一张规范的提示词消融表能帮助团队得出是否值得继续投入提示词工程结论的原因。四、后处理与推理参数调优阈值、最小面积与 NMS文档第三张表记录后处理/推理阶段的调参实验ParameterDefaultTriedEffectconfidence_threshold0.05——min_mask_area_pixels———nms_iou_threshold———4.1 confidence_threshold从低起点出发并做扫描零样本模型输出的置信度普遍偏低因此仓库默认CONFIDENCE_THRESHOLD 0.05并在推理时先用更低的threshold0.01采集候选再在评估阶段统一扫描SCORE_THRESHOLDS_TO_SWEEP [0.01, 0.05, 0.1, 0.15, 0.2]template_inference.ipynb 中的阈值扫描节对每个阈值调用统一评估包装器并汇总成表for thresh in SCORE_THRESHOLDS_TO_SWEEP: res run_coco_eval(COCO_VAL_JSON, all_predictions, score_thresholdthresh) sweep_results[thresh] res[AP50]阈值过滤的实际逻辑位于 evaluate.py 的evaluate_cocoif score_threshold is not None: pred_list [p for p in pred_list if p.get(score, 1.0) score_threshold]仓库基线数据TECHNICAL_BRIEFING.md显示SAM 3 在标准阈值 0.25 下 Aggregate AP50 0.03在超宽松阈值 0.01 下为 0.04提升极其有限——这印证了文档中从低阈值开始之后逐步调优的策略同时也提示当阈值扫描收益极小时问题大概率出在模型/提示词端而非过滤设置端。4.2 min_mask_area_pixels用最小面积过滤噪点掩码PCS 的低阈值推理会产出大量碎小掩码如背景噪点、重复分割片段。min_mask_area_pixels用于在 mask→bbox 转换前过滤面积过小的掩码。从 masks_to_bboxes.py 的实现看mask_to_bbox对空掩码返回None并跳过rows np.any(mask, axis1) cols np.any(mask, axis0) if not rows.any(): return None # Empty mask这说明面积为 0的掩码已被天然过滤而面积较小的非空掩码仍会生成 bbox。实践中建议将min_mask_area_pixels与 COCO 的 area 定义对齐——evaluate.py 中明确指出 COCOEval 的 area 划分为small 32² 像素、medium32²–96²、large 96²——在无人机俯拍场景中小于 32×32 像素的实例通常既难以辨认也无实际产量统计价值。4.3 nms_iou_threshold对派生 bbox 做去重同一概念在相邻区域可能产出多个高重叠掩码例如一朵花被分割成多个碎片转换为 bbox 后会出现大量重复框。此时需要在 bbox 层面执行 NMS非极大值抑制nms_iou_threshold控制多大重叠算重复。从 README.md 的Key Parameters to Explore清单看NMS 被明确列为 SAM 3 组建议探索的后处理项之一。需要注意的是SAM 3 原生推理run_sam3_native_pcs会返回 processor 后处理得到的boxesxyxy 格式与scores而仓库的统一评测入口evaluate_coco本身不包含 NMS因此若需 NMS 去重应在生成 COCO 预测 JSON 之前完成。4.4 记录规范一次实验 一组参数 一个 AP50文档的表格采用Parameter | Default | Tried | Effect四列结构这正是可复现实验的最小记录单元默认值定义基线Tried记录尝试值Effect记录对 AP50或视觉质量的影响。填表时应把Tried列与 Results 表中的 Run 号交叉引用形成参数 → 运行 → 指标的完整链条。五、从实验到结论mask→bbox 与统一评测如何支撑消融结果消融日志的价值最终要落到 AP50 这一个数字上而该数字的正确性依赖两条已由源码与测试锁定的链路。5.1 掩码 → bbox 转换的正确性masks_to_bboxes.py 提供两个函数mask_to_bbox(mask)输入二值掩码(H, W)通过np.any分别在行、列方向投影取首末非零下标输出 COCO 格式[x_min, y_min, width, height]空掩码返回Nonepcs_output_to_coco_predictions(masks, scores, image_id, category_id)把一个概念的多实例掩码批量转换为 COCO 预测字典含image_id、category_id、bbox、score空掩码自动跳过。其正确性由 masks_to_bboxes_test.py 的四个用例验证空掩码返回None、单像素掩码[5, 4, 1, 1]、矩形掩码[3, 2, 4, 3]以及多实例掩码批量转换后 bbox 与 score 的完整对应。这意味着你在消融表中填写的每个 AP50其底层的 bbox 几何都是经过单元测试保障的。5.2 统一评估口径所有预测最终统一走 common/evaluate.py 的evaluate_cocoresults evaluate_coco(gt_jsonpath/to/gt.json, predictionspred_list, score_threshold0.05)该函数内部通过COCOeval(coco_gt, coco_dt, bbox)执行标准 bbox 评估返回APIoU 0.50:0.95、AP50、AP75以及per_class_ap50字典。它同时对预测做两层保障阈值过滤见 4.1与空预测兜底返回全零指标并告警保证任何一次实验都能得到结构化、可比对的指标输出——这正是消融表一行一跑、AP50 可横比的制度基础。六、完整的 SAM 3 消融实验工作流结合 template_inference.ipynb 与本文档的表格体系一次规范的消融实验按以下流程执行准备数据安装依赖transformers、torch、pycocotools等下载 Coffee Cashew 数据集用 flatten_coffee.py 展平 Coffee 批次用 yolo_to_coco.py 将 YOLO 标注转换为 COCO JSON--split_ratio 0.8划分验证集鉴权加载模型facebook/sam3为门控仓库需先通过 Hugging Face 认证再以Sam3Processor/Sam3Model加载并自动选择 CUDA / MPS / CPU 设备配置实验变量设置NUM_EXAMPLES建议 4 张做冒烟测试全量置None、DATASET、CONFIDENCE_THRESHOLD、SCORE_THRESHOLDS_TO_SWEEP与TEXT_QUERIES推理与转换对每张图、每个概念提示执行 PCSprocessor.post_process_instance_segmentation阈值 0.01、mask 阈值 0.0将返回的掩码/xyxy bbox 统一转为 COCO[x_min, y_min, width, height]预测评估与扫描调用evaluate_coco计算 AP50并对阈值列表逐一扫描输出阈值—AP50 汇总表可视化与落盘以较高阈值如 0.15绘制预测 vs 真值对照图预测 JSON 保存到results/目录供跨模型对比回填日志把 Run 号、Mode、Dataset、Prompts/Config、阈值、AP50 填入 Results 表把提示词变体填入提示词表把参数尝试填入后处理表。完成至少 3 种提示词配置的消融后即可基于日志在小组展示中横向对比 SAM 3零样本分割与 OWL-ViT开放词汇检测、YOLO26有监督检测在稠密微农业场景下的定位能力差异——这正是 TECHNICAL_BRIEFING.md 中跨模型结论边界框架构在稠密微农业场景中仍保有明显优势的实验来源。七、实践建议让消融日志发挥最大价值最后基于仓库的整体设计与已有消融结果为 SAM 3 组的日志维护给出几点建议保持一行一跑纪律任何参数变更哪怕只是改了一个词都单独开一行严禁覆盖式更新否则跨模型对比将失去可信度Notes 列记录定性观察如树标签经常把花簇圈进 bboxspoilt 类与果实黑斑强相关等定性发现参见 TECHNICAL_BRIEFING.md 对标注噪声的分析能帮助解释数值异常阈值扫描结果并入日志将 4.1 中的扫描表粘贴到 Results 表附近注明每个阈值对应的 AP50避免阈值选择不可复现区分提示词问题与领域问题当判别性提示只能带来 100 倍相对提升而绝对值仍低0.0001 → 0.0177时应把调优重心转移到微调 mask decoder冻结编码器 vs 全量微调见 README.md而非继续堆提示词与统一评测接口强绑定任何新实验的 AP50 都必须经 evaluate.py 输出禁止自行实现评估逻辑以保障四组横评口径一致。通过这样一份严谨的消融日志SAM 3 组不仅能回答零样本 PCS 在农业稠密场景下能达到什么水平还能为后续的提示词工程、后处理调优与模型微调提供可直接引用的实验证据。赞分享人工智能深度学习NLP计算机视觉强化学习【免费下载链接】google-researchGoogle Research项目地址https://gitcode.com/gh_mirrors/go/google-research点击查看免费下载相关推荐DiffusionDet 消融实验日志指南去噪步数与超参调优实战Bëtum ToolDiffusionDet 消融实验日志指南去噪步数与超参调优实战Bëtum Tool 本文以 ablations.md https://link.gitc人工智能深度学习NLP计算机视觉强化学习YOLO26 消融实验日志实战用 AP50 基准表驱动 Bëtum Tool 实时检测调优YOLO26 消融实验日志实战用 AP50 基准表驱动 Bëtum Tool 实时检测调优 导读 本文围绕 Bëtum Tool https://link.人工智能深度学习NLP计算机视觉强化学习Nanochat 瓶颈诊断从 3.53 tokens/parameter 的预训练不足到计算最优消融实验设计Nanochat 瓶颈诊断从 3.53 tokens/parameter 的预训练不足到计算最优消融实验设计 导读 本文是 Nanochat 演示项目的一份人工智能AI Agent深度研究自主智能体Agent 编排创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考