SWE-bench Pro 68.91%、Terminal-Bench 83.15%：OpenCollab 基准测试数据与 arXiv 论文完整解读

【免费下载链接】OpenCollabA research-friendly, high-performance multi-agent collaboration coding framework.项目地址https://gitcode.com/gh_mirrors/op/OpenCollab点击查看免费下载OpenCollab 是一个面向研究的多智能体协作编码框架multi-agent coding framework主打可编程的协作 可控的运行时。用同一模型 GPT-5.6-Luna 跑三大编码基准它的 Duo 工作流拿下全场最高 Pass1SWE-bench Pro 68.91%、Terminal-Bench 2.1 83.15%、DeepSWE 65.49%。这篇文章带你读懂 基准测试数据 的每个数字并解读 arXiv 论文2609.38345的核心贡献。 先搞懂这是一组控制变量对比实验六套 Agent 框架harness跑的是同一个模型GPT-5.6-Luna、max 推理强度唯一变量就是框架本身。所以分差直接反映框架设计的好坏而不是模型的差异。框架SWE-bench Pro (193题)Terminal-Bench 2.1 (89题)DeepSWE (113题)OpenCollab (Duo)68.91%83.15%65.49%Mini-SWE-Agent61.66%76.40%61.95%OpenHands64.77%76.40%62.83%Codex CLI63.73%80.90%47.79%Claude Code58.03%77.53%56.64%OpenCollab (Base)63.21%79.78%55.75%每道题的平均 Token 消耗百万与估算成本如下框架SWE-bench ProTerminal-Bench 2.1DeepSWEOC (Duo)4.79M / $0.474.71M / $0.7761.30M / $8.42Mini-SWE-Agent4.16M / $0.902.97M / $0.4519.36M / $3.27OpenHands6.16M / $0.876.63M / $1.0326.85M / $3.64Codex CLI7.31M / $0.732.86M / $0.2615.01M / $1.30Claude Code9.38M / $2.5421.95M / $2.7377.90M / $7.66OC (Base)3.89M / $0.411.54M / $0.1911.95M / $1.19完整原始数据逐行通过/失败数、Token、缓存命中率见 docs/benchmark-results.json。一眼看出的三个结论准确率之王Duo 在三个基准上都拿到最高 Pass1比最强的竞品 Claude Code 分别高出约 11、5.6、8.9 个百分点。单兵模式极省单 Agent 的 Base 在三个基准上 Token 和成本都是全场最低——Terminal-Bench 单题平均只要 $0.19。赢在框架而非烧钱Duo 的 Token 消耗全面低于 Claude Code说明多智能体协作的质量提升不是靠多花钱多试几次换来的。成本估算公式为T × (0.2975 − 0.2185 × h)T 为平均 Token 百万数h 为缓存命中率公式透明可复算。 为什么 Duo 能赢两个候选解 证据裁决Duo 的工作流程可以概括为五步候选 A追求最简单、完整的解法在独立工作区中完成修改与自测候选 B端到端校验结果包括依赖、交互与边界情况并会重跑 A 发现的验证命令机械选择运行时对两个候选做自动比较裁决adjudication逐条追踪任务要求检查每个需求是否有可比的测试证据采纳adoption把胜出的补丁合入交付。关键点A 和 B 全程运行在互相隔离的 Git worktree中共享一个有限 Token 预算。这种双盲独立求解 证据裁决的设计让框架天然规避了一个 Agent 把自己带偏的单点风险——源码实现见 opencollab/builtin_workflows/duo.py操作指南见 docs/duo.md。逐题配对检验sign test进一步量化了 Duo 相对 Base 的增益基准双通过仅 Duo 通过仅 Base 通过双失败p 值Terminal-Bench 2.1659690.6072DeepSWE532110290.0708DeepSWE 上 Duo 净增 9.73 个百分点且接近显著p 0.0708Terminal-Bench 上双方差距不大p 0.6072这组诚实的显著性数字反而让数据更可信。 论文核心贡献用 Adherence 度量协作是否真的发生这是论文最有洞察力的一部分。基准分数只报告最终结果无法说明 Agent 是否真的协作了。OpenCollab 的运行轨迹显示了一个有趣的现象——协作幻觉illusion of collaboration主 Agent 给队友们布置完任务后自己把活全干了或者主 Agent 把 Token 预算花光还没来得及交接。声明的团队实际上退化成了单 Agent。为此论文定义了Adherence协作遵从度只有当轨迹显示每个声明角色都参与、交接、角色边界、预算共享、信息流全部成立时该次运行才算遵从。在 SWE-bench Pro 上同一个团队只改一处设置Adherence 变化巨大对参考团队的改动Adherence不改动开放提示词、全工具、星型拓扑47.2%提示词中强制要求交接91.7%主 Agent 只给只读工具94.4%所有角色都用 GPT-5.6-Luna97.2%也就是说把交接设为强制项或限制主 Agent 亲自动手协作就能真的发生。度量方法与完整消融实验见 docs/adherence.md。七条受控对比条件论文还提出要公平对比两种智能体组织方式必须满足七条审计条件模型、工具、Token 预算、上下文策略、拓扑、Realized、Compared。论文对 10 个主流 Agent 框架逐项审计只有 OpenCollab 全项打钩——未声明的通信边会被拒绝并记录每次模型调用前都会检查该角色的剩余预算--trace会为每一步写出带角色、事件类型和 Token 用量的 JSONL 记录。 如何亲手复现这些数据OpenCollab 核心代码不足 5 万行成熟竞品普遍超过 10 万行安装和上手都很轻量git clone https://gitcode.com/gh_mirrors/op/OpenCollab cd OpenCollab uv sync --locked cp configs/.env.example configs/.env # 然后填入 OPENCOLLAB_API_KEY uv run opencollab --workspace .跑 Duo 工作流只需一条命令uv run opencollab workflow run duo --workspace /path/to/repository \ --task 修复这里描述的公开 issue。 \ --args {allow_unisolated_shell:true}端点配置兼容 OpenAI/Anthropic 接口configs/README.md团队协作文件写法configs/team.yaml在 SWE-bench Pro 上跑官方评测可用官方配套评测项目 OpenCollab-Eval通过oc-eval duo单题或批量运行自动隔离工作区、记录补丁与测试报告说明见 docs/results.md包的整体架构、CLI 与 Python APIopencollab/README.md总结✅分数硬同一模型下Duo 在 SWE-bench Pro、Terminal-Bench 2.1、DeepSWE 三大基准均取得六套框架中的最高 Pass168.91% / 83.15% / 65.49%。✅方法新首次提出可复算的 Adherence 指标把多智能体协作是否真的发生从口号变成可审计的数字。✅工程实不足 5 万行代码实现完整研究级框架曾夺得 OAIC Agentic Software Factory Hackathon 第一名奖金池 $24,000。如果你正在做多智能体系统研究或者想让 Agent 协作有章法、可验证OpenCollab 的基准数据和论文方法论都值得完整读一遍——数据与文档都在仓库的 docs/ 目录里随时可查。赞分享【免费下载链接】OpenCollabA research-friendly, high-performance multi-agent collaboration coding framework.项目地址https://gitcode.com/gh_mirrors/op/OpenCollab点击查看免费下载相关推荐Ling-3.1-flash基准测试解读Terminal-Bench 4.0、SWE-bench Pro与FrontierSWE成绩背后的实力Ling 3.1 flash基准测试解读Terminal Bench 4.0、SWE bench Pro与FrontierSWE成绩背后的实力 如果你正在关注人工智能大模型基础模型推理模型Naive-N0.5-Flash实战评测SWE-Bench Pro、Terminal-Bench等编码基准逐项解读Naive N0.5 Flash实战评测SWE Bench Pro、Terminal Bench等编码基准逐项解读 Naive N0.5 Flash 是 Na大模型代码模型基础模型人工智能FrogNano泛化能力实测SWE-bench Pro与Terminal-Bench 2.0成绩深度解读FrogNano泛化能力实测SWE bench Pro与Terminal Bench 2.0成绩深度解读 FrogNano 是微软Microsoft基于上一篇3步解锁Steam动态壁纸告别付费限制的终极解决方案下一篇5步彻底掌握RimSort环世界模组管理终极解决方案创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考