首页/新闻资讯/正文详情

腾讯:极少任务还原智能体全量评测

发布时间:2026/9/26 11:10:21 来源:云帆数科 栏目:资讯中心
腾讯:极少任务还原智能体全量评测
标题Beyond Outcomes: Dual-View Relational Learning for Efficient Agent Benchmarking来源arXiv, 2609.18909v1️文章简介研究问题智能体Agent评测成本极高如何在大幅减少评测任务数量的同时依然能准确预测模型在完整基准上的得分和排名主要贡献论文提出了DualViewEval框架通过联合建模“最终结果”和“执行过程”两种关系实现了高效的基准压缩仅需极少任务即可高精度还原全量评测效果。重点思路构建六维过程指标通过分析大规模智能体执行轨迹提取了六个与最终性能系统性相关的过程信号包括智能体步数、工具失败率、工具类别熵、验证工具率、必要写操作执行率以及读写验证闭环率以此量化执行行为。双视角关系建模为每个任务构建两个关系矩阵。一是基于最终得分的“结果视图”捕捉智能体成败模式的相似性二是基于上述六维指标的“过程视图”捕捉执行行为模式的相似性弥补仅看结果的不足。端到端联合优化设计了一个包含直通硬Top-K门控机制的选择器确保选出的子集大小严格固定。将结果和过程关系矩阵融合为智能体内核输入到核岭回归预测器中。通过最小化分数预测误差和排名损失反向传播同时优化任务选择逻辑和预测模型参数。动态平衡权重引入可学习的全局系数自动调整过程视图在融合内核中的权重使模型能根据不同基准的特性自适应地平衡结果与过程信息的贡献。分析总结显著降低评测成本在APEX-Agents和BFCL等五个基准上仅用20个任务即可实现24至40倍的压缩比大幅节省时间和API费用。预测精度超越基线相比最强的现有方法SparseEvalDualViewEval将平均绝对误差降低了14.5%至28.2%并在SWE-bench Verified上将Kendall’s τ排名相关性提升了最多7.2%。过程信息至关重要消融实验证明单独使用过程关系或结果关系均不如两者结合效果好。过程视图提供了结果无法反映的行为结构信息尤其在任务预算极紧时优势明显。具备诊断价值选出的迷你集不仅能预测分数还能清晰揭示不同智能体在工具使用广度、验证习惯等行为上的能力差异为模型开发提供紧凑的诊断反馈。个人观点论文引入了“怎么做”的过程视角证明了智能体的执行轨迹如是否频繁验证、工具调用多样性蕴含着丰富的冗余消除信息。

相关推荐

深度解析:用MCP调用Kali实现网络安全自动化——TaoToken统一Key接入与config.toml配置实战
深度解析:用MCP调用Kali实现网络安全自动化——TaoToken统一Key接入与config.toml配置实战

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/26 11:10:21

C/C++ HTTP 服务开发:libcurl、Mongoose、libhv 配置与验证全解析
C/C++ HTTP 服务开发:libcurl、Mongoose、libhv 配置与验证全解析

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/26 11:10:21

冰合试剂科普┃DMG-PEG-阿仑膦酸钠里的DMG、PEG和膦酸基分别做什么?
冰合试剂科普┃DMG-PEG-阿仑膦酸钠里的DMG、PEG和膦酸基分别做什么?

一句话看懂分工把DMG-PEG-阿仑膦酸钠拆开看:DMG像“锚”,偏爱脂质或疏水环境;PEG像“缓冲带”,提供亲水性和活动空间;阿仑膦酸钠结构中的膦酸基像“识别头”,容易靠近矿物样表面。三者连起来后,… · 2026/9/26 11:10:21

让 UltraEdit 打开 sql 语句时默认使用 MySQL 高亮:TaoToken 配置骨架与验证
让 UltraEdit 打开 sql 语句时默认使用 MySQL 高亮:TaoToken 配置骨架与验证

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/26 11:41:48

语音机器人中STM32与Linux双核架构:UART通信与FreeRTOS实时任务设计
语音机器人中STM32与Linux双核架构:UART通信与FreeRTOS实时任务设计

1. 一颗STM32在语音机器人里的真实角色很多人第一次看到带屏幕、能对话、能联网的机器人拆机图,都会愣一下:主控明明是一颗跑Linux的应用处理器,旁边怎么还焊着一颗STM32?这不是多此一举吗?我最早接触这类产品时也有同… · 2026/9/26 11:41:48

Linux下Tomcat8.5.35部署实战:从解压到调优与避坑
Linux下Tomcat8.5.35部署实战:从解压到调优与避坑

简介:一份适用于 Linux 平台的 Tomcat 8.5.35 服务器压缩包,面向需要搭建 Java Web 运行环境的开发者、运维人员及初学者。该版本为 Apache 软件基金会的开源 Servlet 容器实现,内置 Catalina、Jasper、Coyote 等核心组件,可直接解… · 2026/9/26 11:41:42

Unity3D汽车游戏项目资源:车辆物理调参与手感优化实战
Unity3D汽车游戏项目资源:车辆物理调参与手感优化实战

简介:这是一款基于Unity3D引擎开发的赛车驾驶类游戏项目,面向想要入门或进阶Unity游戏开发的学习者,可用于研究完整的游戏场景构建、物理模拟与交互逻辑。资源内含464个文件,压缩包约13.93MB,覆盖C#脚本、JavaScript脚… · 2026/9/26 11:41:42

金融数据服务架构实战:模块化分层与数据一致性设计
金融数据服务架构实战:模块化分层与数据一致性设计

1. 金融数据服务项目的整体架构设计思路1.1 为什么选择模块化分层架构拿到“financial-services”这个项目标题的时候,我第一反应不是急着写代码,而是先把整个金融数据服务的业务边界理清楚。金融数据服务和普通的内容服务有本质区别——它对数据准确性、… · 2026/9/26 11:41:42

Claude Code 之父访谈启示:用手机指挥上千 Agent 的配置骨架与验证动作
Claude Code 之父访谈启示:用手机指挥上千 Agent 的配置骨架与验证动作

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/26 11:41:42

数据库课后习题答案别硬背:当测试用例集刷,效率翻倍
数据库课后习题答案别硬背:当测试用例集刷,效率翻倍

简介:万常选版《数据库原理与设计》课后习题答案资源,覆盖第2至6章及第9章,适合正在学习关系模型、数据库建模、关系数据理论与模式求精的本科生、自学者作为复习与自测材料。压缩包共7个文件,含3个doc参考答案、2个sql示例脚本、… · 2026/9/26 0:00:21

OpenClaw 替代品?Hermes Agent 踩坑实录:macOS 飞书接入 TaoToken 配置
OpenClaw 替代品?Hermes Agent 踩坑实录:macOS 飞书接入 TaoToken 配置

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/26 0:00:40

向下兼容与向上兼容:接口设计中的兼容性策略与工程实践
向下兼容与向上兼容:接口设计中的兼容性策略与工程实践

一次版本升级事故,是很多团队绕不过去的坎。线上环境里,服务端明明已经上线了新版接口,老的移动端还在照着旧文档传参数。请求一到网关,校验直接拒绝,用户操作失败,客服群炸了锅,开发群里开始互… · 2026/9/26 0:00:46

了解更多?预约专属演示

我们的顾问将为您一对一讲解产品与方案

企业微信二维码