首页/新闻资讯/正文详情

MAgent‑Eval:面向多智能体协作与博弈的大规模评测套件

发布时间:2026/9/25 20:03:55 来源:云帆数科 栏目:资讯中心
MAgent‑Eval:面向多智能体协作与博弈的大规模评测套件
MAgent‑Eval:面向多智能体协作与博弈的大规模评测套件arXiv编号:arXiv:2609.21325v1 [cs.AI]摘要多智能体系统包含协作、竞争博弈、混合动机交互,是大模型智能体重要研究方向,但目前缺少统一、大规模、场景丰富的标准化评测套件。本文提出MAgent‑Eval,一套面向大语言模型多智能体交互的大规模开源评测套件。数据集包含1200条完整多智能体交互实例,覆盖三大交互范式:纯协作、零和博弈、混合动机博弈;涵盖谈判、团队规划、密室逃脱、资源竞争、社会困境、道德权衡等12类现实世界场景。MAgent‑Eval设计分层评测指标:包含单智能体个体能力指标、交互过程指标、全局系统级指标;同时提供可复现运行脚手架、参考评判脚本、标准化评估流水线。在10个主流大模型上开展大规模评测;实验揭示:模型在单智能体任务上的性能不能直接迁移预测多智能体交互表现;博弈对抗场景下,强单基座模型仍然会出现策略误判、被对手诱导等问题。消融实验分析智能体数量、信息不对称、角色分配对交互结果的影响。整套数据集、运行脚手架、评判脚本全部开源。关键词多智能体;多智能体评测;博弈;协作;混合动机;大语言模型智能体目录引言相关工作MAgent‑Eval评测套件设计3.1 任务分类与场景3.2 实例构造流程3.3 交互环境脚手架3.4 分层完整指标体系3.4.1 个体智能体指标3.4.2 交互过程指标3.4.3 全局系统指标实验设置4.1 被测模型集合4.2 评测执行配置4.3 对比参考基线主实验结果5.1 不同交互范式下模型整体表现

相关推荐

DENSE:将智能体轨迹提炼为面向自我改进的证据驱动捷径树
DENSE:将智能体轨迹提炼为面向自我改进的证据驱动捷径树

DENSE:将智能体轨迹提炼为面向自我改进的证据驱动捷径树 arXiv编号:arXiv:2609.21423v1 [cs.AI] 摘要 线上部署的大模型智能体会产出海量执行轨迹,但任务专属验证器、专家标注成本高昂,难以大规模获取。本文研究:在没有事后任务结果标签的前提下,如何从原始轨迹中提炼可复… · 2026/9/25 20:03:55

Docker 部署 Kafka 消息中间件实战:Lottery 抽奖系统 MQ 环境搭建与生产消费验证
Docker 部署 Kafka 消息中间件实战:Lottery 抽奖系统 MQ 环境搭建与生产消费验证

文档教程后端 【免费下载链接】CodeGuide :books: 本代码库是作者小傅哥多年从事一线互联网 Java 开发的学习历程技术汇总,旨在为大家提供一个清晰详细的学习教程,侧重点更倾向编写Java核心内容。如果本仓库能为您提供帮助,请给予支持(关注、… · 2026/9/25 20:03:49

HuggingFace| Carbon静态工程评测:26个文件背后的基因组基础模型“极简主义”革命
HuggingFace| Carbon静态工程评测:26个文件背后的基因组基础模型“极简主义”革命

HuggingFace| Carbon静态工程评测:26个文件背后的基因组基础模型“极简主义”革命评测快照:huggingface/carbon 10bbc4b 项目定位:HuggingFace开源的生成式基因组基础模型,用非重叠6-mer分词处理DNA序列 数据指标&… · 2026/9/25 20:03:49

GEOFlow API v1开发者完整指南:用REST接口全自动驱动GEO运营工作流
GEOFlow API v1开发者完整指南:用REST接口全自动驱动GEO运营工作流

GEOFlow API v1开发者完整指南:用REST接口全自动驱动GEO运营工作流 【免费下载链接】GEOFlow Open-source GEO content engineering and multi-site distribution platform with AI quality inspection, illustrated admin help, hosted sites, browser-assisted pu… · 2026/9/25 23:05:48

8B模型LoRA微调营销文案:数据准备、训练参数与Ollama部署
8B模型LoRA微调营销文案:数据准备、训练参数与Ollama部署

简介:面向具备机器学习基础的技术人员与市场营销从业者,一套围绕AI模型高效训练的实战指南,核心思路是先借助大型模型生成多样化营销训练数据,再通过Unsloth微调8B小模型,使其在广告文案、社交话题等营销内容生成上接近… · 2026/9/25 23:05:36

基于私有知识库的LLM智能客服问答系统:从RAG到私有化部署实战
基于私有知识库的LLM智能客服问答系统:从RAG到私有化部署实战

简介:这套资源是基于企业私有知识库的大语言模型智能客服问答系统,支持私有化部署,主要面向企业技术团队、AI应用开发者以及需要搭建内部智能问答平台的管理者,尤其适合对数据安全有较高要求的场景。资源包共1302个文件&#xff0… · 2026/9/25 23:05:29

MaaEnd节点测试教程:如何用测试用例验证识别稳定命中
MaaEnd节点测试教程:如何用测试用例验证识别稳定命中

MaaEnd节点测试教程:如何用测试用例验证识别稳定命中 【免费下载链接】MaaEnd MaaEnd 终末地小助手:基于视觉 AI 的「明日方舟:终末地」自动化工具 项目地址: https://gitcode.com/gh_mirrors/maa/MaaEnd MaaEnd 是基于视觉 AI 的《明… · 2026/9/25 23:05:29

Apache Pulsar Functions 快速入门实战:从本地运行到集群部署
Apache Pulsar Functions 快速入门实战:从本地运行到集群部署

消息队列后端流处理 【免费下载链接】pulsar Apache Pulsar - distributed pub-sub messaging system 项目地址: https://gitcode.com/gh_mirrors/pulsar28/pulsar 点击查看 免费下载 本指南以 Apache Pulsar 的 Pulsar Functions 轻量级流处理模型为主题&#xff… · 2026/9/25 23:05:29

Dora 分布式部署指南:多机集群、标签调度、滚动升级与 systemd 运维完整手册
Dora 分布式部署指南:多机集群、标签调度、滚动升级与 systemd 运维完整手册

Dora 分布式部署指南:多机集群、标签调度、滚动升级与 systemd 运维完整手册 【免费下载链接】dora DORA (Dataflow-Oriented Robotic Architecture 面向数据流的机器人架构) 是为 AI 与具身智能机器人打造的高性能开发框架,以数据流范式重构开发逻辑&am… · 2026/9/25 23:05:23

数值优化(Numerical Optimization)学习系列-03-共轭梯度方法(Conjugate Gradient)
数值优化(Numerical Optimization)学习系列-03-共轭梯度方法(Conjugate Gradient)

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/25 1:00:31

创维E900V22D刷机全攻略:S905L3SB芯片兼容性解析与救砖实战
创维E900V22D刷机全攻略:S905L3SB芯片兼容性解析与救砖实战

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/25 1:00:31

MQTT协议原理与Broker服务器搭建实战:从Mosquitto到EMQX
MQTT协议原理与Broker服务器搭建实战:从Mosquitto到EMQX

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/25 1:00:37

了解更多?预约专属演示

我们的顾问将为您一对一讲解产品与方案

企业微信二维码