首页/新闻资讯/正文详情

SWE-MERA: A Dynamic Benchmark for Agenticly Evaluating Large Language Models on Software Engineer...

发布时间:2026/9/24 16:30:43 来源:云帆数科 栏目:资讯中心
SWE-MERA: A Dynamic Benchmark for Agenticly Evaluating Large Language Models on Software Engineer...
文章主要内容和创新点主要内容本文介绍了SWE-MERA,这是一个动态、持续更新的基准测试集,旨在解决现有软件工程任务基准(如SWEbench)存在的数据污染、静态性等关键局限性。该基准通过自动化收集GitHub上的真实问题并进行严格的质量验证,构建了一个可靠的评估框架。核心目标:评估大型语言模型(LLMs)在真实软件工程任务(如修复GitHub问题)中的表现,避免数据泄露和基准饱和问题。技术实现:设计了七阶段任务收集 pipeline,从GitHub仓库筛选、PR-issue映射、元数据提取到LLM质量评估,确保任务质量并最小化污染风险。目前已收集约300个可用样本,潜在任务约10,000个。评估方法:使用Aider编码代理对LLM进行评估,记录Pass@1(首次尝试成功)和Pass@6(六次尝试内成功)等指标,对2024年9月至2025年6月的任务进行了测试,展示了对最新LLM的区分能力。创新点动态更新机制:通过定期刷新测试案例,解决静态基准的数据泄露(模型记忆解决方案)和基准饱和(模型分数接近完美,无法区分进步)问题,保持任务的真实世界相关性和评估公平性。高质量 pipeline:七阶段流程(仓库选择、PR-issue映射、元数据过滤、补丁验证等)确保任务质量,结合L

相关推荐

EasyWeChat 3.x 数据统计与分析(stats)模块实战指南:用户、图文、消息与接口四大维度 API 全解析
EasyWeChat 3.x 数据统计与分析(stats)模块实战指南:用户、图文、消息与接口四大维度 API 全解析

后端即时通讯 【免费下载链接】easywechat 📦 一个 PHP 微信 SDK 项目地址: https://gitcode.com/gh_mirrors/ea/easywechat 点击查看 免费下载 EasyWeChat 的数据统计与分析模块($app->stats)封装了微信公众平台官方的"… · 2026/9/24 16:30:37

5分钟写出第一个仓颉程序:CangjieCorpus Hello World快速入门教程
5分钟写出第一个仓颉程序:CangjieCorpus Hello World快速入门教程

5分钟写出第一个仓颉程序:CangjieCorpus Hello World快速入门教程 【免费下载链接】CangjieCorpus 本仓库为仓颉编程语言语料库,聚焦 仓颉编程语言 核心知识体系,整合官方开发指南、API 文档、典型代码示例及语法规范等多维度资源&#xff0c… · 2026/9/24 16:30:37

BlockNote 端到端测试专用示例编辑器:testing 示例的设计与 e2e 测试基础设施解析
BlockNote 端到端测试专用示例编辑器:testing 示例的设计与 e2e 测试基础设施解析

前端富文本UI组件AI 应用 【免费下载链接】BlockNote A React Rich Text Editor thats block-based (Notion style) and extensible. Built on top of Prosemirror and Tiptap. 项目地址: https://gitcode.com/gh_mirrors/bl/BlockNote 点击查看 免费下载 导读 本… · 2026/9/24 16:30:24

Redis速成指南!
Redis速成指南!

Redis想必大家都听说过,不管是面试还是工作上我们都能见到。但是Redis到底能干什么?又不能干什么呢?(如下图)为什么要用Redis?上面说了Redis的一些使用场景,那么这些场景的解决方案也有很多其它… · 2026/9/24 17:39:53

宽海智能WMS(立库版)选型指南:价格、功能、周期、对接全解析
宽海智能WMS(立库版)选型指南:价格、功能、周期、对接全解析

作者:宽海智能——存量立库全科医生WMS|WCS|数字孪生|PLC升级改造|技术盘活|新增需求|维护保养长沙|佛山|苏州|成都|天津引言在制造业存量立库领域… · 2026/9/24 17:39:53

小白程序员必看!收藏这份工业大模型实战指南,从ChatGPT到数字员工只需一步!
小白程序员必看!收藏这份工业大模型实战指南,从ChatGPT到数字员工只需一步!

本文探讨了AI Agent技术如何从实验室走向产业现场,特别是新一代AI智能体在工业场景中的能力重构与落地挑战。文章详细阐述了工业Agent的“感知-规划-行动-记忆”能力链,以及工业场景对确定性、安全性、实时性和可追溯性的四项刚性约束。同时,… · 2026/9/24 17:39:53

小白程序员必备:大模型落地AI Agent后端开发进阶指南(含学习路线)
小白程序员必备:大模型落地AI Agent后端开发进阶指南(含学习路线)

本文深入解析了AI Agent后端开发的岗位需求,强调企业更看重工程化能力和系统落地能力。文章拆解了岗位JD,提炼出四大核心能力模块:企业级Agent架构研发、RAGAgent工程化落地、复杂系统架构设计以及后端性能调优与稳定性治理。同时&#xff0c… · 2026/9/24 17:39:53

GPU实例数据集冷热缓存实战:让训练不再等磁盘
GPU实例数据集冷热缓存实战:让训练不再等磁盘

在GPU算力平台做图像分类或语料训练时,显卡利用率忽高忽低,原因未必在GPU。数据集反复从远端读取、解压或随机访问缓慢,都会让训练循环停在取数据这一步。本文用一个小型图像任务,介绍如何测出瓶颈、设置缓存,并验证优… · 2026/9/24 17:39:53

项目一启动VS Code就断开?真相竟是内存不足
项目一启动VS Code就断开?真相竟是内存不足

在Linux服务器中, 项目一启动 VS Code 就断开?一次从 Windows 虚拟内存到 Linux Swap 的排查实践 文章目录在Linux服务器中, 项目一启动 VS Code 就断开?一次从 Windows 虚拟内存到 Linux Swap 的排查实践1. 问题背景:… · 2026/9/24 17:39:41

基于YOLOv8的渔船作业监控系统:从环境搭建到边缘部署全流程
基于YOLOv8的渔船作业监控系统:从环境搭建到边缘部署全流程

简介:这是一套面向计算机、人工智能、自动化等专业学生与教师的毕业设计级项目资源,围绕YOLOv8实现渔船作业监控系统,可用于毕设、课程设计、大作业或项目立项演示。压缩包共97个文件,约24.21MB,以70个Python源码文件为… · 2026/9/24 0:00:13

1D-CNN时间序列建模实战:从Conv1d原理到工业落地
1D-CNN时间序列建模实战:从Conv1d原理到工业落地

简介:面向时间序列数据建模的一维卷积神经网络完整实现,适合深度学习入门者及需要快速验证时序模型的研究者,能够从音频、文本、传感器或股价等序列中挖掘局部特征与时间依赖。压缩包体积很小,只有3KB,内含3个Python脚… · 2026/9/24 0:00:26

柔软的L:汉语语流中被忽视的舌肌张力控制
柔软的L:汉语语流中被忽视的舌肌张力控制

1. 这个“L”不是字母表里的L,而是舌尖上的L最近在几个方言群和语音教学社群里,反复看到有人发一句:“也说字母L:柔软的长舌”。初看以为是英语发音课笔记,点开才发现全是方言爱好者、播音系学生、语言康复师甚至戏曲演… · 2026/9/24 0:00:44

了解更多?预约专属演示

我们的顾问将为您一对一讲解产品与方案

企业微信二维码