首页/新闻资讯/正文详情

SWE-bench 快速上手指南:用真实 GitHub Issue 评测大模型的编程能力

发布时间:2026/9/26 2:01:57 来源:云帆数科 栏目:资讯中心
SWE-bench 快速上手指南:用真实 GitHub Issue 评测大模型的编程能力
SWE-bench 快速上手指南用真实 GitHub Issue 评测大模型的编程能力【免费下载链接】SWE-benchSWE-bench: Can Language Models Resolve Real-world Github Issues?项目地址: https://gitcode.com/GitHub_Trending/sw/SWE-benchSWE-bench 是用真实 GitHub Issue 考察大模型软件工程能力的评测基准给它一个仓库和一个 issue模型需要产出能修好它的补丁评测器再在容器里跑测试给出可复现的客观分数。演示很聪明上线就翻车你让新接入的编码助手修一个真实 bugdemo 里写得很漂亮合进主干后既有测试却挂了三个。没有客观数据谁更强只能靠感觉和宣传。这正是 SWE-bench 要回答的问题——模型在真实代码库上到底能不能修好真实的 issue且不误伤别的测试它解决什么不解决什么SWE-bench 解决一件事给 LLM 的读题—改码—过测试能力打分题库来自 GitHub 上的真实 issue 与 PR。它不解决另外几件事不是代码补全或算法题评测不替代你项目里的 CI 测试体系也不会替你修 bug——它只负责考模型负责答。SWE-bench 评测机制容器化三步走每个任务实例都带齐五样东西仓库与base_commit、issue 描述、参考补丁gold patch、测试补丁以及FAIL_TO_PASS/PASS_TO_PASS两组测试名。这是判断修好了的依据前者必须从失败变通过后者必须保持通过。第一步为实例构建专属 Docker 镜像镜像构建逻辑在 swebench/image_builder/把仓库固定在出 bug 的那个 commit 上保证每次评测都在同一环境里进行消除机器差异。第二步应用补丁并运行测试容器里先应用测试补丁再打上模型生成的model_patch随后运行测试脚本并解析输出各语言的解析器位于swebench/harness/log_parsers/。两组测试都满足才算 resolved结果按run_id和instance_id缓存。SWE-bench 快速上手跑通你的第一次评测先装好 Docker再安装项目并做环境自检git clone https://gitcode.com/GitHub_Trending/sw/SWE-bench cd SWE-bench pip install -e . # 用官方参考补丁gold验证环境只跑 1 个实例 python -m swebench.harness.run_evaluation \ --max_workers 1 \ --instance_ids sympy__sympy-20590 \ --predictions_path gold \ --run_id validate-gold跑通后你会看到logs/下出现镜像构建与评测日志evaluation_results/里是最终结果sympy 这个实例应显示为 resolved。这条 gold 验证是后续一切自定义评测的前置检查环境不对先别怪模型。适用人群与使用边界适合需要在多个编码模型或助手之间做客观对比、验证微调效果、或把评测接入流水线的团队。不适合机器不满足官方建议至少 120GB 磁盘、16GB 内存、8 核 CPU 的 x86_64 环境只关心代码补全质量的场景或者不想碰 Docker 的人——整个评测流程都跑在容器里--max_workers建议取min(0.75 * cpu_count, 24)。数据集可按需求挑full 全量 2,294 实例、lite 534 实例快速迭代、verified 500 个经工程师确认可解的实例另有含截图的多模态版与覆盖 9 种语言、300 实例的多语言版对照见 docs/guides/datasets.md。进阶玩法生成预测与离线复判有了预测文件每行含instance_id、model_patch的 JSONL即可正式评测也可以直接用内置 agent 生成预测或基于已存日志重新打分不用重起容器swebench infer verified -m gpt-5 -o preds -w 8 # 用 mini-SWE-agent 生成预测 swebench report run_id # 基于已存日志重新判定想把结果提交到排行榜走swebench submit package / publish / register三步即可想给自己的仓库造新任务swebench/collect/ 开源了完整的数据收集管线见 docs/guides/collection.md。回到开头的问题助手修完 bug 后既有测试挂了现在你有一条可量化的路。先用 gold 验证确认环境正确再用同一套命令评自己的模型。分数背后是真实 issue 和真实测试选型不用再凭感觉。【免费下载链接】SWE-benchSWE-bench: Can Language Models Resolve Real-world Github Issues?项目地址: https://gitcode.com/GitHub_Trending/sw/SWE-bench创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

相关推荐

Hippy 与 hippy-vue-router 演进史:从 vue-router 适配到原生 Back 键集成的版本路线图
Hippy 与 hippy-vue-router 演进史:从 vue-router 适配到原生 Back 键集成的版本路线图

跨平台移动开发前端 【免费下载链接】Hippy Hippy is designed to easily build cross-platform dynamic apps. 👏 项目地址: https://gitcode.com/gh_mirrors/hi/Hippy 点击查看 免费下载 导读 hippy-vue-router(npm 包名 hippy/vue-route… · 2026/9/26 2:01:57

Python机器学习入侵检测系统实战:从流量特征工程到模型部署上线
Python机器学习入侵检测系统实战:从流量特征工程到模型部署上线

简介:这是一套面向计算机科学与技术等相关专业高年级学生的机器学习网络入侵检测系统Python源码,适用于课程设计、综合实践或毕业设计等教学场景,可帮助读者理解特征工程与分类算法在信息安全领域的落地方式。资源包共27个文件,约… · 2026/9/26 2:01:43

RocketMQ LiteTopic 彻底解决海量用户消息风暴问题
RocketMQ LiteTopic 彻底解决海量用户消息风暴问题

文章目录1. 先说一个让人血压升高的场景2. 这条消息链路,天生就是按用户长的2.1 生产侧2.2 消费侧3. 传统 Topic 为什么接不住这活3.1 单用户风暴,全组陪跑3.2 自己补?等于在 MQ 上再造一套 MQ4. LiteTopic:把“用户”变成消息系统… · 2026/9/26 2:01:43

长途高铁降噪耳机怎么选?实测十几款后的避坑指南
长途高铁降噪耳机怎么选?实测十几款后的避坑指南

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/26 3:08:12

OpenPencil AI 聊天助手实战指南:模型配置、BYOK 直连与 ACP/MCP 扩展
OpenPencil AI 聊天助手实战指南:模型配置、BYOK 直连与 ACP/MCP 扩展

前端桌面应用AI 应用MCP 服务 【免费下载链接】open-pencil AI-native design editor. Open-source Figma alternative. 项目地址: https://gitcode.com/gh_mirrors/op/open-pencil 点击查看 免费下载 导读 OpenPencil 内置的 AI 聊天助手(AI Chat&… · 2026/9/26 3:08:12

Bangumi 追番记录客户端本地构建指南:从源码安装到真机运行
Bangumi 追番记录客户端本地构建指南:从源码安装到真机运行

Bangumi 追番记录客户端本地构建指南:从源码安装到真机运行 【免费下载链接】Bangumi :electron: An unofficial https://bgm.tv ui first app client for Android and iOS, built with React Native. 一个无广告、以爱好为驱动、不以盈利为目的、专门做 ACG 的类似… · 2026/9/26 3:08:12

Zotero-arXiv-Daily 每日论文推荐指南:fork 一次,从此每天收到只属于你的 arXiv 邮件
Zotero-arXiv-Daily 每日论文推荐指南:fork 一次,从此每天收到只属于你的 arXiv 邮件

Zotero-arXiv-Daily 每日论文推荐指南:fork 一次,从此每天收到只属于你的 arXiv 邮件 【免费下载链接】zotero-arxiv-daily Recommend new arxiv papers of your interest daily according to your Zotero libarary. 项目地址: https://gitcode.com/Gi… · 2026/9/26 3:08:12

达梦数据库版本查询全攻略:6种方法+排障实战经验
达梦数据库版本查询全攻略:6种方法+排障实战经验

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/26 3:08:06

告别短视频、寻找复利人生:我为什么从零自学数学(完整心路记录)
告别短视频、寻找复利人生:我为什么从零自学数学(完整心路记录)

文章目录一、个人现状与底层困境二、我的选择:从零系统自学数学(真实学习状态)三、我最初的两大核心困惑四、核心答疑:我到底算不算喜欢数学?五、路线最终取舍:不二选一,主线支线完美结合1. 主线… · 2026/9/26 3:08:06

数据库课后习题答案别硬背:当测试用例集刷,效率翻倍
数据库课后习题答案别硬背:当测试用例集刷,效率翻倍

简介:万常选版《数据库原理与设计》课后习题答案资源,覆盖第2至6章及第9章,适合正在学习关系模型、数据库建模、关系数据理论与模式求精的本科生、自学者作为复习与自测材料。压缩包共7个文件,含3个doc参考答案、2个sql示例脚本、… · 2026/9/26 0:00:21

OpenClaw 替代品?Hermes Agent 踩坑实录:macOS 飞书接入 TaoToken 配置
OpenClaw 替代品?Hermes Agent 踩坑实录:macOS 飞书接入 TaoToken 配置

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/26 0:00:40

向下兼容与向上兼容:接口设计中的兼容性策略与工程实践
向下兼容与向上兼容:接口设计中的兼容性策略与工程实践

一次版本升级事故,是很多团队绕不过去的坎。线上环境里,服务端明明已经上线了新版接口,老的移动端还在照着旧文档传参数。请求一到网关,校验直接拒绝,用户操作失败,客服群炸了锅,开发群里开始互… · 2026/9/26 0:00:46

了解更多?预约专属演示

我们的顾问将为您一对一讲解产品与方案

企业微信二维码