首页/新闻资讯/正文详情

SWE-RL: Advancing LLM Reasoning via Reinforcement Learning on Open Software Evolution

发布时间:2026/11/4 2:20:06 来源:云帆数科 栏目:资讯中心
SWE-RL: Advancing LLM Reasoning via Reinforcement Learning on Open Software Evolution
### 摘要最近 DeepSeek-R1 的发布展示了强化学习(RL)在提升大语言模型(LLMs)通用推理能力方面的巨大潜力。虽然 DeepSeek-R1 及后续工作主要聚焦于将 RL 应用于竞赛编程和数学问题,但本文介绍了 SWE-RL,这是第一种将基于 RL 的 LLM 推理扩展到实际软件工程中的方法。SWE-RL 利用轻量级的基于规则的奖励(例如,真实解决方案与 LLM 生成的解决方案之间的相似度得分),使 LLMs 能够通过从大量开源软件演化数据(软件整个生命周期的记录,包括代码快照、代码变更以及问题和拉取请求等事件)中学习,自主恢复开发者的推理过程和解决方案。在 Llama 3 的基础上进行训练,我们得到的推理模型 Llama3-SWE-RL-70B 在 SWE-bench Verified(一个经过人工验证的真实 GitHub 问题集合)上的解决率达到 41.0%。据我们所知,这是目前为止中型(1000 亿)LLMs 中报告的最佳性能,甚至可与领先的专有 LLMs(如 GPT-4o)相媲美。令人惊讶的是,尽管仅在软件演化数据上进行 RL 训练,Llama3-SWE-RL 仍展现出了通用的推理技能。例如,它在五个跨领域任务(即函数编码、库使用、代码推理、数学和通用语言理解)上的结果有所改善,而监督微调基线在这些任务上的性能平均出现了下降。总体而言,SWE-RL 通过在大量软件工程数据上进行强化学习,为提高 LLMs 的推理能力开辟了新的方向。### 引言近年来,大语言模型(LLMs)在软件工程(SE)任务中的应用受到了广泛关注,研究人员探索了其在自动化各种复杂 SE 任务中的潜力,如库级和复杂代码生成(Zhuo 等人,2024;Zhao 等人,2024)、实际错误 / 问题解决(Xia 和 Zha

相关推荐

独角数卡部署要几步?5分钟免费搭好开源自动发卡系统的完整指南
独角数卡部署要几步?5分钟免费搭好开源自动发卡系统的完整指南

独角数卡部署要几步?5分钟免费搭好开源自动发卡系统的完整指南 【免费下载链接】dujiaoka 🦄独角数卡(自动售货系统)-开源站长自动化售货解决方案、高效、稳定、快速!🚀🚀🎉🎉 项目地址: https://gitcod… · 2026/11/4 2:20:06

reverse-engineer-anything:3 条命令把 REA 逆向工作流装进 AI 编码助手的完整教程
reverse-engineer-anything:3 条命令把 REA 逆向工作流装进 AI 编码助手的完整教程

reverse-engineer-anything:3 条命令把 REA 逆向工作流装进 AI 编码助手的完整教程 【免费下载链接】rea Reverse engineer anything with agents, from app behavior down to native binaries. 项目地址: https://gitcode.com/GitHub_Trending/rea2/rea 手里… · 2026/11/4 2:20:06

阅读APP书源导入完整指南:3种方式10秒装好,4步自查书源失效
阅读APP书源导入完整指南:3种方式10秒装好,4步自查书源失效

阅读APP书源导入完整指南:3种方式10秒装好,4步自查书源失效 【免费下载链接】Yuedu 📚「阅读」自用书源分享 项目地址: https://gitcode.com/gh_mirrors/yu/Yuedu 「阅读」APP 是一款开源阅读工具,核心玩法是通过书源解析小… · 2026/11/4 2:20:06

工程可靠性优化与鲁棒设计:应对不确定性的关键技术
工程可靠性优化与鲁棒设计:应对不确定性的关键技术

1. 可靠性优化与鲁棒设计:应对工程不确定性的双刃剑 在工程实践中,我经常遇到这样的困境:实验室里表现完美的设计方案,一旦投入实际生产就会暴露出各种问题。材料批次间的性能差异、制造过程中的微小偏差、使用环境的波动——这些… · 2026/11/4 14:17:23

企业健康申报系统设计与高并发优化实践
企业健康申报系统设计与高并发优化实践

1. 项目背景与核心需求职工健康每日申报系统是近年来企事业单位健康管理的重要数字化工具。这套系统最初源于2020年特殊时期的企业防疫需求,如今已演变为常态化健康管理平台。以某制造企业(代号M193)为例,其拥有2000余名员工&… · 2026/11/4 14:16:23

Redis读写分离架构与Spring Boot整合实战
Redis读写分离架构与Spring Boot整合实战

1. Redis读写分离架构解析Redis作为高性能键值数据库,在实际生产环境中经常会遇到读多写少的场景。我经历过一个电商项目,大促期间读请求量达到写请求的20倍以上,单节点Redis实例的CPU直接飙到100%。这时候就需要引入读写分离架构来分担主节点… · 2026/11/4 14:16:23

从Claude Code到Pi:AI Coding迁移潮与harness工程实践
从Claude Code到Pi:AI Coding迁移潮与harness工程实践

1. 这场“迁移潮”到底在迁移什么 最近半年,AI Coding 圈子里一个越来越明显的现象是:不少原本重度使用 Claude Code 的开发者,开始把日常主力工具换成了 Pi。注意,这里说的“放弃”并不是说 Claude Code 一夜之间不能用了&#x… · 2026/11/4 14:16:23

无人船MPAPF路径规划:动态避障与实时决策技术
无人船MPAPF路径规划:动态避障与实时决策技术

1. 无人船路径规划的技术挑战与创新方案在无人船自主航行领域,复杂动态环境下的路径规划一直是困扰工程师的核心难题。传统人工势场法(APF)虽然计算效率高,但在多障碍物场景容易陷入局部最优;而模型预测控制&#xff0… · 2026/11/4 14:16:23

Context即服务:AI时代的新基础设施
Context即服务:AI时代的新基础设施

1. 入口战争早已结束:当搜索框、App图标和浏览器标签都开始“失语”我第一次意识到“入口”这个词正在失效,是在去年帮一家做智能客服SaaS的客户做架构复盘时。他们花了整整18个月、投入三支前端团队,把产品首页重做了7版——从瀑布流到卡片式… · 2026/11/4 14:16:23

双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试
双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/4 3:16:49

STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析
STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/4 6:59:29

DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案
DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/4 7:02:38

AI辅助技术栈评估:提升研发决策效率60%
AI辅助技术栈评估:提升研发决策效率60%

1. 项目背景与核心价值技术决策一直是研发团队面临的重大挑战。随着技术生态的快速演进,技术栈的选择、维护和迭代变得愈发复杂。我们团队在过去两年里,先后经历了三次重大技术栈迁移,每次都需要投入大量人力进行技术评估和风险分析。直到去年… · 2026/11/4 0:00:17

从生成Token到直接决策:Jev如何重塑AI Agent工程实践
从生成Token到直接决策:Jev如何重塑AI Agent工程实践

1. 从"生成文字"到"拍板决策":Jev 到底在解决什么问题大多数人第一次接触大模型,脑子里建立的模型是"输入问题、输出文字"。你问它今天天气怎么样,它给你一段描述;你让它写个周报,它给你… · 2026/11/4 0:00:17

32G统一内存跑大模型:内存账、TPS实测与端云分流
32G统一内存跑大模型:内存账、TPS实测与端云分流

想在一台 32G 统一内存的小主机上把大模型跑成"日常可用",这件事我前后折腾了小半年。标题里说的这台 Mac mini M6,是我们这次讨论的目标平台,具体到手规格以实物为准;但下面这套推算方法和实测思路,对任何统… · 2026/11/4 0:00:17

双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试
双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/4 3:16:49

STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析
STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/4 6:59:29

DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案
DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/4 7:02:38

了解更多?预约专属演示

我们的顾问将为您一对一讲解产品与方案

企业微信二维码