ReAct大模型学习指南：边查边想，提升任务成功率，小白也能轻松掌握收藏！

ReAct是一种将推理与行动结合的大模型方法通过交替进行推理文本、动作和环境观察提升任务解决能力。实验证明在知识问答和交互任务中ReAct均能有效提高成功率。本文将带你读懂ReAct的核心原理和实践方法适合大模型初学者学习和收藏。先看三个要点研究问题大模型只做推理时可能依赖错误事实只调用工具时又可能缺少规划和信息整合。怎样让推理指导行动让外部反馈继续修正推理解决方案ReAct 将推理文本、动作和环境观察组织成交替进行的任务轨迹。模型选择下一步动作程序执行工具并将返回结果交给模型继续处理。效果与结论论文的 WebShop 实验中ReAct 成功率为 40.0%Act-only 为 30.1%提高 9.9 个百分点但在 HotpotQA 上ReAct 仍低于 CoT。结果支持推理与行动结合的价值也表明收益依赖任务和配置并非所有场景都会提升。ReAct 由 Shunyu Yao 等人提出发表于 ICLR 2023。读懂这篇论文可以从一次搜索失败后模型如何调整行动说起。01 先看一个需要“边查边想”的问题论文图 1 给出了一道多跳问答除了 Apple Remote还有什么设备能控制它最初配套使用的那个程序要回答它需要先确定那个程序是什么再查这个程序还支持什么控制方式。把问题拆成两步并不难困难在于第一步的事实是否可靠搜索结果是否指向了正确对象。论文展示的 ReAct 轨迹是这样的先搜索 Apple Remote得到与 Front Row 程序有关的信息。接着搜索 Front Row却没有直接找到目标页面环境返回相似条目。根据反馈把搜索词改成 Front Row (software)。在新结果中找到键盘功能键也能控制它的依据再提交答案。关键在第三步下一次搜索由上一次搜索的反馈推动。 模型根据新信息调整查询逐步找到答案。原论文图 1 上半部分同一问题的四种处理方式。绿色标出支持正确答案的内容红色标出错误。来源Yao 等ReAct原图CC BY 4.0。摘取问答面板。在这里的实验设置中普通提示直接回答思维链 CoT 增加中间推理Act-only 保留动作和环境反馈ReAct 则让三者交替参与求解。02 三种信息来自不同的地方ReAct 的典型问答循环包含三个部分环节由谁产生、承担什么作用Thought推理文本模型生成用于拆解问题、整理已知信息、规划或调整下一步Action动作模型提出动作及参数程序解析并调用相应工具Observation观察工具或环境实际返回成为下一轮模型输入的一部分最关键的边界是Thought 和 Action 是模型的输出Observation 应由执行环境提供。模型写出“我查到了某条事实”不代表它真的搜索过。只有程序执行对应动作并把结果接回来才产生了这次外部交互的证据。Thought 只更新上下文搜索、移动物体等动作才与环境交互。推理也不必出现在每一步操作较多时可以只在规划、判断状态或调整目标时生成。论文第 2 节什么时候查、查什么由谁决定模型根据任务、示例和当前历史生成动作开发者定义可用工具及执行规则。例如Search[Front Row (software)]的搜索词由模型选择结果返回后模型再决定继续查找、换词还是提交答案。基础 ReAct 主要通过少量示范轨迹引导这种行为没有独立的“事实不足检测器”替它判断。因此它仍可能选错词、误读结果或过早结束。03 打开源码循环其实很小作者公开的 HotpotQA 示例 使用 GPT-3。下面用伪代码概括核心循环context instruction demonstrations question for step in range(1, 8): output model(context, stopf/nObservation {step}:) thought, action parse(output) observation, done environment.step(action) context format_step(thought, action, observation) if done: break else: environment.step(finish[])第一程序在 Observation 标记处停止模型生成。程序让模型生成 Thought 和 Action在 Observation 标记处截停再执行工具、填入返回结果。输出格式仍需解析示例也设置了解析失败后重新请求动作的补救分支。第二历史直接追加在提示词中。每轮推理、动作和观察都会追加到上下文下一轮完整交给模型。这份实现没有向量记忆库或历史检索器跨任务记忆、历史压缩、按需回看需要另行设计。第三工具非常克制。WikiEnv 主要支持三个问答动作search[entity]搜索维基百科找到页面时代码抽取并返回前五句未直接找到时返回相似条目。lookup[keyword]在当前页面的文本中依次返回包含关键词的句子。finish[answer]提交答案并结束任务。其中lookup使用不区分大小写的字符串匹配。第四主动结束与强制结束是两回事。模型可以生成finish[answer]。但 HotpotQA 示例最多允许七轮超过限制仍未结束程序就提交空答案结束任务。这是开发者设置的上限不代表模型已经确认信息充分。04 实验结果需要拆开来看知识问答ReAct 并非全面胜出主文表 1 使用 PaLM-540B。HotpotQA 评价多跳问答指标是答案精确匹配率 EMFEVER 评价事实核验指标是分类准确率。两列均以百分比表示越高越好。方法HotpotQA EMFEVER 准确率直接回答28.757.1CoT29.456.3CoT-SC33.460.4Act-only25.758.9ReAct27.460.9CoT-SC → ReAct34.264.6ReAct → CoT-SC35.162.0数据论文表 1第 5 页摘录提示方法结果。ReAct 在两个任务中都超过 Act-only但在 HotpotQA 上低于 CoT。外部检索能提供事实依据也可能因搜索失败、推理失误而拖累答案。组合方法取得了更高分数但有额外的采样与检索成本。CoT-SC 使用 21 条推理轨迹投票CoT-SC → ReAct 在最高票答案不足半数时转向检索反向组合则在 ReAct 达到步数上限仍未回答时退回 CoT-SC。这些切换由程序规则控制。论文第 3.2 节原论文图 2横轴为 CoT-SC 采样次数左右分别为 HotpotQA EM 与 FEVER 准确率。来源Yao 等ReAct原图CC BY 4.0。仅裁去周边正文。选择方案时还需在相同预算约束下比较准确率、耗时和成本。交互任务规划和状态跟踪的作用更明显论文表 3、表 4 还报告了两个模拟环境的结果ALFWorld通过文本动作完成找物品、清洗、放置等任务。在 134 个评估任务、六种提示配置中ReAct 平均成功率为 57%最佳配置为 71%Act-only 最佳配置为 45%。WebShop根据多个条件查找并选择商品。在 500 条测试指令上ReAct 成功率为 40.0%Act-only 为 30.1%提高 9.9 个百分点。这些结果体现了规划与状态跟踪的作用拆分目标、记住已完成的步骤再根据反馈继续行动。它们衡量的是模拟任务表现并非真实机器人操作或实际购物效果。05 有轨迹依然会犯错作者从 HotpotQA 中为 ReAct、CoT 各抽取 50 条成功与 50 条失败轨迹共 200 条进行人工分析。ReAct 失败样本中推理错误占 47%搜索结果错误占 23%重复动作、陷入循环也属于推理错误。论文表 2表中的 ReAct“幻觉”类别为 0%仅代表这组抽样与分类结果。其他任务依然出现了编造信息的问题。论文图 5 的任务是把两串钥匙放进保险箱。模型找到第一串后错误地认为另一个位置还有第二串钥匙随后沿着这个错误判断继续行动。作者展示了人工编辑两处推理文本、让任务转向成功的一条轨迹。原论文图 5左侧轨迹包含错误判断右侧展示人工编辑两处推理文本后的行为变化。这是人工干预示例不是规模化可靠性的证明。来源Yao 等ReAct原图CC BY 4.0。仅裁去周边正文。执行轨迹便于定位错误也提供了人工介入的位置。但 Thought 仍是模型生成的文本可能包含错误解释。可读的轨迹不等于经过验证的内部因果解释。06 它与 RAG、信息来源追踪是什么关系简单的 RAG检索增强生成通常先检索材料再生成答案。把知识库检索接入 ReAct 后模型可以根据已有结果继续改写查询、补充检索直到提交答案。是否值得增加交互轮次需要结合收益与成本判断。进一步如果我们关心“最终这句话究竟来自哪里”ReAct 提供了可记录的交互节点但还没有完成逐句归因。调用过某篇文档只能说明系统接触过它不能自动证明答案里的每句话都来自它。要做一个可核查的系统我会在此基础上增加三类记录每次工具调用的参数、返回原文、来源地址、时间与版本保存模型当时实际看到的内容。最终答案中的关键事实与支持它的具体段落建立对应关系没有足够依据时明确标记。将“检索没找到”“证据被误读”“引用不支持结论”“程序执行失败”分别统计。这属于基于论文提出的工程扩展不是 ReAct 已经实现的完整能力。对于模型依靠参数知识生成的内容更不能只看输出就精确还原其训练来源。07 把论文变成一个可比较的实验可以从文档问答入手在同一模型、文档和检索工具下比较“一次检索”“允许多轮检索”“多轮检索并关联具体证据”三种设置。除了答案正确率还记录证据支持程度、无效检索和实际耗时、成本。这是一项基于论文的实验建议。如果多轮检索没有提升就沿轨迹检查查询选错了、资料缺失、证据被误读还是已经找到答案却没有停止ReAct 的启发是把推理放进能接受外部反馈的过程再用任务结果检验这个过程。 能解释一次 Agent 为什么多查了一步、为何错误地停止才开始把论文变成自己的工程判断。大模型的知识又多又杂到底怎么学做这行久了被问最多的问题就一个大模型的知识又多又杂我到底先学啥翻了一堆资料看啥都像重点结果啥都没学进去。今天把我自己一路摸出来的顺序捋一遍零基础、应届生、转行的都适用。跟着走至少方向不乱、不瞎忙学完拿得出手。第一阶段10天初阶应用这一阶段就一个目标把大模型真正玩明白不是只会聊天那种而是能调教它、能用代码把大模型和业务接起来。大模型 AI 能干什么大模型是怎样获得「智能」的用好 AI 的核心心法大模型应用业务架构大模型应用技术架构代码示例向 GPT-3.5 灌入新知识提示工程的意义和核心思想Prompt 典型构成指令调优方法论思维链和思维树Prompt 攻击和防范…第二阶段30天高阶应用这阶段正式进实战目标很实在做出两个能拿出手的东西——一个私有知识库一个 agent 对话机器人。为什么要做 RAG搭建一个简单的 ChatPDF检索的基础概念什么是向量表示Embeddings向量数据库与向量检索基于向量检索的 RAG搭建 RAG 系统的扩展知识混合检索与 RAG-Fusion 简介向量模型本地部署…走完这 30 天Python 或 JavaScript 背景的基本能独立做一套 RAG 应用简历上也敢写大模型应用开发了。第三阶段约20天动手微调学到这你已经开始 “造” 模型了 —— 通过微调搞出垂直领域的专用小模型。为什么要做 RAG什么是模型什么是模型训练求解器 损失函数简介小实验2手写一个简单的神经网络并训练它什么是训练/预训练/微调/轻量化微调Transformer结构简介轻量化微调实验数据集的构建…恭喜你如果学到这里你基本可以找到一份大模型 AI相关的工作自己也能训练 GPT 了通过微调训练自己的垂直大模型能独立训练开源多模态大模型掌握更多技术方案。到此为止大概2个月的时间。你从 “只会用” 变成 “能造” 的 AI 小子。那么你还想往下探索吗想要入局AI大模型赛道、抢占行业红利的朋友微信扫描下方CSDN官方认证二维码即可100%免费领取全套学习资料第四阶段20天商业闭环部署落地技术学完落地才算数。这阶段带你搞明白大模型怎么真正跑起来、用起来。硬件选型带你了解全球大模型使用国产大模型服务搭建 OpenAI 代理热身基于阿里云 PAI 部署 Stable Diffusion在本地计算机运行大模型大模型的私有化部署基于 vLLM 部署大模型案例如何优雅地在阿里云私有部署开源大模型部署一套开源 LLM 项目内容安全互联网信息服务算法备案…想要入坑大模型的朋友给大家准备了一份2026 年最新 AI 大模型全套学习资料1、大模型系统化学习路线2、大模型学习视频教程3、大模型学习书籍电子文档4、AI大模型最新行业报告5、大模型项目实战配套源码6、2026大模型大厂面试真题7、为什么要学习大模型我国在A大模型领域面临人才短缺,数量与质量均落后于发达国家。2023年人才缺口已超百万凸显培养不足。随着AI技术飞速发展预计到2025年,这一缺口将急剧扩大至400万,严重制约我国AI产业的创新步伐。加强人才培养,优化教育体系,国际合作并进是破解困局、推动AI发展的关键。8、适合谁学传统后端 / Java / 前端开发想转型 AI 应用大学生、应届生想拿更好的 offer产品经理、运营想武装职业竞争力技术负责人想给团队落地提效学习是反人性的但回报是真金白银。技术会更新赛道会切换但只要你先动手机会就永远站在你这边。9、这些资料真的有用吗这份资料由我和鲁为民博士(北京清华大学学士和美国加州理工学院博士)共同整理现任上海殷泊信息科技CEO其创立的MoPaaS云平台获Forrester全球’强劲表现者’认证服务航天科工、国家电网等1000企业以第一作者在IEEE Transactions发表论文50篇获NASA JPL火星探测系统强化学习专利等35项中美专利。本套AI大模型课程由清华大学-加州理工双料博士、吴文俊人工智能奖得主鲁为民教授领衔研发。资料内容涵盖了从入门到进阶的各类视频教程和实战项目无论你是小白还是有些技术基础的技术人员这份资料都绝对能帮助你提升薪资待遇转行大模型岗位。想要入局AI大模型赛道、抢占行业红利的朋友微信扫描下方CSDN官方认证二维码即可100%免费领取全套学习资料好了就写到这。路线是死的人是活的卡住了随时来问我。觉得有用就点个收藏别让它进收藏夹吃灰——动起来比啥都强。