大模型从聊天到干活：Agent范式崛起，小白也能轻松掌握收藏必备！

Transformer架构自2017年问世以来人工智能发展突飞猛进从GPT系列模型的参数规模增长到ChatGPT的爆火揭示了“规模法则”的重要性。然而数据瓶颈逐渐显现OpenAI推出GPT-o1通过强化学习提升模型推理能力Devin等通用Agent则标志着大模型从聊天转向自主完成任务的新阶段。本文从ReAct和POMDP理论出发解析Agent的本质阐述LLM如何进化为智能体并探讨训练数据、基础设施和上下文工程等关键要素揭示大模型Agent化背后的逻辑与趋势。2017 年Google 发表了论文《Attention Is All You Need》。Transformer 架构横空出世没有人意识到一篇论文会在此后的十年里彻底改写人工智能的走向。2019 年OpenAI 发布了 GPT-2。15 亿参数生成的文本已经能够以假乱真。2020 年GPT-3 发布。1750 亿参数大了两个数量级并且开始表现出真正的智能它能写文章、写代码、做翻译甚至能完成一些简单的逻辑推理。2022 年 11 月ChatGPT 上线。两个月一亿用户。这是人类历史上增长最快的消费级应用没有之一。Scaling Law 在这一年被反复提及——数据越多模型越大能力越强。这条规律简单、粗暴、有效。2023 年 3 月GPT-4 发布。多模态、更强的推理、更长的上下文。Scaling Law 被推到了一个新的高度。但也是在这一年一个隐忧开始浮现人类几乎已经把所有能找到的文本数据都喂给了模型。互联网上的公开文本、学术论文、代码仓库、书籍……能用的都用上了。数据快要不够用了。接下来怎么办2024 年 9 月OpenAI 给出了一个方向GPT-o1 ——通过强化学习RL让模型在回答之前先进行一轮内部的推理链。3 个月后DeepSeek R1 也用开源的方式验证了RL 可以有效用于大语言模型的训练。RL 最初被用来增强 thinking 能力解决数学题。很快大家发现在一些目标明确、可评估的领域RL 的效果出奇地好。这时OpenAI 继续押注 Scaling Law 和通用智能把精力放在让模型更聪明上。Anthropic 则选择选择了一条更务实的路——深耕编程。从 Claude 3.5 系列模型开始展现出了明显强于同行的多轮交互能力和代码解决能力。当时大多数人还在用旧的方式使用新模型问一个问题得到答案并用一个单独的模型来应用文件的修改。但在 Devin 率先发布了号称全球第一个 AI 软件工程师。和 Cursor、GitHub Copilot 这些辅助的方式不同Devin 不需要人类一步步确认——它自己规划、自己写代码、自己调试、自己提交。一个完整的编程任务从头到尾自主完成。2025 年 3 月份Manus 受到 Devin 的启发发布了全球第一个通用 Agent。不局限于编程Manus 将 Agent 待到了通用领域它可以制作 PPT、深度调研、完成各种跨领域的复杂任务。一夜之间Agent 这个词从学术圈走进了大众视野。Agent 的范式确立。随后的一年时间里Anthropic 内部孵化出了 Claude CodeOpenAI 也发布了 Codex国内各家大厂和模型厂商的 WorkBuddy、Qoderwork、豆包专业版、Kimi Work 等通用 Agent 产品百花齐放进入激烈竞争、拓展市场的节奏。我想不久后通用 Agent 将真正走进了每个人的工作成为新的工作台。那么大模型到底是从什么时候开始突然从只能聊天变成了可以干活的 Agent从 2017 年的 Transformer 到 2026 年的 Agent 百花齐放模型有了哪些进步Agent 到底是什么Chat 和 Agent 之间的本质区别是什么这篇文章我想从第一性原理出发把这个问题讲清楚。Agent 和 Chat 之间的本质区别是什么呢是工具的使用吗tool_call 让模型使用了工具而不只是问答但工具使用 tool_call 只是一个开始其实 23 年就有 tool_call。2023 年 6 月 13 日ChatGPT 在其 API 更新中正式推出了 Function Calling 功能。这一功能允许开发者以结构化的方式定义函数模型可以根据用户输入自动判断何时需要调用函数并返回符合函数签名的 JSON 格式参数从而更可靠地将 GPT 的能力与外部工具和 API 连接起来。还记得当时在 ChatGPT 官方的演示文档中演示的是调用一个 tool 去查询天气。接着很多早期的类似 autogpt 这样的项目开始初具 Agent 的雏形但受限于当时的模型能力autogpt 这样的框架并不能激发出模型的 Agent 能力。AutoGPT 项目 https://github.com/significant-gravitas/autogpt后续有很多像 autogpt 这样的项目出现把框架做得越来越复杂。比如 Coze 的工作流比如 dify 的工作流画布。Coze 工作流截图图片来源于网络但这些都不是 Agent。想要回答这个问题需要回到第一性原理上回答「Agent 是什么」ReAct对于大语言模型来说第一性原理可以追溯到姚顺雨的论文 —— ReAct2022 年 10 月姚顺雨Shunyu Yao发表了论文 《ReAct: Synergizing Reasoning and Acting in Language ModelsarXiv: 2210.03629》。这篇论文首次系统性地提出了大语言模型不应将「推理」和「行动」作为两个独立的研究方向而应以交互interleaved的方式同时生成推理轨迹和任务动作——推理帮助模型规划、追踪和更新行动方案并处理异常行动则让模型能够与外部知识源和环境交互以获取额外信息。这一范式后来成为 LLM Agent 的理论基石。ReAct 框架的核心组成部分推理 (Reasoning)模型首先分析问题思考可能的解决方案并规划下一步行动。行动 (Acting)模型根据推理结果执行具体操作如搜索信息、执行计算等。观察 (Observing)模型观察行动的结果获取新信息。循环迭代模型重复上述步骤不断调整推理和行动直到解决问题。问题[任务相关的问题或声明] 思考1[描述模型应该如何开始推理] 行动1[搜索|查找] [检索的实体或字符串] 观察1[检索到的信息或执行查找行动后的结果] 思考2[基于观察1的进一步推理] 行动2[相应的行动如继续搜索或查找] 观察2[行动执行后的结果] ... 思考n[最终推理步骤] 行动n[完成] [得出的答案]仔细看 ReAct 的「思考→行动→观察」的循环这个模式其实并不是全新的我们在过去的研究中可以找到相似的影子在人工智能领域早已有相似的数学描述。这套数学框架叫做部分可观测的马尔可夫决策过程POMDP它比 ReAct 早了整整几十年。POMDP 部分可观测的马尔可夫决策过程Agent—中文翻译成智能体—并不是一个只在大语言模型LLM出现后的概念。在没有大语言模型 LLM 之前智能体是指一个能够自主感知环境、做出决策并采取行动以实现目标的系统。这个概念最早来自人工智能和控制论领域——比如下国际象棋的 Deep Blue、在 Dota 2 中击败职业选手的 OpenAI Five以及在物流仓储中自主导航的机器人。它们的共同特征是有一个明确的环境有一套可执行的动作有一个需要优化的目标函数。只不过这些传统智能体的大脑通常是专门设计的算法或神经网络能力被严格限定在单一任务中无法泛化到开放域的问题。这些案例看起来差异很大但它们背后共享同一个决策模式「感知环境 → 做出判断 → 执行动作 → 观察结果 → 更新判断」。为了把这个模式说清楚人工智能领域用了一个数学框架来描述它这就是马尔科夫决策过程MDP。图片来源于网络MDP 的核心思想很简单环境有一组状态智能体在每个状态下可以选择动作动作会让环境转移到新状态并给出奖励反馈。智能体的目标就是找到一套策略让长期累积奖励最大化。这个框架足够描述下棋、打游戏这类完全可观测的场景——你能看到棋盘上所有的子也能看到游戏画面的全部信息。但现实中智能体几乎不可能看到环境的全部信息。你开车时看不到弯道后面的路况医生诊断时看不到病人体内所有的生化指标。所以 MDP 需要一个更现实的扩展——部分可观测马尔科夫决策过程POMDP。在 POMDP 中智能体看到的不是世界的真实状态而是状态的观测——一个不完美的投影。好比你在开车时你可以通过眼睛观察视角前方可以通过后视镜观察后方甚至可以通过导航软件了解整体的路况。但这也并不是完整的上帝视角。这些观察手段都是真实路况的一个投影。它必须根据这些有限的观测来推断真实的路况做出驾驶决策再根据新的观测来修正自己的判断。这个过程不断循环智能体对世界的理解也在持续更新。这听起来很抽象但当我们把它映射到 LLM Agent 上时每个环节都变得非常具体智能体Agent大语言模型LLM本身扮演着决策大脑的角色。与传统 Agent 不同LLM 不需要为每个任务单独设计决策算法——它的决策能力来自预训练阶段从海量文本中学到的世界知识和推理模式天然具备跨任务的泛化能力。环境状态Environment智能体运行的环境互联网世界、数据库或本地操作系统的客观情况。LLM 身处其中但无法直接看到全貌的世界只能通过观察工具去观察环境。行动Action ALLM 生成的各种tool_call例如调用 Python 解释器、发送 API 请求、检索矢量数据库。观测Observation Ω工具执行后返回的结果——一段代码的运行输出、搜索引擎返回的网页摘要、API 的 JSON 响应。这些观测是环境状态的投影LLM 只能通过它们来感知外部世界的真实情况。思考Belief UpdateLLM 将每一轮新的 Observation 追加到上下文Context中从而更新自己的推理状态。这个过程完美对应了 ReAct 范式中的思考Thought环节——模型不是从零开始推理而是在不断积累的信息上做增量式的判断。所以到这里收敛一下。回答文章开头的问题到底什么是 AgentAgent、智能体其实就是把 LLM 作为了智能体LLM 在环境中运行循环地观测环境-思考(信念更新)-行动来完成任务。套用经典的智能体的定义我们可以把 Agent 描述为Agent 是一套人工智能(大语言模型)在一个可观测的环境中通过对环境的观察基于对目标和环境的理解自主思考和决策并采取行动以实现目标的系统。当然为了适配这个新的范式大语言模型(LLM)也经历了很多更新。同样有必要解释下大语言模型如何掌握了这种能力LLM as Agent模型智能的表现形式是可塑的2022 年 11 月份在 ChatGPT 的发布前GPT-3.5 模型已经发布但却没有受到很多关注和使用。算法科学家做了一次尝试。尝试通过后训练将 GPT-3.5 训练成 Chat 聊天的方式来展现模型的智能希望模型通过一问一答的对话的形式来测试与人类交互。没想到这次尝试大获成功。后来的故事大家都知道了ChatGPT 在两个月内增长了 1 亿用户。而 ChatGPT 表现出来的这种问答的能力其实是通过训练塑造出来的大模型智能的表现形式是可以通过模型训练来塑造的。大语言模型的训练可以分为预训练和后训练阶段。预训练阶段主要是将世界知识压缩到大语言模型中。而后训练阶段则是针对性地提高模型在某个方面的表现和补充能力。最开始最经常使用的后训练方式是 SFT监督微调学习和 RLHF人类反馈强化学习可以简单理解为提供大量的案例教会 AI 如何回答问题。因为数据多是一问一答的形式因此模型学会了一问一答。那么模型又是如何学会 Agentic 能力的呢关键还是数据占比虽然 2023 年ChatGPT 就在他们的接口里支持了 function_call 的方式来调用工具。但这个时候模型使用工具的能力还全靠模型智能的泛化经常会出错。虽然模型的工具使用能力也经过 SFT 的优化但始终还是达不到可用标准。因为当时的模型更多地是被塑造为一问一答的形式工具调用的数据太少了。真正带来改变的是基础设施 Infra 和 Data 训练数据的变化01 训练基础设施的完善训练的基础设施在 ChatGPT o1 和 Deepseek R1 验证了 RL 的可能性以后。RL 到今天已经成为了训练模型的 Agentic 能力的关键。强化学习模型训练的一个特点是要提供一个环境让智能体在环境中自由探索完成目标。然后基于过程和结果给模型奖励达到训练的目标。这样的训练方式需要提供对应的基础设施。也就是让模型在训练的过程中有一个稳定的环境稳定的工程执行。在 Kimi-K2.5 发布后杨植麟在接受采访时重点也提到了Kimi-K2.5 能够训练出来很大程度上也得益于基础设施的完善。笔者没有真正训练模型的经验关于 Infra 的内容就没办法展开说了。02 训练数据从训练数据上看随着一年多来大家越来越多地用 Agent 的范式使用模型模型厂商也积累了更多的 Agentic 的训练数据。这些数据和过去 ChatFunction_call 的方式的差别Agentic 的训练数据轮次更长tools 的使用占比更多。扩展阅读[2606.30616] Scaling the Horizon, Not the Parameters: Reaching Trillion-Parameter Performance with a 35B Agent https://arxiv.org/abs/2606.30616我们可以在kd’y的数据集里寻找到踪迹。这个数据大概是长这样的当然数据是经过简化处理的真实训练的数据比这条更长内容更多。数据来源于 Nvdia 的开源数据集 https://huggingface.co/datasets/nvidia/Nemotron-Agentic-v1{ messages: [ { role: system, content: }, { role: user, content: 帮我计算退休储蓄月投入 500 美元年化利率 5%。 }, { role: assistant, content: 还需要退休剩余年限参数。, tool_calls: null, reasoning_content: 缺少 years_until_retirement 参数需要先确认... }, { role: user, content: 还有 37 年退休同时再比较一下每月投入 750 美元的情况。 }, { role: assistant, content: , tool_calls: [ { id: call_xxx, type: function, function: { name: calculate_retirement_savings, arguments: { monthly_contributions: 500, interest_rate: 5, years_until_retirement: 37 } } }, { id: call_xxx, type: function, function: { name: calculate_retirement_savings, arguments: { monthly_contributions: 750, interest_rate: 5, years_until_retirement: 37 } } } ], reasoning_content: 分别计算两种月投入方案便于对比长期复利效果... }, { role: tool, content: { total_savings: $632,450, interest_earned: $410,450 } }, { role: tool, content: { total_savings: $1,016,327, interest_earned: $683,327 } }, { role: assistant, content: 750 美元/月 相比 500 美元/月在长期复利下可多获得约 38 万美元退休储蓄。, tool_calls: null, reasoning_content: 需要突出复利和长期投入带来的增长差异... } ] }如果你看得懂这样的数据。不难发现这些数据非常符合上面提到的 ReAct 的标准——「思考→观察→行动」的循环。前面我们讲大语言模型的智能表现形式是可塑的也就是通过上面的这种训练数据将 LLM 的智能表现形式从 Chat 塑造成了 Agent。同时越来越多的 Agentic 的训练数据进入模型训练过程后一方面模型的 Agent 能力提升了另一方面还意外解决了预训练数据不足的问题。延伸理解理解了 LLM as Agent 的范式以后就可以回答很多问题。下面延伸地聊几个话题。01 LLM as Agent 的公式前面我们给 LLM as Agent 下了定义也解释了模型训练和发展的过程。Agent 是一套人工智能(大语言模型)在一个可观测的环境中通过对环境的观察基于对目标和环境的理解自主思考和决策并采取行动以实现目标的系统。如果用一条共识来定义 Agent 的话。我觉得是Agent LLM Environment Tools Context RewardLLM大语言模型、智能体的智能提供者EnvironmentAgent 所在的环境Tool智能体可使用的工具工具用于观察和影响环境Context智能体达成目标所需要的背景信息上下文分布在环境中Reward智能体训练和推理过程中的奖励和激励02 上下文工程 Context EngineeringManus 曾经提出过一个上下文工程管理的概念。如今这个概念已经深入到了所有的 Agent 中。不过有的做得好有的做得差。上下文工程的根本原因是因为大语言模型的推理是自回归性质的随着上下文的积累模型的智能会下降成本也会上升。所以需要一套工程来管理上下文。上下文腐烂 随着上下文长度增加模型的智能表现会下降注意力预算有限LLMs 有类似人类工作记忆的限制短期记忆有限Token 消耗爆炸长任务中工具调用结果会累积导致成本和延迟增加Manus 可以说是上下文工程的集大成者。Manus 提出过的上下文工程包括Offload转移/卸载将信息保存到上下文窗口之外的地方帮助代理完成任务。Reduce压缩/缩减通过摘要或剪裁减少 token 占用。可以分为压缩总结和裁剪两种方法Retrieve检索按需检索相关信息到上下文中。Isolate隔离将上下文分割到不同空间中避免相互干扰最常见的就是 SubAgent 的方式Cache缓存模型推理过程中的 Token Cache 技术可以复用已处理的上下文降低成本和延迟。在早期 Manus 强调KV缓存命中率是生产阶段AI Agent最重要的单一指标。”。提出了围绕 Kv Cache 搭建 Agent不过今天在 ClaudeCode、Codex 等等产品中实际上 Agent 的缓存命中率并没有那么高。通常只有 30% 到 60%。其中做的最好的是 Deepseek-v4 系列。缓存可以达到 90% 以上。03 给 Agent 一台计算机在早期Manus 提出了「给 Agent 配一台计算机」的说法如今已然成为了共识。回到我们关于 POMDP 的定义上计算机其实就是 Agent 的执行环境。那么为什么计算机是 Agent 最好的环境呢我们不难看出计算机在很多维度有着无可替代的特点得益于强大的命令行生态和一切皆文件的操作系统设计计算机这个环境是环境投影最好的环境观测起来非常直观。Environment 环境也得益于这个特点计算机相关的任务在 Agent 的训练过程中Reward 奖励 也非常清晰模型天然具备计算机的所有知识和经验使用起终端工具得心应手。(LLM 智能)同样的命令行不仅可以用来观测环境还是最好的行动方式。只要提供一个 bash 工具和权限给 Agent。Agent 几乎可以完成计算机里的所有事情Tools 工具同时用户需要完成工作目标所需的 Context 上下文基本上就在自己的电脑或者浏览器中所以计算机同时也拥有最精准的数据。当然云端的计算机就不一定有这个特点了。04 Harness EngineeringHarness Engineering 是年初提出来的一个概念最近又发展到了 Loop Engineering。但其实我一直觉得Harness Engineering 这个名字并不好。中我们的 Agent 的公式来看 Agent LLM Environment Tools Context RewardHarness Engineering 几乎包含了除了 LLM 以外的所有元素。但 Harness Engineering 这个名词并不足以概括所有内容。我们可以把 Harness 理解为是模型和环境链接的一整套工程系统。包括 Agent Loop、Tools、运行环境、权限控制、交互界面 等等。不过比较有趣的一点是Harness 这个词语在中文里可以翻译为“马鞍”或者“约束”。在 Harness Engineering 的寓意里我觉得可以理解为通过约束模型的行为来让模型表现得更好。而约束模型行为的方式主要是关于工具 Tools 的设计。比如假设我们现在给 Agent 提供一个机器人控制的环境让 Agent 接管一个机器人机器人提供了 27 个关节机关可以控制。如果我们把 27 个关节机关作为 27 个 tools 暴露给 Agent。当我们需要 Agent 操控机器人完成一个挥手的动作时。模型就只能一轮一轮地控制所有的关节机关完成挥手的动作显得很迟钝。但如果我们提供一个 “挥手” 的 tools并把动作定义好Agent 挥起手来就一气呵成了。不过当然这样就失去了更高的泛用性。从这个例子里可以看出。Harness 这个约束是为了让 Agent 更好地完成某类任务。在完成不同的垂直类型的任务时可能都需要不同的 Harness 的设计。最后关于 Loop EngineeringLoop Engineering 可以说是 Agent 探索的最前沿。下周我会发布一篇文章讨论最新最前沿的 Loop Engineering。届时我们单独讨论吧。结语好了这篇文章就写到这里。回顾下这篇文章的内容Agent 是一种全新的范式。并且今天几乎已经走进了我们的日常工作。第一性原理 ReAct 和 POMDP。 我们讲 Agent 追溯到 ReAct 和部分可观测的马尔科夫决策从第一性原理的角度解释了 LLM as Agent 这一范式的特点。Agent 能力的训练方法。 从 SFT和 RLHF到 RL 的训练方式和 Agentic 数据的注入模型厂商在后训练阶段有意识地将模型塑造成了智能体。延伸阅读延伸地我们提出了 Agent 的公式Agent LLM Environment Tools Context Reward。还聊了聊上下文工程和计算机为什么是最好的环境如果用一句话来回答文章开头的问题——Agent就是把大语言模型当作智能体放进一个可观测的环境中让它自主地感知、思考和行动去完成目标。当然我想在几个月后Agent 的范式彻底走向大众。大家都用上 Agent 的新的范式的同时。下一代范式的探索也已经悄然在进行Agent 的范式还将继续快速演化。如何学习大模型 AI 由于新岗位的生产效率要优于被取代岗位的生产效率所以实际上整个社会的生产效率是提升的。但是具体到个人只能说是“最先掌握AI的人将会比较晚掌握AI的人有竞争优势”。这句话放在计算机、互联网、移动互联网的开局时期都是一样的道理。我在一线科技企业深耕十二载见证过太多因技术卡位而跃迁的案例。那些率先拥抱 AI 的同事早已在效率与薪资上形成代际优势我意识到有很多经验和知识值得分享给大家也可以通过我们的能力和经验解答大家在大模型的学习中的很多困惑。我们整理出这套AI 大模型突围资料包✅ 从零到一的 AI 学习路径图✅ 大模型调优实战手册附医疗/金融等大厂真实案例✅ 百度/阿里专家闭门录播课✅ 大模型当下最新行业报告✅ 真实大厂面试真题✅ 2026 最新岗位需求图谱所有资料 ⚡️ 朋友们如果有需要《AI大模型入门进阶学习资源包》下方扫码获取~① 全套AI大模型应用开发视频教程包含提示工程、RAG、LangChain、Agent、模型微调与部署、DeepSeek等技术点② 大模型系统化学习路线作为学习AI大模型技术的新手方向至关重要。 正确的学习路线可以为你节省时间少走弯路方向不对努力白费。这里我给大家准备了一份最科学最系统的学习成长路线图和学习规划带你从零基础入门到精通③ 大模型学习书籍文档学习AI大模型离不开书籍文档我精选了一系列大模型技术的书籍和学习文档电子版它们由领域内的顶尖专家撰写内容全面、深入、详尽为你学习大模型提供坚实的理论基础。④ AI大模型最新行业报告2025最新行业报告针对不同行业的现状、趋势、问题、机会等进行系统地调研和评估以了解哪些行业更适合引入大模型的技术和应用以及在哪些方面可以发挥大模型的优势。⑤ 大模型项目实战配套源码学以致用在项目实战中检验和巩固你所学到的知识同时为你找工作就业和职业发展打下坚实的基础。⑥ 大模型大厂面试真题面试不仅是技术的较量更需要充分的准备。在你已经掌握了大模型技术之后就需要开始准备面试我精心整理了一份大模型面试题库涵盖当前面试中可能遇到的各种技术问题让你在面试中游刃有余。以上资料如何领取为什么大家都在学大模型最近科技巨头英特尔宣布裁员2万人传统岗位不断缩减但AI相关技术岗疯狂扩招有3-5年经验大厂薪资就能给到50K*20薪不出1年“有AI项目经验”将成为投递简历的门槛。风口之下与其像“温水煮青蛙”一样坐等被行业淘汰不如先人一步掌握AI大模型原理应用技术项目实操经验“顺风”翻盘这些资料真的有用吗这份资料由我和鲁为民博士(北京清华大学学士和美国加州理工学院博士)共同整理现任上海殷泊信息科技CEO其创立的MoPaaS云平台获Forrester全球’强劲表现者’认证服务航天科工、国家电网等1000企业以第一作者在IEEE Transactions发表论文50篇获NASA JPL火星探测系统强化学习专利等35项中美专利。本套AI大模型课程由清华大学-加州理工双料博士、吴文俊人工智能奖得主鲁为民教授领衔研发。资料内容涵盖了从入门到进阶的各类视频教程和实战项目无论你是小白还是有些技术基础的技术人员这份资料都绝对能帮助你提升薪资待遇转行大模型岗位。以上全套大模型资料如何领取