Hermes Agent 架构总览：五大子系统与执行路径地图

1. 为什么需要一张地图从能跑到能讲清楚接手 Hermes Agent 的架构维护之后最让我头疼的从来不是功能写不出来而是执行路径说不清楚——一条用户指令从自然语言进来到最终操作 Windows 桌面中间究竟经过了哪些子系统、经过了几次转换、谁负责记忆、谁负责动手、谁在关键时刻掉链子几乎所有线上的诡异问题都卡在这张地图的缺失上。后来我花了一个迭代周期把 Hermes Agent 的子系统边界和执行路径彻底画出来排障效率才算真正上来。我见过太多 agent 项目挂在同一个地方功能 demo 很惊艳一旦进入真实环境就变成黑盒。日志打印了一堆但没人能回答这条请求为什么走了 A 路径而不是 B 路径为什么规划结果和实际执行结果不一致为什么长任务做到一半上下文就乱了。这些问题的根源不是模型能力不够而是架构本身缺乏一张可对照的地图。架构地图的意义不是画给老板看而是让每个子系统在任意时刻都能回答三个问题我在等什么、我在做什么、我把结果交给了谁。Hermes Agent 的场景恰恰复杂在这里。它既要处理开放式的自然语言目标又要操作真实的桌面环境、调用外部工具、维护多轮记忆还要在模型提供方之间做路由。任何一个环节脱节整条链路的可靠性都会崩掉。这篇文章我按子系统拆解 → 执行路径串联 → 高发故障定位 → 部署形态差异 → 演进方向的顺序来讲虽然标题写的是架构总览但本质上是一份给即将接手或者正在调优类似 agent 框架的人看的实战地图。如果你是刚上手 Hermes Agent或者正在设计自己的桌面自动化 agent那这部分内容应该能帮你少走至少两个版本的弯路。地图有了剩下的才是调参和优化否则你连该调哪里的参都不知道。2. 五个子系统边界到底画在哪里复杂系统想要稳定第一步不是堆功能而是把职责边界画清楚。Hermes Agent 的代码规模不算小但如果从职责上抽象最终可以收敛成五个核心子系统意图解析层、规划与编排层、上下文与记忆子系统、工具与执行子系统、模型路由与推理子系统。这五个子系统各有各的职责边界清晰依赖方向明确执行路径上的大部分问题也因此可以被快速归因到某个具体的子系统中。2.1 意图解析层把自然语言变成可执行规格意图解析层是执行路径的起点外界指令首先在这里被翻译成机器可以理解的结构化规格。它负责意图识别、参数抽取、指令改写和基础安全检查。比如用户说帮我把桌面上的发票截图整理成一个 PDF解析层要能判断出意图是文件整理截图合成参数包括桌面路径发票文件PDF 输出格式并且要把这些信息填充到一个统一的执行规格对象里而不是直接把原始字符串往下抛。很多新人会犯一个错让大模型直接输出下一步动作跳过结构化中间层。这在 demo 里看着很顺但一旦涉及权限校验、多轮修正、审计追踪没有中间规格的结果就是每件事都得让模型重新理解一遍。我在 Hermes Agent 里强制要求所有输入输出都过一层 schema 校验意图解析的结果必须是一个 JSON Schema 约束的规格对象字段包括 intent、params、confidence、security_tags 这些。这一层还承担着敏感指令拦截的职责凡是涉及系统级改动的请求都要在这里被标记出来后续走更严格的确认流程。2.2 规划与编排层把目标拆成可执行的步骤序列规划层是整个执行路径的大脑也是最容易产生分歧的地方。它拿到意图解析层给出的目标规格结合当前环境和可用工具列表生成一段或多段行动序列。在 Hermes Agent 里每一段行动序列都是一个 DAG有向无环图节点是原子操作边是依赖关系。为什么用 DAG 而不是简单的单链表因为真实任务往往有并行空间比如截图发票清单和创建输出目录本来就不需要排队单链表会把整体耗时拉长而且一旦某个节点失败后面的节点全部要跟着重跑。规划层还必须输出一个关键对象回滚策略。每个节点上都要标注该操作的撤销方式例如删除文件的操作对应从回收站恢复重命名操作对应改回旧名称。这看起来保守却是 Hermes Agent 在桌面自动化场景里敢放手执行的前提。假如规划层只给步骤不给回滚方案那执行层一旦走到半路出错整个系统会陷入不知道该恢复到什么状态的尴尬境地这个坑我踩过代价非常大。2.3 上下文与记忆子系统让长任务不金鱼脑上下文管理在 agent 架构里往往被低估直到你开始做超过十步的复杂任务才会发现自己踩在记忆碎片上。Hermes Agent 的上下文子系统分成三层工作记忆、情景记忆和语义记忆。工作记忆对应当前任务执行过程中产生的临时数据比如中间抓取到的文件路径、窗口句柄、上一步操作后的返回值情景记忆保存的是过往任务的执行记录包括当时的目标、步骤、遇到的异常和处理方式语义记忆则是用户偏好、环境常量、工具使用规范这一类可以长期复用的信息。这三层记忆的切换逻辑直接决定了执行路径的质量感。比如工作记忆的容量是有限制的每完成一个原子操作相关信息会被压缩并存入情景记忆语义记忆则会在任务启动时按需检索注入到规划上下文中。这里最忌讳的做法是不区分层级把所有内容一股脑塞进 prompt——表面上省事实际上既烧 token 又容易造成上下文污染指令稍微长一点模型就开始忘记你最初想干嘛了。2.4 工具与执行子系统真正动手的那部分工具与执行子系统是离真实世界最近的子系统它把规划层指定的原子操作翻译成具体环境里的动作。在 Hermes Agent 里它面对的执行对象主要分三类文件系统操作、外部命令行工具、Windows 桌面 UI 控件。每一类都对应一组 API 封装统一暴露给执行层隔离底层差异。这套工具封装的价值在于替换性。比如底层 UI 自动化从 Windows UIAUI Automation切到图像识别定位工具库的接口不需要变变的只是驱动实现。这个设计救过我很多次当 UIA 识别不到某个第三方软件的控件时我可以快速切换到截图坐标定位的驱动执行路径上的其他环节完全不用动。另一个细节是工具执行子系统必须做超时控制和资源清理。桌面自动化最怕操作卡住后窗口句柄、临时文件、线程资源全部泄漏最后系统变得不可用。我这边的做法是给每个工具调用强制包一层超时上下文超时即终止并自动收回相关资源。2.5 模型路由与推理子系统算力调配中枢模型路由子系统决定了哪个模型来执行这段推理。Hermes Agent 本身是模型无关的同一个规划层可以同时对接多个推理后端包括本地小模型、云端大模型、专用指令模型等。路由策略不能是简单的贵的模型一定好而要基于任务的复杂度、实时性要求和成本预算做权衡。比如简单的文件重命名操作用本地小模型就够了复杂的跨应用流程编排再调用更大规模的模型。这一层还要负责 prompt 模板的组装与版本管理。不同子任务用不同的 prompt 模板模板版本和模型版本需要做矩阵记录否则一旦某个模板被静默修改整个执行路径的质量监控数据就会全部失真。我建议每个成功的执行都要回传定位指标记录用的是哪个模板、哪个模型版本、上下文占用了多少 token这些数据是后续优化的基础。3. 一次完整执行从你开口到它干完活子系统画清了接下来要把它们串起来。当年我画执行路径地图的时候第一版画了四十多个节点信息量很大但根本没法用于沟通。后来我做了一个重要改动把执行路径浓缩成六个阶段每个阶段对应明确的输入输出和子系统交接点。六阶段分别是输入标准化、意图与安全裁决、任务规划、上下文组装、工具执行、反馈与记忆固化。3.1 执行路径的六个阶段与子系统交接点第一阶段输入标准化用户消息从任何入口进来先统一成标准格式补全缺失参数、消除模态差异这个阶段主要由意图解析层负责。第二阶段意图与安全裁决解析层做意图识别和敏感操作标记如果触发安全规则就会在这里返回确认请求而不是继续向下执行。第三阶段任务规划规划层根据意图规格、工具清单、历史记忆生成 DAG 行动序列并标注每个节点的回滚策略。第四阶段上下文组装上下文子系统把工作记忆里的当前状态、语义记忆里的长驻知识、规划层生成的任务计划拼成一个完整的推理上下文包——这一步很容易被忽略但其实直接决定了模型执行时的视野。第五阶段工具执行模型路由层根据节点复杂度选择合适的模型推理出具体动作然后由执行子系统真正操作文件、命令行或界面控件把执行结果写回工作记忆。第六阶段反馈与记忆固化这一步是 Hermes Agent 与普通脚本最大的区别它会把执行结果、异常信息、成功经验压缩后写入情景记忆同时清理工作记忆中的临时数据为下一个任务腾出空间。3.2 一个真实案例Windows 桌面上帮我整理截图并生成 PDF讲抽象路径可能还是不够直观我用一个实际跑通的案例来走一遍地图。某次运营同事跟我抱怨说每天都要把 Windows 桌面上的截图按日期归档成 PDF问 Hermes Agent 能不能帮上忙。表面上看起来就一句话但走完整条执行路径工作量其实很清晰。第一步意图解析层收到把桌面截图按日期归档成 PDF后识别出 intent 是file_organize_and_merge抽取出路径参数C:\Users\Public\Desktop输出目标格式PDF同时做了安全检查涉及删除动作的部分被打上了需确认标签。第二步规划层生成了一段三分支的 DAG第一支扫描桌面文件夹里的文件第二支创建归档目录第三支检查系统中是否有可用的 PDF 合成工具。扫描完成后再合并出后续节点按日期重命名、排序、合成 PDF、清理临时文件。第三步上下文子系统从语义记忆里检索到该用户偏好时间格式 YYYYMMDDPDF 合成工具使用 LibreOffice 稳定版这些长期信息注入上下文包。第四步模型路由层判断扫描和重命名这类确定性操作走本地小模型速度快、零成本PDF 合成参数拼接这类需要理解语义边界的操作走云端大模型。第五步执行子系统逐节点跑完 DAG过程中遇到一个文件被占用执行层识别到异常后调用了该节点标注的回滚策略先跳过该文件并在结束后明确告知用户有 3 个文件因占用未处理而不是让整个任务失败。第六步记忆固化了这次成功案例和那个占用异常的场景下次遇到同类文件时会优先提示先关闭相关应用再启动任务。这个案例走下来你应该能感受到执行路径地图的价值了。没有这张地图出了问题你得从日志堆里猜有地图之后任何一个阶段的延迟、失败、误判都能直接对位到具体子系统各修各的不扯皮。4. 按图索骥执行路径上最容易翻车的三个位置画架构地图的另一个直接收益是帮你把系统不稳定的原因从玄学变成工程学。我把 Hermes Agent 上线以来遇到的高频故障归了一下类发现大量问题都集中在执行路径上三个特定位置。如果你也在跑类似架构这几个位置值得重点盯防。4.1 规划层与执行层之间的环境状态漂移最典型的故障是规划时看到的桌面状态和执行时实际的桌面状态不一致。比如规划层在生成步骤序列时读取到桌面上有 5 个待归档文件但当执行到第三步时其中两个文件已经被外部程序移走或者删除了。执行层拿着过期的规划信息去操作自然就报错。这种情况在真实桌面环境里极其常见因为桌面不是一个封闭环境随时可能有其他进程在改动文件。我采用的解决思路是在关键节点之间增加轻量校验步骤。每执行完一类原子操作就把环境状态的关键指纹比如目录下文件列表的哈希值抓一次和规划时的状态做比对不一致就触发重新规划而不是继续硬跑。这个方案会增加少量开销但换来的稳定性非常值。我见过有人试图靠模型猜当前状态来规避这个问题结果就是越猜越偏最后整个任务链崩掉。4.2 长链路执行中的上下文超载第二个高频坑是上下文超载。长任务执行到一半工作记忆里堆满了中间结果如果上下文子系统没有做好压缩清理prompt 很快就会被撑爆或者出现模型注意到最近的信息忽略了早期目标的上下文漂移现象。这不像报错那么显眼但危害更大因为它表现为执行结果开始偏离用户原始意图而又没有任何一条日志告诉你发生了什么。应对办法是把上下文按核心目标、当前进度、最近的中间结果、辅助信息四类分级核心目标和当前进度每次都要完整保留中间结果只保留最近两到三轮的详情更早的压缩成摘要辅助信息按需检索注入。这条路径我在 Hermes Agent 里反复调过效果最明显的是把上下文占用压到了原来的三分之一同时任务完成率反而上升了。核心逻辑就是上下文不是越大越好而是要让模型始终盯住目标和进度。4.3 桌面自动化的控件识别与权限边界第三个翻车点与桌面自动化强相关——控件识别的稳定性。Windows 桌面上的应用五花八门有的控件用 UIA 能抓到有的应用自带自绘界面UIA 只能拿到一个空白区域。这时如果规划层仍然坚持用控件名定位执行层就会反复失败。我的做法是在工具执行子系统做一个多模态定位能力先尝试 UIA 抓取结构化控件失败则切换成图像模板匹配再失败则退到坐标估算每一层都有独立的置信度阈值低于阈值的宁可停下来询问用户。权限边界也是桌面自动化特有的问题。执行层有没有权限读写 Program Files 目录、能不能直接关闭某个无响应进程、能不能修改系统级环境变量这些都必须在意图解析层的安全裁决阶段就做出判断而不是等工具执行时才报权限错误。我用一条规则凡是高权限动作要么在执行前二次确认要么以只读方式先做一遍演练。宁可多一次确认也不要让 agent 在用户桌面上做出不可挽回的操作这点再怎么强调都不过分。5. 桌面版与 Bot Mode架构在不同形态下的路径变形Hermes Agent 不是只有一种运行形态我这边实际跑过桌面版常驻模式和 v0.21 引入的 Bot Mode两者共用同一套核心架构但因为入口不同、执行策略不同最终的执行路径地图也产生了几处明显变形。理解这些变形能避免你拿着桌面版的排障经验去硬套 Bot Mode。5.1 Bot Mode 如何改变路径的起点和终点Bot Mode 的设计初衷是让 Hermes Agent 在没有显式桌面会话交互的场景下运行比如开机自动启动、后台监听任务队列、定时触发某些重复性工作。这种模式下执行路径的起点不再是一条自然语言指令而是一个结构化的事件消息。事件可能来自定时器、来自消息队列、来自其他程序调用的 Webhook。输入标准化阶段要做的就不是NLP 意图解析而是事件反序列化和任务类型匹配。路径的终点也跟着变了。桌面版通常要在界面上给出可视化反馈而 Bot Mode 的执行结果往往要回写到日志文件、消息通道或外部数据库。上下文与记忆子系统在这种形态下要特别注意并发隔离因为多个 Bot 任务可能同时跑各自的工作记忆如果混在一起轻则任务互相干扰重则出现数据串写。我在 Bot Mode 里给每个任务强制分配独立的运行上下文 ID所有记忆读写都带这个 ID 做隔离这条设计后来被证明是 Bot Mode 能稳定多任务并发的基础。5.2 桌面版安装配置时的执行路径注意事项很多人在做桌面版安装配置时只关心能不能跑起来忽略了配置项对执行路径的影响。Hermes Agent 桌面版的配置核心不是界面参数而是三个底层问题用哪种方式连接模型服务、用哪套桌面自动化驱动、给执行子系统分配多大的权限边界。这三个配置直接决定了执行路径的天花板。用模型服务连接方式来举例如果配置成所有推理请求走远端大模型那么每一次原子操作都要经历一次网络往返执行路径上延迟最大的节点几乎必然在这里优化时要重点考虑批处理和并行化如果模型服务是本地部署的路径瓶颈可能就转移到了 GPU 资源和推理并发度上。我建议配置完系统后先按执行路径地图跑一个基准任务把每个阶段的耗时做一次采集你会发现实际瓶颈和理论推演经常不是同一个地方这就是地图实际用得上的时候。另外桌面版的首项配置一定要做执行黑名单维护。哪些目录不允许写、哪些进程不允许 kill、哪些注册表键不允许改都要提前声明。这不是限制能力恰恰是为了让意图解析层的安全裁决有依据避免模型自行发挥出突破边界的指令。没有这份配置的桌面 Agent执行路径再顺畅也是一个随时可能闯祸的危险脚本这是我做架构梳理时最深的一条体会。6. 沿执行路径地图继续演进的三个方向地图画完不是为了供奉起来而是为了指导下一步演进。以闭环的方式看Hermes Agent 目前的执行路径还有三块明显可以继续深入的短板也是我下一步准备动手的方向列出来供你参考。6.1 从顺序执行走向并发分支执行当前 DAG 的并发能力还没有完全榨干不少节点虽然互不依赖但规划层为了稳妥仍然倾向于串行执行。未来改进方向是让规划层显式标记可并行节点并且由执行子系统按资源池并发执行。这需要配套改造上下文子系统因为并行执行会让工作记忆的写入顺序变得不确定必须引入分版本的状态管理否则很容易出现并发写覆盖。6.2 从静态上下文到分层记忆的持续优化语义记忆目前还比较简单主要是键值型偏好和规则。下一步想引入持续的自动归纳能力让 Agent 能在执行完若干相似任务后自动抽象出这类任务的通用策略沉淀到语义记忆里。这一步一旦走通执行路径的规划层就会越来越聪明每完成一批同类型任务下一次的执行路径都会明显缩短。6.3 故障注入与可观测性的常态化最后一点是我个人实操后特别推荐的给执行路径定期做故障注入演练。不要等线上自然出错而是主动在规划层、执行层、上下文层分别模拟故障比如突然中断工具执行、清空工作记忆、让某个模型路由超时看看整个系统能不能按预设策略恢复。我在 Hermes Agent 上做过一轮这类测试暴露出的问题比上线三个月收集到的还要多。可观测性建设也因此有了真需求每一步执行路径的关键节点都要输出结构化埋点日志不只是给人看的还要能被自动分析工具实时消费这样才能在故障出现的第一时间完成路径定位。架构地图这个东西画的时候觉得繁琐画完之后才明白它给团队带来的真正价值不是文档本身而是所有人对系统形成的一致心智模型。负责人能讲清路径执行者能对位职责新成员能快速上手出现问题时大家一起对着地图定位而不是各猜各的。以后你回头看自己维护过的 agent 系统最值得留下的沉淀恐怕不是某个炫酷功能而是这张清清楚楚的子系统与执行路径地图。