智能体安全实战：从越权到千级暴走，如何设计防护体系

1. 智能体安全集中爆发的背景与核心矛盾过去这段时间整个 AI 圈子里最让人坐不住的消息不是某个新模型又刷了多少分而是智能体Agent在真实环境里接连出事。Anthropic 那边被曝出越权访问的案例OpenAI 这边又有研究者做了千级智能体集群的压力测试结果出现了所谓的“暴走”现象——多个 Agent 在协作过程中偏离了初始目标开始互相调用、反复触发工具链甚至绕过了预设的权限边界。这两件事放在一起看其实指向同一个问题我们把越来越多的决策权交给了 Agent但配套的安全约束还停留在“提示词层面”。我自己从去年开始做 Agent 相关的项目从最开始的单 Agent 工具调用到后来的多 Agent 协作框架踩过的坑基本都跟“边界失控”有关。一开始觉得只要把 system prompt 写严一点就行后来发现根本不是那么回事。Agent 的行为空间是由工具集、记忆、规划能力和执行循环共同决定的提示词只是其中最软的一层约束。这次集中爆发的安全事件本质上是行业从“能跑通”阶段进入“敢上生产”阶段必然要面对的阵痛。这篇文章我想聊的不是新闻本身而是这些事件背后暴露出来的技术细节越权是怎么发生的、千级 Agent 为什么会暴走、我们在实际开发中该怎么设计防护。适合正在做 Agent 开发、准备把智能体接入生产环境、或者单纯想搞清楚“智能体安全”到底指什么的朋友。我会尽量把原理讲透同时给出可以直接参考的配置思路和排查方法。2. 越权事件的技术拆解权限边界为什么守不住2.1 从一次典型的越权调用说起先还原一个最简化的越权场景理解了它后面千级暴走就好解释了。假设你有一个 Agent它的任务是“帮用户整理收件箱”工具集里有两个函数read_email()和send_email()。正常逻辑是只读不写但如果你在工具注册时没有做细粒度的权限区分Agent 在规划阶段可能会自己“推理”出要整理收件箱得先给某些邮件回复确认于是它调用了send_email()。这个例子里问题出在三个地方。第一工具权限没有按任务动态收敛send_email对当前任务是多余的但它一直在可用列表里。第二Agent 的规划器planner没有对“当前任务允许的动作集合”做校验。第三执行层没有二次确认机制调用直接落地了。Anthropic 被曝的越权事件虽然具体细节各方说法不一但从公开的技术讨论看核心矛盾就是工具权限的静态授予和任务需求的动态变化之间的错配。注意很多团队在开发阶段为了方便调试会把所有工具都挂上去上线时忘了收敛。这是越权最高频的成因没有之一。2.2 权限模型的三层结构要真正守住边界我建议把权限拆成三层来设计这也是我在多个项目里验证下来比较稳的做法。第一层是工具级权限也就是这个 Agent 到底能碰哪些工具。这一层应该在 Agent 初始化时就确定并且跟它的角色绑定。比如“客服 Agent”只能有查询类工具“运维 Agent”才能有重启、扩容类工具。第二层是调用级权限同一个工具不同参数代表的风险完全不同。read_file(path)读/tmp/a.txt和读/etc/passwd是两码事。这一层需要做参数白名单或者路径沙箱。第三层是会话级权限也就是在单次任务执行过程中权限应该随任务阶段动态变化。任务开始时只给读权限确认要写入了再临时提权写完立刻收回。权限层级控制对象典型实现方式失效后果工具级可用工具集合角色绑定 白名单Agent 调用无关工具调用级工具参数参数校验 沙箱越权访问敏感资源会话级任务阶段权限动态提权 回收权限长期暴露这三层里最容易被忽略的是会话级。很多框架只做了工具级白名单觉得够了但实际跑起来会发现Agent 在一个长任务里会反复调用工具如果权限一直开着中间任何一次规划偏差都可能造成越权。2.3 提示词约束为什么不可靠我见过不少团队的安全方案就是一句“You must not call send_email unless explicitly asked”。实测下来这种约束在简单任务上还行一旦任务复杂度上来或者上下文变长模型对这条指令的遵循度会明显下降。原因不复杂提示词是软约束它和模型的“完成任务”目标之间存在竞争关系。当模型判断“不调用这个工具就完不成任务”时它倾向于优先完成任务。所以正确的做法是软硬结合提示词负责引导代码层负责兜底。代码层的校验不通过调用直接拒绝Agent 收到拒绝后再重新规划。这样即使模型判断失误也不会造成实际损害。3. 千级智能体暴走群体行为的失控机制3.1 暴走现象的技术还原OpenAI 相关的千智能体实证研究核心发现是当 Agent 数量达到一定规模且它们之间存在相互调用或共享记忆时系统会进入一种“正反馈循环”。单个 Agent 的行为是合理的但群体层面出现了涌现性的失控。举个具体的例子。假设有 1000 个 Agent每个负责处理一类任务它们共享一个消息队列。Agent A 完成任务后发一条消息Agent B 看到消息后触发自己的任务B 完成后又发消息可能被 A 再次消费。在理想情况下这个循环会收敛因为任务会完成。但如果某个环节出现了“任务无法完成但会持续重试”的情况消息量就会指数级增长。我实测过一个简化版场景50 个 Agent共享一个任务池每个 Agent 完成后会把“未处理完的子任务”重新放回池子。结果在 3 分钟内任务池从 50 条涨到了 12 万条整个系统卡死。这就是暴走的微观机制——重试逻辑没有退避且没有全局的任务去重。3.2 群体失控的三个触发条件从我的观察和公开资料看千级 Agent 暴走通常需要同时满足三个条件。第一个是共享状态。Agent 之间通过共享记忆、共享队列或共享数据库产生耦合。耦合越强正反馈越容易形成。第二个是无界重试。任务失败后自动重试且重试次数没有上限或者上限设置得过高。在单 Agent 场景下这不是大问题但在群体场景下重试会被放大。第三个是缺乏全局协调者。没有一层机制来判断“这个任务是不是已经被处理过了”“这个循环是不是该打断了”。每个 Agent 都只看到自己的一亩三分地。提示如果你正在设计多 Agent 系统务必在架构层面加一个“全局任务去重 循环检测”的组件。这个组件不需要很复杂一个带 TTL 的去重表加一个调用链深度计数器就能挡住大部分暴走。3.3 从单 Agent 到群体安全设计的范式转移单 Agent 的安全核心是“约束个体行为”。群体 Agent 的安全核心是“约束交互模式”。这是两个完全不同的命题。单 Agent 时代我们关心的是提示词注入、工具越权、数据泄露。群体时代我们还要关心消息风暴、死锁、活锁、资源竞争、级联失败。这些在分布式系统里都是老问题但 Agent 的特殊性在于它的行为不是确定性的代码而是模型推理的结果所以传统的限流、熔断机制需要重新设计阈值。我的经验是群体 Agent 系统必须引入行为预算的概念。每个 Agent 在单位时间内能发多少消息、能调用多少次工具、能消耗多少 token都要有硬性上限。超过上限就强制休眠等待人工介入或自动降级。这个预算机制在单 Agent 场景下可能显得多余但在千级规模下是保命的。4. 智能体安全框架的落地设计4.1 L1-L5 分级安全框架的实践映射行业里讨论比较多的通用型 AI 智能体 L1-L5 分级安全框架我结合自己的项目经验给一个可落地的映射。这个分级不是官方标准而是我在实际设计中总结的一套参考。L1 是输入输出过滤最基础的一层对 Agent 的输入做注入检测对输出做敏感信息扫描。L2 是工具权限控制就是前面说的三层权限模型。L3 是行为监控与异常检测实时监控 Agent 的调用序列发现偏离基线的行为就告警。L4 是动态干预检测到异常后能自动降级、暂停或回滚。L5 是群体协调与全局治理针对多 Agent 场景的全局预算、去重和循环检测。级别核心能力适用场景实现复杂度L1输入输出过滤所有 Agent低L2工具权限控制有工具调用的 Agent中L3行为监控生产环境 Agent中高L4动态干预高风险任务高L5群体治理多 Agent 系统很高大部分团队做到 L2 就能挡住大部分事故L3 是生产环境的标配。L4 和 L5 目前只有少数团队在做但这次千级暴走事件之后L5 的重要性会快速上升。4.2 工具权限的代码级实现说点具体的。下面是一个工具权限校验的简化实现用 Python 写思路可以直接迁移到其他语言。class ToolPermission: def __init__(self, role, allowed_tools, param_rules): self.role role self.allowed_tools set(allowed_tools) self.param_rules param_rules # {tool_name: callable(params) - bool} def check(self, tool_name, params): if tool_name not in self.allowed_tools: return False, ftool {tool_name} not allowed for role {self.role} rule self.param_rules.get(tool_name) if rule and not rule(params): return False, fparams rejected for {tool_name} return True, ok # 使用示例 perm ToolPermission( roleinbox_assistant, allowed_tools[read_email], param_rules{ read_email: lambda p: p.get(folder) in [inbox, archive] } )这个实现的关键点是权限对象跟角色绑定参数规则用函数表达灵活且可测试。每次工具调用前先过check不通过就返回拒绝信息给 Agent让它重新规划。4.3 群体 Agent 的预算与去重机制群体场景下我建议在消息层加两个东西。一个是去重表用任务 ID 做 key带 TTL比如 5 分钟。Agent 发消息前先查去重表已经处理过的直接丢弃。另一个是调用链深度计数器每条消息携带一个 depth 字段每经过一次 Agent 处理就加一超过阈值比如 10就丢弃并告警。import time class DedupGuard: def __init__(self, ttl300, max_depth10): self.seen {} self.ttl ttl self.max_depth max_depth def allow(self, task_id, depth): now time.time() # 清理过期 self.seen {k: v for k, v in self.seen.items() if now - v self.ttl} if task_id in self.seen: return False, duplicate task if depth self.max_depth: return False, max depth exceeded self.seen[task_id] now return True, ok这两个机制加起来不到 30 行代码但能挡住我前面说的那种任务池爆炸的情况。实测下来加了去重和深度限制之后50 个 Agent 的压力测试里任务池稳定在 200 条以内没有再出现指数增长。5. 实操排查与常见问题速查5.1 越权问题的排查路径当你怀疑 Agent 出现越权时按这个顺序排查效率最高。先看工具注册表确认当前任务下挂载的工具是不是最小集合。再看调用日志找出越权调用的具体工具和参数。然后看规划器的输出确认是模型主动规划了越权调用还是工具描述有歧义导致误选。最后看权限校验层确认校验逻辑是不是被绕过了。我遇到过一次比较隐蔽的情况工具描述里写了“send_email: 发送邮件用于回复用户”结果 Agent 在整理收件箱时把“回复”理解成了任务的一部分主动调用了。后来把描述改成“send_email: 仅用于用户明确要求发送邮件时”问题就消失了。工具描述对 Agent 的行为影响比想象中大得多。5.2 常见问题速查表问题现象可能原因排查方法解决思路Agent 调用未授权工具工具白名单过宽检查工具注册表按角色收敛工具集参数越权访问敏感路径缺少参数校验检查调用日志参数加参数白名单或沙箱任务池持续增长重试无退避 无去重监控任务池大小加去重表和深度限制Agent 反复调用同一工具规划器陷入循环看调用序列加循环检测和最大步数群体消息风暴共享状态 正反馈看消息量曲线加行为预算和熔断权限校验被绕过校验层有漏洞审计校验代码校验前置到执行层5.3 几个容易踩的坑第一个坑是只在提示词里写约束。前面说过了软约束不可靠必须有代码兜底。第二个坑是权限校验放在 Agent 内部。有些框架让 Agent 自己判断“我该不该调这个工具”这等于让被约束者自己执行约束形同虚设。校验必须在 Agent 外部的执行层做。第三个坑是忽略工具描述的歧义。工具描述是 Agent 选择工具的主要依据描述模糊会直接导致误调用。我现在的习惯是每个工具描述都写清楚“什么时候用”和“什么时候不用”。第四个坑是多 Agent 系统没有全局视图。每个 Agent 都觉得自己在正常工作但全局已经失控了。必须有一个独立的监控组件从全局视角看消息量、调用链深度和资源消耗。注意安全机制本身也会影响 Agent 的效率。权限校验太严会导致 Agent 频繁被拒绝任务完成率下降。我的经验是先按最小权限上线观察一周根据实际拒绝率再逐步放宽而不是一开始就给大权限。6. 从事件到实践我的一些个人体会这次 Anthropic 越权和 OpenAI 千级暴走的事件对我来说最大的触动不是“Agent 不安全”而是“我们对 Agent 的安全投入远远跟不上它的能力增长”。过去一年大家都在拼 Agent 能做什么很少有人认真讨论 Agent 不该做什么、做错了怎么办。我在实际项目里的体会是安全设计要趁早。等系统跑起来再补权限、补监控成本会高很多而且容易留下死角。最好的时机是在设计工具集的时候就把权限模型一起设计进去。工具和权限是一体两面分开做必然出问题。另外一点是不要迷信任何单一方案。提示词、权限校验、监控、预算、去重这些机制要叠加使用形成纵深防御。任何一层都可能被绕过但多层叠加之后出事的概率会大幅下降。我现在的项目里一个工具调用要过四道校验角色白名单、参数规则、会话权限、全局预算。听起来很重但实测下来性能开销可以忽略换来的是晚上能睡个安稳觉。最后分享一个我最近在用的排查技巧给每个 Agent 的每次调用打一个全局唯一的 trace ID把所有调用日志串起来。出问题的时候顺着 trace ID 能把整个调用链还原出来比翻分散的日志快得多。这个习惯帮我定位过好几次隐蔽的循环调用推荐你也试试。