如何防止AI Agent“失控“？Evenfire Human-in-the-Loop审批机制完全指南

【免费下载链接】evenfireEvenfire is an intelligence layer platform for running LLM agents that take real actions, on your infrastructure项目地址https://gitcode.com/gh_mirrors/ev/evenfire点击查看免费下载AI Agent 一旦能执行 shell 命令、发起 HTTP 请求失控就不再是假设。Evenfire 是一个完全开源的 LLM Agent 智能层平台它的 Human-in-the-Loop 审批机制内置于运行时任何高危工具调用都会自动暂停等待人类在桌面端或 Slack、Telegram 里点击Approve任务才继续执行——让 Agent 大胆行动但每一步都在你的控制之下。为什么 AI Agent 需要一道刹车大模型会被误导、会幻觉、会好心办坏事。当 Agent 拥有shell_exec、http_request这类工具时一次被注入的提示词就可能让它删除文件、泄露数据。Evenfire 的安全模型建立在一个简单前提上永远不完全信任模型。其中第一道防线就是审批门approval gate高危动作必须等待人类确认。命令执行、出站 HTTP、浏览器控制都被审批拦截——任务会挂起直到有人在频道里点下批准且回调经过签名校验。它不是让你事后审查日志而是让风险动作在执行前停在一位人类面前。审批机制如何工作一个4步闭环整个流程非常简单官方文档 tool-call-end-to-end 把它描述为一个时序Agent 决定调用工具—— 比如用户说帮我查一下数据库里有哪些表Agent 选择了某个 MCP 工具策略命中任务挂起—— 审批门拦截调用任务进入waiting_approval状态等待不消耗执行预算人类做出决定—— 在 Desktop App、Slack、Telegram 上点 Approve 或 Deny运行时继续或中止—— 批准后工具执行并生成结果拒绝则任务终止模型收到拒绝原因。下面是 Evenfire 桌面端中真实的审批卡点界面MCP 工具调用被挂起等待人工批准 几个值得注意的工程细节审批是挂起而非取消任务状态持久化在会话存储中Pod 重启后未决审批依然有效不会丢单一次批准可以覆盖后续调用可以选择本次对话内一直有效、对该工具长期有效或对整个 MCP Server 有效避免反复打断超时自动拒绝通过CLERUM_APPROVAL_TIMEOUT可设置未应答审批的自动拒绝时限防止任务无限挂起。哪些工具调用默认需要审批Evenfire 的审批默认开启CLERUM_ENABLE_APPROVAL默认为true无需任何配置就生效。默认的拦截范围如下工具类别默认行为所有 MCP 工具连接器一律需要审批无法通过 per-tool 配置豁免shell_exec执行命令需要审批http_request出站 HTTP需要审批cron_manage定时任务需要审批browser_open/browser_navigate需要审批workflow_trigger触发工作流需要审批来自 Telegram/Slack/Teams 的任务除外其他原生工具文件读写等无需审批也就是说能破坏现场的工具全部默认设卡低风险工具保持流畅这是安全与效率的平衡点。三种审批配置方式Default / Required / Skip在 Control UI 的 Agent 详情页有一个Per-Tool Approval编辑器可以为每个原生工具单独设置三档策略Default跳过—— 使用工具内置的默认值Required强制审批—— 把原本不需要审批的工具也拦下来Skip跳过审批—— 把默认需要审批的工具放开。⚠️ 注意如果你把shell_exec或http_request设为 Skip编辑器会弹出风险提示——这不是摆设而是提醒你确认已有其他防线比如CLERUM_HTTP_ALLOWLIST域名白名单。这些设置最终写入HostCRD 的spec.approval字段详见 Host CRD 文档是配置即代码的一部分可以走 Git 评审和 GitOps 流程。谁有权批准三种审批人策略通过spec.approval.defaultPolicy控制审批人的范围策略值含义适用场景cli_only只能通过 HTTP / 管理界面审批无人值守环境channel_users任何已授权的频道用户都可审批团队共享的 Agentdesignated_approvers仅白名单中的指定审批人生产环境、敏感操作在哪里审批人应该出现在哪Evenfire 的设计哲学是审批请求跟着人走而不是让人去找系统表面典型场景Desktop App运维人员盯着实时任务聊天内直接 Approve/DenyTelegram / Slack手机上随时处理按钮一键决策Control API自动化集成与测试批准或拒绝本身就是一次带范围限定的 RPC 调用host:approval:write意味着批准人也是一个被鉴权的身份而不是随便一个用户。Slack/Telegram 的回调还会经过签名验证Telegram secret token、Slack HMAC防止伪造审批请求。批准之后任务无缝继续执行步骤会以进度形式呈现回聊天界面进阶Guardrails 与审批的联动除了内置审批门Evenfire 还支持在 Host 上配置可选的 Guardrails护栏 规则块用allow / ask / deny三种决策精细控制每次工具调用deny—— 直接拦截模型收到 Blocked by guardrail policyask—— 挂起为一条待审批项描述为 Guardrail requires approvalallow—— 放行但仍要过正常的审批门护栏不能绕过审批。判定规则是最严格的决策获胜deny ask allow一条宽泛的 allow 无法覆盖一条精确的 deny。而且对无人值守任务cron、内部任务有一个重要的安全默认ask会直接变成拒绝——没有审批人可用时宁可停也不放行。工作流层面审批不止于单次工具调用审批机制同样覆盖了多步工作流WorkflowRecipe分两层步骤级审批requiresApproval给工作流的某个步骤加上审批门它会在执行前暂停等待指定用户或团队成员的显式批准还支持timeoutSeconds超时自动过期。适合向客户频道发帖、写生产系统这类不可逆操作部署级审批带有外部出站egress绑定的 Recipe 会被风险分级默认要求操作员审批后才能部署通知中会列出每个出站目标的主机名、端口和协议供操作员核实。聊天频道里的审批回调由 workflow-approval-request-reader 服务统一接收、验签、归一化后再提交给对应运行时完整链路可参考 Configure approvals。防止Agent失控的实操清单基于以上机制给管理员一份最短清单 ✅保持审批默认开启不要为了省事全局关掉CLERUM_ENABLE_APPROVAL敏感环境用designated_approvers把批准权收敛到少数人手中MCP 工具一律过审批是平台默认任何第三方连接器先审批再信任要 Skip 某个高危工具时必须搭配替代防线如 HTTP 域名白名单而不是裸奔给审批设置超时自动拒绝避免任务无限挂起或审批疲劳无人值守任务里慎用ask规则——它会因无审批人可用而失败这是特性不是 bug用 Guardrails 把高频低风险调用设为allow、可疑目标设为deny把人类的注意力留给真正需要判断的时刻。总结Evenfire 的 Human-in-the-Loop 审批机制回答了如何防止 AI Agent 失控这个核心问题不是限制 Agent 的能力而是在关键动作前插入一个人类决策点。默认开启的审批门、按工具粒度的三档策略、多表面的随时随地批准、超时自动拒绝再加上 Guardrails 和工作流双层审批构成了从单次工具调用到整个部署的完整控制链。Agent 可以大胆地调用工具、执行任务而失控这件事从此需要人类点头才能发生。赞分享【免费下载链接】evenfireEvenfire is an intelligence layer platform for running LLM agents that take real actions, on your infrastructure项目地址https://gitcode.com/gh_mirrors/ev/evenfire点击查看免费下载相关推荐openai-agents-python 人工审批Human-in-the-Loop全指南中断、审批与恢复机制详解openai agents python 人工审批Human in the Loop全指南中断、审批与恢复机制详解 Human in the LoopH人工智能AI AgentAgent 框架多智能体工具调用MCP Clientsollmcp 的 Human-in-the-LoopHIL安全机制完整指南防止本地 LLM 误操作工具的终极防线ollmcp 的 Human in the LoopHIL安全机制完整指南防止本地 LLM 误操作工具的终极防线 ollmcpmcp client foeve Human-in-the-Loop 完全指南工具审批门控、会话内提问与持久化暂停恢复机制eve Human in the Loop 完全指南工具审批门控、会话内提问与持久化暂停恢复机制 Human in the loopHITL是 eve 中人工智能AI AgentAgent 框架工具调用后端MCP ClientsAI 评测可观测性上一篇开源软电话Telephone在Mac上构建专业级通话体验的终极指南下一篇Elden Ring FPS Unlock And More常见问题解答解决你的所有疑惑创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考