本文收录于专栏《AI Agent原理与实战》2026版—— 专栏系统覆盖 AI Agent 的记忆、工具、插件与实战点击订阅可跟踪后续更新。本课定位API 之外的最后一块交互疆土让 Agent 直接操作计算机。屏幕观察-决策-行动循环、与 API 工具调用的本质差异、风险清单。本课是 RPA/数字员工方向读者的入口也是下一课安全攻击面的最佳靶子。阶段 5生产与安全 来源课程自研补充关键字计算机操作Agent、CUA、屏幕理解、GUI自动化、数字员工、RPA升级、观察决策行动、风险控制本节目录28.1 CUA 是什么无 API 时的兜底自动化28.2 技术路径观察-决策-行动循环28.3 风险清单本节目录28.1 CUA 是什么无 API 时的兜底自动化28.2 技术路径观察-决策-行动循环28.3 风险清单概念讲解28.1 CUA 是什么无 API 时的兜底自动化 微软第 15 课when computer use agents are a better fitAPI 工具调用第 7 课要求目标系统暴露接口现实中大量系统没有 API老旧内部系统、供应商门户、只有网页界面的管理后台。CUA 的技术路径是屏幕观察 鼠标键盘操作截图给多模态模型看 → 模型输出下一步动作点击坐标/输入文本/按键→ 运行时执行 → 再截图确认循环到任务完成。与 API 工具调用的本质差异维度API 工具调用CUA 屏幕操作接口依赖需要稳定 API无需 API有界面即可可靠性结构化返回可校验界面一变就失效坐标可能点错速度毫秒级每步含截图视觉推理秒级起步安全边界权限可精确分级“能看到的都能点”边界难划成本每次调用便宜每步烧视觉 token结论有稳定 API 就用 APICUA 是兜底——兜没 API的底也兜界面频繁变化导致选择器脚本脆断的底。28.2 技术路径观察-决策-行动循环 微软第 15 课Browser-Use Playwright CDP 架构CUA 的最小循环四步与第 6 课最小 Agent Loop 同构只是工具换成了屏幕原语三条代表性产品线检索日 2026-10Anthropic computer use toolAPI 原生工具集computer_toolset_20260801一个声明给 Claude 17 个成员工具screenshot/left_click/type/zoom等模型每轮可发多个工具调用官方文档同时部署了注入防护分类器截图内容自动扫描疑似注入时引导模型复核指令来源。同族还有作用域收窄到网页内部的 browser use toolOpenAI CUA 模型GPT-4o 视觉 强化学习训练的计算机操作模型最初以研究预览产品Operator2025-01面世2025-07 起整合进ChatGPT Agent统一 Agent 系统里保留了 Operator 的网页操作能力配套 API 供开发者调用内置拒绝清单与站点封锁名单开源 browser-usePython 框架116.8K stars12.9K forksGitHub API 实测 2026-10Browser-Use 驱动浏览器导航可与 Playwright 组合企业级参考 Microsoft Project OpalM365 Copilot 的 Frontier 能力任务描述后在隔离的 Windows 365 Cloud PC 上异步执行浏览器-onlyIntune 强制、用用户自己的身份、全量审计、随时人工接管——生产级 CUA 的信任设计样板。国内读者关心的模型侧CUA 是多模态视觉操作决策任务当前主流实现绑定在 Anthropic/OpenAI 的模型服务上。国产阵营里智谱 GLM 系列的多模态版本、小米 MiMo-VL开源视觉语言模型HuggingFaceXiaomiMiMo/MiMo-VL-7B-RL具备屏幕理解能力开源权重可本地部署做实验但开箱即用的截图→坐标动作成品 API 生态在检索日尚以 Anthropic/OpenAI 最成熟——这正是本课案例用确定性复刻 CUA 接口形状做教学的原因循环机制学会了模型侧哪个可用换哪个。微软课还给出agent vs actor的工程判断动态布局/找元素/意外弹窗交给 agent视觉自适应结构已知/要求精确时序的操作切成确定性脚本Playwright 直控。混合模式是实践主流agent 探路actor 收尾。28.3 风险清单 微软第 15 课Safety Guardrails for Browser Agents 七条护栏CUA 直接操作真实界面风险比 API 调用高一档界面变化改版/弹窗/A-B 测试让既有操作序列失效——需要页面状态模糊即停止的纪律误操作坐标点偏、表单填错、误触删除——高危步骤前要确定性校验URL、已选项、金额、收件人权限失控Agent 用你的登录态操作能看到的都能点——域白名单、专用浏览器配置、动作预算次数/时长/标签页上限是基本盘注入面最大每个页面的每段文字都是潜在的指令输入第 29 课实测。微软课的 7 条安全护栏值得抄录限定浏览环境与域名观察与行动分离搜索提取可自主提交表单/发消息/下单/改设置必须显式批准秘密不进 prompt 与日志页面内容一律视为不可信输入危险步骤周围用代码做确定性校验设预算与停止条件记录有用证据而非全量截屏。案例实战让 Agent 操作网页完成一个真实任务运行环境Windows推荐入门路径Python 3.10 →pip install playwright→playwright install chromium约 150 MB一次性下载Windows 上无需额外依赖Playwright 自带完整浏览器→python l28_cua_demo.py。唯一要改的是脚本里PAGE路径Windows 写法PAGE file:///C:/ai-agent-course/stage5/code/l28_shop.html正斜杠。Linux实测环境 Python 3.10 playwrightchromium-1243 headless。Linux 下playwright install --with-deps chromium可一并补系统依赖无 root 时先跑playwright install报缺库再补。本案例不需要任何 LLM API key——决策环节用确定性定位复刻跑通的是 CUA 的循环机制本身。目标在本地演示商城页面上跑通 CUA 核心循环——截图观察、定位目标坐标、按坐标点击、再截图确认。视觉决策一环用确定性的元素定位复刻同样的截图→坐标→点击接口形状模型决策版本附 Anthropic API 代码未实测需 API key。步骤本地起一个商城页三个商品按钮点击弹下单提示观察截图 列出各按钮中心坐标复刻视觉模型看图找目标的输出决策选定预算内目标商品行动mouse.click(x, y)按坐标点击不用 CSS selector——CUA 就是这样操作的再观察读取结果区文本 截图留证。完整代码# CUA 核心循环: 观察-决策-行动-再观察【已实测】2026-10# Python 3.10 playwright(同步装 chromium-1243) headlessimportasynciofromplaywright.async_apiimportasync_playwright PAGEfile:///path/to/l28_shop.html# 演示商城页(代码包附)asyncdefmain():asyncwithasync_playwright()asp:browserawaitp.chromium.launch(headlessTrue)pageawaitbrowser.new_page(viewport{width:600,height:480})awaitpage.goto(PAGE)# --- 1. 观察: 截图(CUA 的眼睛) 元素坐标 ---awaitpage.screenshot(pathstep1_observe.png)boxesawaitpage.eval_on_selector_all(.buy,els els.map(e {const r e.getBoundingClientRect();return {item: e.dataset.item, x: r.x r.width/2, y: r.y r.height/2};}))# --- 2. 决策: 选目标(真实 CUA 此处由视觉模型输出坐标) ---targetnext(bforbinboxesifb[item]USB-C 拖线板)# --- 3. 行动: 按坐标点击, 不用 selector ---awaitpage.mouse.click(target[x],target[y])# --- 4. 再观察: 确认动作效果 ---awaitpage.wait_for_selector(#result,statevisible)resultawaitpage.text_content(#result)awaitpage.screenshot(pathstep4_after.png)print(结果:,result.strip())awaitbrowser.close()asyncio.run(main())预期输出实测 2026-10 观察: 页面商品按钮与中心坐标 机械键盘 center(194, 138) 显示器 center(187, 209) USB-C 拖线板 center(225, 280) 决策: 点击「USB-C 拖线板」 (225,280) 结果: 已下单: USB-C 拖线板 截图: l28_step1_observe.png / l28_step4_after.png换成真视觉模型的接口形状【未实测需 Anthropic API key接口来自官方文档 2026-10】# Anthropic computer use tool 声明与循环骨架接口照官方文档, 未实测responseclient.messages.create(modelclaude-sonnet-5,max_tokens1024,tools[{type:computer_toolset_20260801}],# 17 个成员工具messages[{role:user,content:帮我在商城页买一个 100 元以内的拖线板}],)# stop_reason tool_use 时, content 里是若干 tool_use 块:# {name: screenshot, toolset_name: computer, input: {}}# {name: left_click, toolset_name: computer,# input: {coordinate: [225, 280]}}# 你的运行时执行这些动作 - 把新截图放回 tool_result - 循环到 stop_reason ! tool_use官方 quickstart 仓库在显著位置警告强烈不建议在虚拟机之外运行 computer use agent——沙箱隔离不是可选项。小结CUA 截图观察 坐标操作的 Agent 循环是无 API 系统的兜底自动化有 API 优先 API接口形状Anthropiccomputer_toolset_2026080117 成员工具、OpenAI CUA/Operator、开源 browser-use、企业样板 Project Opalagent 处理动态探索、actor确定性脚本处理精确操作混合模式是主流风险四件套界面变化、误操作、权限失控、注入面最大7 条护栏里观察与行动分离和页面内容视为不可信是第 29 课的主角官方红线CUA 必须跑在 VM/沙箱里。参见第 7 课《工具调用模式给模型装上双手》API 工具的对照面、第 6 课《动手从零写一个最小 Agent Loop》同构循环、第 27 课《部署、扩展与本地化运行》沙箱执行环境、第 29 课《Agent 安全》对本课 Agent 的攻击与加固。扩展阅读 网络提示github.com 需代理clone 可走 ghproxy 加速、push 优先 SSHanthropic.com 需代理核心结论已摘进本课正文openai.com 系需代理协议层知识已进正文实测均可用国产端点替代pip 安装建议加清华镜像-i https://pypi.tuna.tsinghua.edu.cn/simple。详见总纲附录《国内网络访问与国产适配指南》。微软原课第 15 课Browser-Use Playwright 混合工作流 notebookhttps://github.com/microsoft/ai-agents-for-beginners/tree/main/15-browser-useAnthropic computer use tool 官方文档https://docs.anthropic.com/en/docs/agents-and-tools/tool-use/computer-use-toolAnthropic computer-use 最佳实践 quickstartVM 警告原文https://github.com/anthropics/claude-quickstarts/blob/main/computer-use-best-practices/README.mdOpenAI Computer-Using Agent 发布页https://openai.com/index/computer-using-agentbrowser-use开源https://github.com/browser-use/browser-useMicrosoft Project OpalFrontierhttps://support.microsoft.com/en-us/microsoft-365-copilot/get-started-with-project-opal-frontier我的专栏蛋白 / 抗体 / 多肽 / 核酸分子模拟 / 动力学 / 对接药物 / 设计 / 案例AI / Agent / 大模型开源蛋白结构预测分子模拟基础小分子药物设计案例AI Agent系列开源蛋白生成方法实践分子动力学模拟-Amber蛋白药物设计案例化学大模型开源多肽设计模型分子动力学模拟-Gromacs多肽药物设计案例《AI Agent原理与实战》开源多肽性质预测分子动力学模拟-OpenMM开源小分子生成设计CADD中的机器学习模型DNA/RNA药物设计結合自由能高效计算配置《MCP 入门实战》siRNA药物设计模型UCSF DOCK系列我胡师兄说药《AI入门实战2026》ASO药物设计模型rDock系列 LeDock系列 gnina系列《经典机器学习实战》
企业数字化 ERP 产品动态
相关推荐
STM32(F429)启动模式与两种烧录方式 前言STM32 所有启动逻辑、烧录逻辑的核心根源只有一个:芯片每次上电、硬件复位瞬间,会采样 BOOT0、BOOT1 硬件引脚电平,决定本次开机从哪个内存区域执行代码。 新手最容易混淆的三个问题:为什么有三种启动模式?分别干什… · 2026/11/16 15:45:10
路灯杆灯箱标识牌哪家靠谱 /* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/12 12:21:37
C# Winform C-S架构OA源码解析:从登录到审批的完整实现与避坑指南 简介:本资源为北风网出品的C# Winform下C/S架构办公OA系统开发课程配套PDF,面向具备一定C#基础、希望提升分层架构与实战能力的技术人员。内容以Winform技术复刻WEB版OA系统,涵盖登录、递归菜单树、窗体通信、日志记录、机构部门管理、DataGr… · 2026/11/12 18:25:09
河南考的电工证在哪发真实经历告诉你答案 河南考的电工证在哪发真实经历告诉你答案 工地太忙根本没时间复习考试,这几乎是每个在一线干电工的兄弟的真实经历。我认识的几个工友,平时天天在工地忙得脚不沾地,可一旦遇到项目停工或者换岗,就不得不面对一个现实问题——特种作业证的复审或者新考证。… · 2026/11/17 6:30:38
特种工2020怎么报名才能顺利上岗? 特种工2020怎么报名才能顺利上岗? 干这行最怕没证,特种作业证没到手,连工地门都进不去。2020年政策更新后, 特种工2020 怎么报名成了很多人的头等大事,今天就从实操角度,说说怎么在最短时间内搞定证件,顺利上岗。 ###… · 2026/11/17 6:30:38
容城考电工证的在哪网上查询外省证怎么转过来 容城考电工证的在哪网上查询外省证怎么转过来 之前考的证在外省能不能转过来?这个问题可能是你正在经历的。特别是如果你是在容城或者周边地区工作,又在外地考过电工证,现在需要本地复审或者继续教育,就一定会遇到“容城考电工证的在哪”这个问题。别急,… · 2026/11/17 6:30:38
特种工2020全国通用证书怎么考?工地太忙根本没时间复习考试 特种工2020全国通用证书怎么考?工地太忙根本没时间复习考试 工地太忙根本没时间复习考试,这是很多特种作业人员的共同困扰。尤其是那些在一线操作的工人,每天面对繁重的体力劳动,连吃饭的时间都不够,更别提抽出时间准备考试了。但你知道吗?特种工2… · 2026/11/17 6:30:38
35岁没学历也能考德阳安监局电工证,真实经历告诉你怎么逆袭 35岁没学历也能考德阳安监局电工证,真实经历告诉你怎么逆袭 你是不是也担心自己学历不高,连德阳安监局电工证都报不了?别急,我就是那个35岁、初中毕业、现在拿着电工证在德阳做电工班长的“老电工”,今天我用我的真实经历告诉你,别让学历挡住你赚钱… · 2026/11/17 6:29:38
长春初级电工证怎么考?通过率揭秘全在这里 长春初级电工证怎么考?通过率揭秘全在这里 之前考的证在外省能不能转过来?这几乎是每个想从事电工工作的人都会问的问题。特别是那些在外地打拼多年、手里握着一张“外地电工证”的人,到了长春想继续干这一行,第一反应就是“我的证能用吗?”。今天我们就… · 2026/11/17 5:38:05
国内电工证报考条件与考试时间 低压电工证怎么考?学历不高也能报名,官方报名入口全在这 你是不是经常听说“电工证是入行门槛”,但又担心自己学历不够、经验不足,根本报不了名?别急,今天就带你从零了解【国内电工证】的报考流程、考试内容,还有怎么在 官方报名入口… · 2026/11/17 5:38:05
电工作业时如何断电?电子证书到底能不能全国通用? 电工作业时如何断电?电子证书到底能不能全国通用? 实操考试心里没底怕挂科,特别是电工作业时如何断电这一操作,不仅关系到你能不能拿到证书,更关系到以后能不能顺利上岗。很多人觉得这不过就是“断个电”,但其实这里面的门道可不少,稍有不慎就可能出错… · 2026/11/16 8:30:17
安徽特种工考证学校千万别踩坑,学历不高也能考证上岗 安徽特种工考证学校千万别踩坑,学历不高也能考证上岗 你是不是总觉得学历不高就考不了证,连报名资格都够不上?其实,很多人和你一样,学历不占优势,但想通过考证转行或提升自己的职业竞争力。安徽特种工考证学校虽然门槛不高,但千万别踩坑,稍有不慎就会… · 2026/11/17 0:00:20
你没学历也能考福田特种作业操作证?真实经历告诉你怎么干 你没学历也能考福田特种作业操作证?真实经历告诉你怎么干 你是不是觉得学历不高就考不上福田特种作业操作证?其实不然,我有个老乡,初中毕业,现在在安阳干焊工,每月拿8000多,还评上了高级技师。他的经历我今天就给你说说,看看你能不能照着走。… · 2026/11/17 0:00:20
低压电工证哪里盖章怎么报名 过期了别慌教你一步步复审 低压电工证哪里盖章怎么报名 过期了别慌教你一步步复审 证书过期了不知道怎么复审延期?低压电工证是很多电工从业者必须持有的证件,一旦到期未及时办理复审,不仅影响工作,还可能面临被单位辞退甚至罚款。今天我就从南阳地区培训机构学员的角度,详细告诉… · 2026/11/17 0:00:20
双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试 /* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/16 16:48:43
STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析 /* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/16 16:48:57
DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案 /* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/16 16:48:48