CUA实战指南：从零搭建AI自动操作电脑的完整流程

最近有个词在AI圈子里刷屏频率高得吓人CUA。第一次看到的人可能会把它当成某个新梗甚至有人直接念成“夸”。可你要是真把它当梗就容易错过一件挺重要的事——CUA全称是Computer Use Agent翻译过来就是“计算机使用智能体”简单说就是让AI自己看屏幕、动鼠标、敲键盘替你把活儿干了。这玩意儿跟普通自动化脚本完全是两码事。以前我们说的RPA机器人流程自动化是给人写好的规则流程固定遇到界面改版就崩。CUA不一样它像人一样“看”到屏幕内容然后自己判断下一步点哪儿、输入什么任务中途出现意外还能临时调整。这篇文章我就把自己折腾CUA的完整过程、踩过的坑、以及怎么从零搭一个能跑起来的最小系统全部分享出来。适合想入局AI Agent开发的人、做自动化测试的团队以及单纯好奇“AI到底能不能替我操作电脑”的朋友。1. CUA到底是个什么东西从热词迷雾到计算机使用智能体1.1 为什么这个词突然就火起来了CUA突然刷屏背后其实是一整条技术路线成熟了。大语言模型已经能理解复杂指令视觉模型越来越便宜再加上多模态模型可以直接把截图里的按钮、输入框、文字全部识别出来于是“让AI用电脑”这个从AI诞生起就存在的梦想终于有了工程上可行的路径。过去两年各种Agent框架层出不穷但大多数只能处理文本调用API、读写数据库没问题一碰到“老系统”“图形界面”“没有API的软件”瞬间傻眼。很多企业里有大量流程还是要靠人肉点鼠标完成比如财务在税务系统里录入数据运营在后台批量上传商品客服把工单系统里的信息复制到表格里。这些活儿规则简单但极其繁琐做成RPA又太难维护。CUA恰好补上了这一块不用接口不用改系统AI直接按人看屏幕的方式去操作底层软件压根不知道对面是个AI。所以这一轮热本质上不是某个模型单点突破而是“多模态识别长上下文规划工具调用”三件事凑齐了。这三者一结合原本只会在手机屏幕上点来点去的演示Demo就变成了能处理真实桌面任务的初级生产力工具。1.2 CUA能做什么让AI接管鼠标键盘的典型场景CUA最擅长的场景有三个。第一类是跨应用数据搬运例如从邮件里提取订单信息填进ERP系统再把确认结果回写表格中间隔着好几个软件API打通成本极高但人肉操作就是复制粘贴加切换窗口这种活CUA做起来得心应手。第二类是老旧系统的自动化很多银行、政企、制造车间的系统还停留在IE时代甚至用着一二十年前的客户端软件想改造根本没预算想上自动化又没接口CUA是唯一能“不说服系统改造就先用起来”的方案。第三类是个人桌面效率工具比如每个工作日早上自动整理下载文件夹、批量重命名文件、定时抓取行情摘要做成日报这些说大不大说小不小的重复劳动交给CUA正合适。我见过一个很典型的案例某电商运营团队每天要检查五百个商品链接的促销价格是否正确以前两个运营盯三小时后来用CUA脚本模拟人工刷新页面、比对价格、超阈值就截图报警半小时跑完还能顺手把异常记录导出成Excel。当然CUA现在还远没到“挂机跑一天不用管”的成熟度但用来做有人值守的自动化已经足够解放一大半时间了。2. 核心原理拆解CUA是怎么“看懂屏幕并动手操作”的2.1 感知-规划-执行闭环像人一样工作CUA的工作流程跟人坐在电脑前的状态非常像。人操作电脑时第一件事是眼睛看屏幕找到目标按钮或文字第二件事是脑子判断该怎么点、点什么第三件事是手控制鼠标键盘完成动作。CUA把这三步做成了三个模块的循环感知模块Perception负责截图或者读取界面元素规划模块Planning负责理解用户意图和当前屏幕状态执行模块Action负责把规划结果转换成鼠标点击、键盘输入、滚动滚轮等具体操作。这个循环不是只跑一次而是反复进行。每操作一步CUA会重新截屏观察界面变化判断上一步是否生效再决定下一步。这种“看一眼动一下”的闭环设计是CUA跟传统宏命令最大的区别。传统宏命令像是一份照着念的剧本中间出任何一点意外就彻底演不下去CUA更像一个走一步看一步的人临时告诉你报销按钮挪到了导航栏它也能自己再找一圈。感知-规划-执行闭环里最难的是感知和规划之间的衔接。模型要把截图里的像素坐标映射回真实屏幕坐标还要理解“这个抽屉图标到底是不是设置按钮”。因此大多数成熟的CUA方案都在训练数据里混入了大量真实界面截图让模型学“看见什么样的界面就预期是什么样的布局”。这也是为什么很多项目强调使用独立的高分辨率截图和辅助信息而不是直接把整块屏幕压缩成一团模糊的小图喂给模型。2.2 三种主流实现路线截图派、DOM派和原生API派现在市面上的CUA实现大致分三条技术路线。截图视觉语言模型这是最接近人类操作的方式。系统定时截屏把图片和当前的任务描述一起发给多模态大模型让模型返回“点击坐标”或“执行某个动作”。优点是通用性强凡是屏幕上能看到的软件都能操作包括老旧的Windows客户端、虚拟机里的系统、远程桌面里的应用缺点是大模型看图推理一次成本不低响应速度也比纯文本调用慢而且截图分辨率如果太高模型输入Token会爆炸。辅助功能/DOM解析派主要用在浏览器环境。通过浏览器扩展拿到页面的可交互元素树包括每个按钮的文字、位置、可点击性然后把DOM结构喂给模型去选择点击哪个元素。这种方式定位精准不需要关心像素坐标页面改版后只要语义结构没大变就能继续工作。缺点是只能用于浏览器里出了浏览器之外完全没有用武之地。原生API派是指操作系统层面提供接口比如安卓的无障碍服务、Windows UI Automation。它们能拿到比截图更结构化的控件信息而且操作由系统授予权限点击时不需要模拟找不到坐标。实现稳定效率高但适配成本也高平台差异大并非所有应用都暴露完整控件信息。三条路线不是互斥的我看到的成熟产品普遍是混合架构优先走DOM或原生API拿不到信息再退化为截图识别。这个设计逻辑很好理解能拿到结构化的“标准答案”就不要去猜模糊的截图截图识别更像是兜底方案。实现路线召回信息方式典型优势典型限制截图 视觉语言模型全屏/区域截图通用性强、适配一切图形界面成本高、速度慢、坐标可能漂移DOM / 辅助功能解析元素树、控件属性定位准确、响应快、页面改版容错好仅限特定环境浏览器/系统原生API派系统级操作接口稳定高效、动作可靠平台绑定、实现成本高我当时做技术选型时心里最看重的是通用性所以主力研究截图视觉模型这条路线但架构上预留了DOM解析的入口。这么做的好处是用浏览器场景时能跑得又快又准遇到老客户端软件还能退回截图识别不至于全线瘫痪。3. 本地实战第一步用Python手写一个最小CUA3.1 环境准备装这几样东西就能开工写一个能跑起来的最小CUA不需要一上来就上多复杂的框架只需要四个组件Python环境、截图库、鼠标键盘控制库、模型调用入口。截图我用了pyautogui它虽然本身也能控制鼠标键盘但截图和操作都办得非常简单代码量很小。如果你的电脑是多显示器环境最好加装一个pillow协同处理截图尺寸。模型调用入口可以有两种选择。如果你本地有GPU可以用视觉语言模型做离线推理比如Qwen-VL系列、InternVL或者UI-TARS之类的开源权重模型好处是免费、隐私安全坏处是显存需求高一张16G显存的卡跑中小规模模型比较勉强。如果只是做轻量验证直接调云端多模态API是最省事的路子注册一个账号拿个Key就能跑但把截图发给外部服务之前记得先把隐私数据脱敏这个我后面会专门强调。装完依赖后我会先写一个烟雾测试脚本确保pyautogui能正常截图、移动鼠标、点击别等到接入模型才发现连最基础的鼠标权限都还没给。在macOS上要允许终端控制电脑Windows下要确保脚本以非管理员权限也能操作窗口否则后续会很痛苦。3.2 最小闭环代码截图-识别-点击三步走下面这个例子是CUA最核心的骨架我先用伪代码真实代码混合的方式把链路打通稍后再接更强的模型。import pyautogui import time # 1. 截取当前屏幕 def take_screenshot(pathscreen.png): img pyautagui.screenshot() img.save(path) return path # 2. 调用模型识别截图得到操作指令 def ask_model_for_action(screenshot_path, goal): # 这里替换成你的真实模型 API # 返回格式约定为action, x, y 或 action, text # 示例返回click 520 340 # 再示例type 你好 return click 520 340 # 3. 执行操作 def execute_action(model_result): parts model_result.strip().split() action parts[0] if action click: x, y int(parts[1]), int(parts[2]) pyautogui.click(x, y) elif action type: text .join(parts[1:]) pyautogui.write(text, interval0.05) elif action scroll: direction parts[1] pyautogui.scroll(-400 if direction down else 400) else: raise ValueError(f未知动作: {action}) # 4. 主循环 def run_agent(goal, max_steps10): for step in range(max_steps): screenshot_path take_screenshot() result ask_model_for_action(screenshot_path, goal) print(fStep {step 1}: {result}) if result done: print(任务完成) return True execute_action(result) time.sleep(0.8) # 等待界面响应 print(任务未完成已达到最大步数) return False if __name__ __main__: run_agent(帮我打开记事本输入hello)这套代码的核心是循环结构。每次模型返回“操作指令”和“坐标”程序就执行然后立刻重新截图形成感知-执行-再感知的闭环。很多人第一次写CUA都容易忽略一个细节执行完点击之后一定要等界面完全渲染出来再截下一张图不能一秒钟狂截几十张。更稳妥的做法是根据界面特征做条件等待比如“等到某按钮出现再继续”但在最小实现里我用time.sleep(0.8)暂时代替。要特别注意的是模型返回格式必须严格稳定。我在最初跑通时模型偶尔会返回“我觉得应该点击右上角的关闭按钮”这种自然语言描述而不是结构化的click x y。后来我在提示词里死死规定输出格式并且在后端用正则表达式做一层校验一旦格式不对就要求模型重新输出一次否则宁可让流程中止也不要瞎执行。4. 拉满体验用开源CUA模型替代“闭眼点击”4.1 为什么一定要接一个视觉语言模型如果你把上面那套代码直接跑起来最有可能会发现一个问题模型没了动作就是死板坐标。第一步点到哪儿是手动写死的整个流程跟普通自动化脚本没区别。要真正称得上CUA必须让模型看到截图内容理解目标是什么然后动态生成每一步坐标。所以我建议把ask_model_for_action函数换成真正的多模态大模型调用。我们可以选用本地开源模型也可以直接调云端API。以当前社区活跃度来看本地模型里UI-TARS是专门针对GUI代理场景训练的对按钮、输入框的识别比通用模型更精准通用视觉模型里Qwen2.5-VL和InternVL系列也表现不错。它们都能接收图片输入输出文字或JSON格式的操作计划。接入云端模型时核心逻辑是一样的只是要把截图文件编码成Base64塞进请求里。这里必须提醒一句搜代码的时候别把任何API密钥提交到公开代码库我见过太多人把.env文件误传上去几分钟内密钥就被盗刷。正确做法是用环境变量存储密钥并且.gitignore里一定排除配置类文件。4.2 一个完整示例自动整理桌面文件我拿“把桌面上所有PDF文件移动到指定文件夹”这个需求写一个稍微完整的例子。这个任务听起来简单但每家电脑桌面布局都不一样文件名乱起八糟屏幕上还可能有各种悬浮窗干扰是一个很能测试CUA能力边界的场景。import base64 import os from openai import OpenAI # 只是示例换成你的客户端也行 client OpenAI(api_keyos.getenv(MODEL_API_KEY)) def ask_model_for_action(screenshot_path, goal): with open(screenshot_path, rb) as f: img_b64 base64.b64encode(f.read()).decode() response client.chat.completions.create( modelqwen-vl-max, # 你实际使用的模型 messages[ { role: system, content: ( 你是电脑操作助手。每次看到截图后请分析用户目标返回一条JSON指令。 可选动作click(x,y), double_click(x,y), type(text), scroll(direction), done。 不要返回其他解释。 ), }, { role: user, content: [ {type: text, text: f当前任务{goal}}, {type: image_url, image_url: {url: fdata:image/png;base64,{img_b64}}}, ], }, ], temperature0, ) return response.choices[0].message.content.strip()这段代码里最关键的是系统提示词。我的经验是提示词里不但要明确动作格式还要明确“如果截图里看不到目标元素就滚屏或者打开资源管理器搜索框”这样可以防止模型傻站着不动。另外temperature务必要设成0CUA场景里完全不需要创造力输出一丁点随机性都会让点击坐标漂移。跑完这个流程你会发现模型并不一定每一次都点得准。桌面图标位置变化、窗口遮挡、任务栏自动隐藏都会让坐标判断失误。所以我把整个循环的容错写得很“厚”连续三次同样的操作但屏幕没发生变化就判定进入死循环自动截取异常图并停止。这个保护机制非常有必要不然一旦模型抽风鼠标会疯狂点击严重时甚至可能误删文件。4.3 参数调优与性能优化技巧实际调优过程中影响成功率的参数比想象中多。首先是截图分辨率截图分辨率越高模型看到的细节越清楚但Token消耗会成倍增加。我的做法是先固定一个基准分辨率通常把屏幕截图Resize到1400像素宽同时保留原图用于点击坐标还原坐标换算就是简单的等比缩放。其次是截图频率每执行完一个动作不要立刻截下一张图因为界面动画还没结束截出来的图是模糊的容易误导模型。最佳实践是“轮询截图判断界面稳定后再发送给模型”判断方法可以简单比对相邻两张截图的像素差异差异小于阈值就认为界面渲染稳定了。温度参数设为0之外还有一个容易被忽略的参数叫max_tokens如果你把模型返回的JSON指令长度限制得太小动作稍微复杂一点就被截断了。最好把max_tokens设到1000以上确保模型能输出完整的JSON。做了这几个优化之后我的CUA任务成功率从不到50%提升到了75%左右算是一个可以接受的验证效果。5. 踩坑实录CUA跑起来之后的五个重灾区5.1 坐标偏移与多显示器问题单显示器下截图和点击坐标基本是一一对应的。一旦接上扩展屏坐标体系立刻混乱。pyautogui的坐标系是把所有显示器的区域拼成一个大的虚拟矩形主屏从左上角开始副屏根据相对位置有正有负的坐标而截图可能只覆盖主屏。如果模型看到的截图是主屏区域却把坐标外推到负象限那点击操作就会落到副屏上。解决思路是固定操作区域先让用户选择“当前要操作的屏幕编号”程序截那个屏时同时记录该屏的左上角偏移所有模型返回的坐标都加上偏移量再做点击。5.2 模型打破输出格式模型返回格式不稳定是最让人头疼的事情。我最初调试时模型时不时会输出“我来帮你点击关闭按钮”这种自然语言导致解析函数直接崩掉。后来我在提示词里放了一个例子要求必须按照JSON格式输出同时在代码里做容错先尝试解析JSON如果失败就再用正则去提取click(\d,\d)这类模式。实在提取不到就让模型重新生成一次并限制重试次数。检查代码时记得要单独为“解析失败”写一套完备的处理逻辑不要全局一把梭。5.3 重复执行导致的死循环CUA最常见的失败模式就是死循环。比如目标是把文件拖入文件夹结果模型反复尝试拖拽却没放下又或者误点了某个弹窗导致界面状态越来越偏。我发现最有效的保护方法是“轨迹记录”记录每次执行的动作和对应截图哈希如果出现了完全相同的动作序列两次以上就判定循环立刻中止任务。这比单纯限制最大步数要好用因为有些正常任务可能需要几十步提前限制步数容易误杀而轨迹去重能更精准地发现异常重复。5.4 权限与安全拦截很多正版软件都有自我保护机制检测到来自CUA的自动化操作就会断掉会话特别是银行客户端、某些内网办公软件。这不是程序有bug而是软件有意阻止。我的经验是遇到这种情况先看能否用辅助功能API替代纯鼠标模拟如果不能就老实接受现实把该步骤标记为“需人工介入”在自动化流程里弹窗让人手动完成这一步再继续后续任务。强行对抗安全机制既不道德也容易被封号完全没有必要。5.5 性能瓶颈与算力成本截图AIGC请求的延迟实测下来一般是一步2到5秒。一个20步的任务几分钟跑完这个体验还算能忍。但如果任务需要看很多次屏幕比如翻几百行列表那成本就会堆到一个令人肉疼的程度。为了控制成本很多CUA实现会先做一个OCR或目标检测的小模型快速定位候选区域再只剪裁局部小图送给大模型。这种“粗定位精细识别”的两段式方案能把Token消耗降到原来的十分之一。我强烈建议所有要上生产的CUA都设计成这种结构。5.6 常见问题速查表现象可能原因处理建议点击没有反应坐标体系偏移、窗口被遮挡检查多屏幕坐标偏移激活目标窗口后再点击模型重复点同一个位置界面变化但模型未感知开启界面稳定检测界面未变化则不截图模型返回自然语言提示词约束不足系统提示词加入严格JSON格式并做解析容错操作被安全软件拦截软件有反自动化保护标记人工介入不强行对抗截图过大导致超时分辨率过高固定截图宽度等比缩放后送模型API调用爆量循环每步都请求大模型引入目标检测粗定位只裁剪局部区域识别6. 现阶段怎么用CUA最靠谱能力边界与个人经验6.1 能力边界哪些事千万别交给它CUA的能力边界目前非常明显。第一它不适合处理需要极高精确度的手工操作比如像素级绘图、音频剪辑第二它很难在没网的环境里处理涉及登录态、验证码的网站很多验证码本身就是专门用来防AI的第三在操作过程涉及个人隐私或商业机密时直接把完整屏幕截图发给外部模型是一件高风险的事一定要先脱敏。更现实的问题是模型对“不确定性”的容忍度。任务中途如果突然弹出“系统升级”“密码过期”这种需要决策的对话框绝大多数CUA会懵掉。所以现阶段最靠谱的用法不是“全自动”而是“半自动”CUA负责处理流程明确、重复度高、异常情况少的步骤一旦检测到置信度下降就切回人工。我做过一个统计把CUA用在数据录入场景与纯人肉操作相比时间大概节省了60%但如果全自动无人值守成功率只有80%上下剩下20%要靠人兜底。这个数据足够说明问题。6.2 我的经验和后续扩展想法说实话CUA还处在“全流程体验半流程生产”的阶段它离真的替代人类坐办公室还有距离。但作为过来人我想说一个个人观察当前最有价值的不是追求“让它单独完成整件事”而是把它嵌到现有工作流里当“双手”来用。大模型负责大脑CUA负责手遇到手搞不定的地方就喊人类来。这种人机协同的思路比硬扛自动化更可落地。如果你也想上手试试我的建议是从最小的闭环跑起先把截图-识别-点击三步走通再叠加任务规划、异常恢复和成本控制。这个领域每天都在变但基本框架就是这三步。最后送你一条最实用的经验第一次让CUA跑自动任务之前一定记得在虚拟机或一个不重要的目录里测试别拿你存着毕业论文的电脑做实验。等它真能稳稳干完一件活再让它碰重要数据。祝你第一次让AI替你挪鼠标的时候忍住别笑出声。