视觉语言模型驱动WPS自动化：AI看着屏幕操作文档

1. 思路拆解为什么说WPS文档自动化可以用“看着屏幕操作”的方式来解决1.1 传统WPS自动化的三条路各自卡在哪做办公自动化的朋友最开始接触WPS自动化的路径基本是三种。第一种是WPS自带宏和VBA。WPS文字、表格都支持类似Office的宏录制功能你录制一遍“新建文档、输入标题、设置格式”的操作然后在宏编辑器里改改参数就能得到一段可重复执行的脚本。优点是上手门槛低不用额外安装运行环境缺点是宏的安全设置、模板权限、个人版功能权限都会成为拦路虎。更现实的问题是VBA主要能操作WPS文档对象模型一旦要跨出文档范围去控制界面、处理弹窗它就基本无能为力。第二种是用Python通过Windows COM接口调用WPS.Application。这种方法在可控性上更进了一步能用代码直接创建文档、读写单元格、导出PDF很多稍复杂的自动化脚本都是这么写的。但实际用过的朋友会有一个强烈感受WPS的COM接口在不同版本上对象模型总有一点差异同一个接口在不同版本里的行为可能完全不同。而且你要把一个表格做成复杂排版代码量会非常大很多“排布、样式、微调”性质的工作写代码远不如手点来得快。第三种是通用RPA工具。主流的RPA产品都可以通过录制鼠标键盘、选择界面元素来自动操作WPS亮点是上手快、不需要写复杂语法。但RPA的短板恰恰在“选择器”上它的自动化依赖操作系统、窗体和控件树只要WPS版本升级换了工具栏布局或者文档窗口焦点状态变化选择器就会失效脚本维护成本直线上升。这三条路本质上有一个共同前提你必须在动手之前明确知道界面长什么样、控件叫什么名字并把这一切固化下来。对于WPS这种界面复杂、版本迭代频繁、每台机器个性化设置又不一样的软件来说这个前提本身就非常脆弱。1.2 Harness Anything解决的正是“不用提前绑定控件”这件事Harness Anything这类基于视觉语言模型的UI自动化智能体思路跟上面完全不一样。它把计算机屏幕截图为图像交给视觉语言模型做语义理解模型判断出当前界面里有哪些可操作元素然后生成一个动作比如“点击坐标区域”“键盘输入一段文本”“按下快捷键”执行器再把动作落下去接着截一张新图给模型判断形成“观察-决策-行动-观察”的闭环。用大白话说就是让AI像人一样“看着屏幕用电脑”。它不需要控件ID不需要对象模型不需要录制好的选择器只要能看到画面就能逐步完成任务。用在WPS Office上相当于给文档处理配了一个会用鼠标键盘的AI实习生你说“打开文档把标题放大加粗另存到桌面”它就真的一步一步点给你看。这个方案在现实里的价值在于很多办公自动化的痛点其实不是“计算量大”而是“界面操作步骤繁琐、还带判断”。比如一批WPS文档需要统一调整页边距、替换页眉文字、把某些段落的样式规范化这种活儿让代码处理要写大量条件分支让视觉智能体上手反而直接。它能“看懂”排版是否统一判断哪些段落需要改再实际操作。不过也要说清楚边界。纯视觉智能体不等于万能它不适合做超高频批处理也不适合识别极小图标和密集图表。如果需求是每天处理一万个表格里的数值清洗直接上Pandas写脚本比派AI点击屏幕高效一百倍。最好的姿势是把Harness Anything用在“需要判断、需要操作界面、单次耗时不过分敏感”的场景。我自己平时会在批量报表任务里让智能体先打开WPS再由脚本完成数据运算最后让智能体做样式调整和导出两边各干各擅长的部分整体效率会舒服很多。2. 五分钟开工前要准备的三件事机器、依赖、模型2.1 先检查系统、WPS版本和显示设置省得后面反复踩坑这次实操我用的是一台Windows 10办公台式机16G内存没有独立显卡WPS Office 2019个人版。先说结论Harness Anything这类框架对硬件没有特别苛刻的GPU要求因为视觉理解模型走的是云端API本地只需要运行执行器纯CPU也能跑。但内存建议8G以上因为应用窗口截图、图像缓存、日志记录都会占内存。真正的坑在显示设置。我强烈建议任务开始前把Windows系统缩放比例调整到100%并保持屏幕分辨率在1080p或以上。核心原因在于视觉模型是通过截图来定位按钮的系统如果开了125%或150%缩放截图分辨率与实际坐标换算会错位智能体明明看到“保存”按钮点击时却偏了几个像素。另外在WPS程序的兼容性设置里如果开了“替代高DPI缩放行为”记得改成“由系统处理”或者直接关闭否则窗口内控件的位置跟截图里的位置对不上点偏就会成为一种常态。还有一个常被忽略的点任务开始前固定WPS的窗口状态。先手动打开一份空白文档把窗口最大化确保没有被其他窗口遮挡。很多失败案例不是模型笨而是执行器点击时WPS窗口压根不在前台点到了别的地方。所以我在每次跑任务前都会加一句指令“如果WPS窗口未前置先点击任务栏WPS图标。”这句话成本极低却能让成功率明显提升。2.2 拉取代码和Python依赖这部分大坑都在版本上安装环境这部分我建议直接按官方仓库的README来。基本原则是先准备一个干净的Python 3.10环境再用虚拟环境安装依赖。我这边的流程是python3.10 -m venv .venv .venv\Scripts\activate git clone Harness Anything官方仓库地址 HarnessAnything cd HarnessAnything pip install -r requirements.txt这里说几个我实际踩过的坑。第一个坑是Python版本必须匹配用3.12会遇到若干依赖库还没有预编译wheelpip安装时报一堆编译错误最后只能回去换3.10。第二个坑是pip源直接在默认源下载大体积的图像处理依赖会慢到几乎让人崩溃建议换成国内高速镜像再装。第三个坑是虚拟环境这一步千万别偷懒。做办公自动化的人机器上通常已经装了一堆pandas、openpyxl、win32com版本早就定了而这个新框架对依赖的版本比较挑剔直接在全局环境装很容易互相打架。用独立虚拟环境隔离能保留你原有自动化脚本的运行环境两边的依赖各走各的互不干扰。装完后建议先跑一遍框架自带的自检或者最小演示任务确认截图、键盘事件模块都正常加载。这个步骤很多人会跳过结果真正跑WPS任务时报ModuleNotFoundError回头排查半天才知道是环境没装干净。冒烟测试虽然多花两分钟但能帮你把后面的大问题掐死在摇篮里。2.3 配置视觉模型在线API还是本地模型一句话说清怎么选视觉理解模型是这个方案里真正的“大脑”一般有两种接入方式。在线API方案比如GPT-4o、通义千问VL、GLM-4V等你只要在.env文件里填入API Key选好模型名就能跑。优点是识别质量高、部署快做“看屏幕操作”这种对图像语义理解要求高的任务比较稳缺点是按Token计费每跑一个任务会消耗一些费用。实际测试下来一个二十步左右的任务费用完全可控日常个人玩完全负担得起。本地模型方案比如Qwen2.5-VL、MiniCPM-V等需要一台显存至少8G以上的GPU机器好处是不用把截图传出去敏感文档不出内网适合办公数据保密要求高的企业。缺点是在普通家用电脑上推理速度慢每步思考可能要好几秒整个任务跑下来的体感会弱很多。如果没有GPU还是老老实实用在线API体验差距非常大。我这次为了省事用的是云端Qwen-VL模型。配置时重点设置几个参数模型名、API Key、最大步数、动作间隔毫秒数。最大步数控制一个任务最多执行多少次“看图-动作”的循环防止模型在某个界面打转停不下来动作间隔建议设置在800到1200毫秒太密会导致WPS菜单动画来不及展开鼠标点击事件被系统识别为异常截图保存目录也建议开发阶段保留下来后面回放排错会非常有用。3. 实操记录从新建WPS文档到导出PDF完整跑一遍3.1 把用户需求翻译成智能体指令这步决定成败一个常见的错误是直接把终极目标扔给模型“帮我做一个季度汇报文档”。视觉智能体虽然能看懂界面但对模糊目标的理解会发散可能生成各种奇怪的步骤。更稳的写法是先自己在脑海里或草稿纸上走一遍手动操作把关键路径写清楚再交给模型。我这次的任务是新建一个WPS文字文档在第一行输入“2025年一季度各中心销售汇总”设置字体微软雅黑、18号、加粗、居中往下插入一个3行4列的表格并填入表头和数据最后保存到D盘自动化测试文件夹下的季度汇总.docx再导出同名PDF。对应的指令是这样写的打开WPS文字新建一个空白文档。 第一行输入文本“2025年一季度各中心销售汇总”。 选中这一行打开字体设置字体为微软雅黑字号18加粗居中对齐。 把光标移到下一行通过“插入-表格”插入一个3行4列的表格。 在表格中填入以下数据东部中心 1200 1500 1800南部中心 900 1100 1300。 通过另存为把文档保存到 D:\\自动化测试\\季度汇总.docx。 再用“文件-另存为-PDF”导出到相同目录。 如果遇到任何弹窗点击“取消”或“确定”。可以看到指令里尽量把路径、名称、结果位置说清楚并给了面对弹窗的兜底决策。写指令的三个原则可以总结为目标数字化字号、列数、字体名都写死、路径明确去哪点、存哪里、兜底清晰遇到弹窗怎么办。模型不擅长猜你的意图但它很擅长把操作步骤执行完整把思考留在指令里把执行交给模型这样组合起来最可靠。3.2 启动智能体观察日志和截图别一跑就忙别的环境配置好、指令写完启动命令其实很简单核心就是把任务文本作为参数传进去python run.py --task 打开WPS文字新建一个空白文档... --model qwen-vl-max --max-steps 30 --screenshot-dir ./shots跑起来之后终端会吐出类似下面的循环日志step 1: 打开WPS文字环境当前正在启动窗口step 2: 点击左上角新建按钮step 3: 输入标题文本step 4: 选中标题打开字体设置对话框每执行一步框架会同时保存一张当时的屏幕截图。我强烈建议你看着日志和截图跑完第一轮不要撒手不管。这么做有两个原因一是能及时发现模型理解偏差比如它本应该点表格却点成了图表二是能记住“第几步容易踩坑”后面如果要做批量任务可以在外层脚本里提前规避。实测下来上面的任务大概用了11步耗时不到4分钟WPS启动本身就占了几秒其余步骤基本都是秒级完成。这里要说明一下“5分钟内自动化”不是指你第一次从零部署到跑通只要5分钟而是指依赖就绪、指令写好后启动一个最小闭环任务的速度确实可以压进5分钟。第一次冷静做环境准备花半小时一点也不丢人磨刀不误砍柴工。3.3 批量操作一整批WPS表格文件把自动化从单任务变成流水线单文档跑通只是第一步办公室里真正的需求往往是“这一整个文件夹里30个报表都要改”所以我在第二轮重点测了批量场景。批量的做法外层不要指望让智能体“一步处理30个文件”正确姿势是在外面用Python脚本遍历文件夹再把每个文件逐个交给Harness Anything。我给每个文件生成一条指令模板打开 D:\\报表\\202503.xlsx定位工作表中A列检查是否存在空白单元格 如果空白则在对应行A列填入“未填写”把C列数值格式设置为保留两位小数 保存并关闭文档。你可能会问为什么不在指令里一口气写“处理所有xlsx文件”因为视觉智能体执行长任务的注意力会随步数上升而稀释几百步的长任务几乎必然在某一步跑偏还会白白烧掉大量Token。外层遍历、内层单文件处理每完成一个文件杀掉残留的WPS进程、等待一到两秒再启动下一个成功率会明显提高。我这一轮跑了30个文件大约用了20分钟中间有3个文件因为原表格设置过单元格锁定模型怎么填都报错。最后还是在任务开始前用脚本去掉目标区域的保护再交给智能体这个问题才算解决。这里还想多说一句现实的混合方案不要让AI在那里肉眼逐行看数据先让Pandas把数据清洗好再让视觉智能体负责打开文件、拖入数据、调格式、导出。传统代码擅长计算视觉智能体擅长UI操作拆开来配合是最划算的。同一个思路也可以反向用比如需要从WPS表格里读取非结构化内容时让智能体把关键信息读出来输出成JSON再用传统代码继续加工。这样的结构每一步都简单可靠出问题也容易定位。4. 常见问题排查与避坑实录4.1 智能体看不到WPS窗口或者鼠标点偏先从DPI和窗口层级查症状一般是“截图里明明有那个按钮但执行器点击后什么都没发生”。排查顺序永远是三件套窗口是否置顶、系统缩放是否100%、WPS是否被某个弹窗遮住。我在测试中最常见的原因是WPS启动后弹出的“热点资讯”“稻壳会员”推荐页把主窗口挤到了后面智能体看到的截图和实际鼠标事件落点就不一致。处理办法是提前在WPS设置里关闭“启动时显示首页”“热点推荐”等项目。另外在任务指令开头加一句“如果当前WPS窗口不在最前方先点击任务栏的WPS图标将窗口置前”效果立竿见影。还有一个少有人提的坑多显示器环境务必定好主显示器屏幕坐标基于主屏计算副屏上的WPS窗口会出现“截图看得到、点击点不中”的诡异问题。4.2 中文输入乱码、丢字改用剪贴板粘贴是更稳的方案用PyAutoGUI这类执行器直接模拟键盘输入中文时依赖系统当前输入法和剪贴板状态很容易出现丢字、乱码、输入法切换失败的问题。如果任务需要写入大段中文文本我的方法是先用脚本或手动把完整文本放到Windows剪贴板再在指令里明确告诉模型“使用快捷键CtrlV粘贴文本不要逐字输入”。这样既降低了单步输入失败率也让整个任务少了很多容易出错的键盘键入操作。如果确实必须逐字输入建议每输入一段后加一个间隔让WPS的输入法候选框完全落定再继续同时观察截图里的光标位置。不要嫌慢WPS文字在中文输入时偶尔会原地卡顿输入过快会让模型误判为一步失败然后原地重试反而更慢最后还可能因为重复输入产生一大堆脏文本。4.3 WPS的弹窗、文件占用和安全提醒是环境噪音的大头这套系统最大的不稳定因素不是模型本身而是WPS运行时的那堆“环境噪音”。常见的有启动时的登录和广告弹窗、文档打开时的“启用编辑”提醒、文件被上次异常退出锁定的提示、另存为同名文件时的覆盖确认框。我的处理习惯分三步。第一在WPS设置里关掉所有弹窗类选项包括启动首页、热点推送、更新提醒。第二把自动化处理的工作目录加入WPS的信任区域减少安全类提示。第三在任务指令里给出兜底动作“如果弹出任何确认框点击确定或覆盖。”实测下来这些准备能把整体失败率从两成降到个位数。另外每个任务开始前先检查有没有WPS进程残留有的话先把进程结束掉否则上一个任务留下的锁定状态会让当前任务一直在“打开文件”这一步打转。4.4 常用参数与疑难杂症快查表症状最可能原因处理办法点击偏几像素系统缩放不是100%调成100%关闭WPS高DPI替代截图空屏或黑屏窗口切换失败先置前窗口再发起任务中文输入乱码输入法状态不稳定预置剪贴板强制CtrlV粘贴连续卡在同一个步骤弹窗遮挡主窗口关广告弹窗加入“点确定”兜底指令长任务中途跑偏步数上限太长拆任务或增大动作间隔文件打不开被锁定WPS进程残留批量前先杀残留进程这张表我放在项目文档里同事出问题时先对号入座不会的再来找我。你自己跑任务时也建议依样画葫芦维护一张自己的表每排一次错就记一条过不了多久你积累的排错经验会比任何通用教程都更贴合自己环境的气质。我把这些经验沉淀下来之后新接手的同事只需要照表排查不需要重新踩一遍我曾经踩过的坑团队内部的自动化任务交接成本也一下子降了下来。4.5 长期用它干活我有几条体会如果你决定把Harness Anything纳入日常办公自动化工具箱有几点经验值得参考。第一不要追求一步到位全自动。先把最核心的单文档操作做成标准化SOP让智能体反复跑熟再往这个SOP上叠加批量、异常处理和多文件扩展。全自动的代价不是部署成本而是排错成本步骤越多出问题时定位越难。第二善用截图回放。很多问题在日志里根本没有报错模型以为自己成功了但WPS其实没保存。回放截图配合查看每步“thought”往往一眼就能看出它在哪一步看错了目标、哪一步遗漏了弹窗。截图就是视觉智能体的“黑匣子”丢了这个会让你陷入盲人摸象。第三把“传统代码视觉智能体”的混合模式作为长期方案。WPS文档处理里数据计算、文本替换这种确定性工作交给脚本打开文件、调整格式、处理弹窗、导出这种需要“看情况”的工作交给智能体两者配合的稳定性和速度都远高于单用任何一种。这也是我目前在公司业务里用得最顺手、最满意的一套组合拳。