北京
大多数桌面自动化工具走的是同一条路：接入系统API、读取无障碍树、解析浏览器DOM。它们解析HTML、调用CDP端点、读取元素选择器。这套办法确实管用，但代价是每出现一个新应用、每改一次界面、每遇到一个平台怪癖，都得补一套新的集成。
还有另一条路：把这些全部跳过，直接看屏幕。
所谓纯视觉GUI智能体，就是只靠截图工作——根据像素决定点哪里、输入什么、往哪滚。不解析DOM，不调无障碍接口，不挂系统钩子。模型看到一张截图，对任务做推理，然后输出鼠标和键盘动作。
乍看之下这很低效。API免费给出的结构化数据，为什么要扔掉？当你试着跨应用自动化一件事时，这个取舍就清楚了。
假设你要从桌面表格软件里取数据，粘进网页表单，再确认一个弹窗。基于API的智能体需要为每一环准备连接器：一个表格API、一个浏览器自动化库、一套操作系统级的弹窗处理。纯视觉智能体只是……去做。和人一样：看一眼，点一下，打字，继续。
两种路线各自的主场
API路线在能跑通的时候更快。直接调用API完全跳过渲染层，不用等截图，不做像素级推理。对于选择器稳定的结构化网页应用，这套很难被超越。
纯视觉路线在混乱环境里发光。没有API的遗留桌面软件、定制的企业工具，凡是UI是唯一接口的场景都算。它还能处理跨应用工作流，不必为每个工具单独做集成。
在基准测试上，差距正在收窄。OSWorld测试真实桌面环境下的GUI任务完成情况，专用纯视觉模型目前的任务成功率是58.2%，在专用模型中排第一。作为参照，具备完整API访问能力的通用云端模型绝对分数更高，但它们要把每一张截图都发到远程服务器。
延迟这笔账
纯视觉智能体跑的是一个循环：截图、思考、执行、验证。每一轮要几秒。在一台M5芯片的MacBook Pro上，用本地运行的4B参数模型，每一步大约8秒。复杂任务可能需要10步以上，于是一件不算简单的事就要花上几分钟。
API智能体通常能批量操作，或者干脆跳过视觉推理。填一张直白的表单，API在速度上每次都赢。
但遇到需要视觉判断的任务——读一张图表、靠图标而不是文字标签认出按钮、在一个布局动态变化的界面里导航——视觉智能体不需要特殊处理。它只是看屏幕上有什么。
100个真实任务的对照
在macOS上跑了一组100个任务的测试集，覆盖常见桌面操作：文件管理、网页浏览、应用交互。结果如下：
- 云端支持的视觉智能体：通过率83%
- 本地4B思考模型：通过率56%
- 云端通用视觉语言模型：通过率39%
- 视觉智能体在GUI交互之外被允许使用bash命令时：通过率90%
本地4B模型比云端视觉语言模型高出17个点，这一点值得注意。一个小到能在笔记本上跑、峰值内存4.3GB的模型，在真实GUI任务上赢了一个大得多的云端模型。在这里，训练方法比参数量本身更重要。
什么时候选哪条路
有可靠API、选择器稳定、速度要紧的时候，用基于API的自动化：网页抓取、CI/CD流水线、重复性表单提交。
API不存在的时候、要跨应用边界的时候、数据隐私要求所有东西留在本机的时候，用纯视觉。截图不出机器，任务描述也不发往任何服务器。
大多数真实工作流大概会走混合路线：抗拒API集成的部分交给视觉，结构良好的部分交给API调用。
想自己试的话
Mano-P是一个开源GUI智能体，在Apple Silicon上本地运行。4B模型，支持M4及以上Mac，Apache 2.0许可。
安装命令行工具：brew tap Mininglamp-AI/tap && brew install mano-cua。跑一个任务：mano-cua run "open Safari and search for OSWorld leaderboard" --local。
模型放在HuggingFace上：Mininglamp-2718/Mano-CUA-4B-Thinking-1.1。代码仓库在GitHub的Mininglamp-AI/Mano-P。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
