Anthropic又放了个大招。Fable 5.1发布仅24小时,这家公司就宣布全面升级Claude的「计算机使用」能力。这次升级的核心变化,一句话就能说清:Claude干活时,不再霸占你的鼠标和键盘了。
以前用Claude操作电脑,体验多少有些尴尬——任务交出去了,鼠标和键盘也跟着一起「上交」。AI每点一次,你的光标就被拽走一次,它干活的几分钟里,人只能在旁边干看着。现在,在macOS 15及以上系统中,Claude默认通过后台窗口工作,你可以继续写文档、回消息,Claude则在另一边打开App、整理文件、测试程序。一个人,一台电脑,两条工作流,终于可以同时跑了。
![]()
后台干活,不抢屏幕
这次升级最直观的变化,就是「不抢屏幕」。Claude在后台操作时,如果检测到用户正在输入,还会主动等待。只有任务必须接管整个屏幕时,它才会在每次会话中首次发起前台操作前征求许可。目前,Computer Use处于Beta测试阶段,已面向Claude Pro和Max订阅用户开放,macOS版首先体验。
这套「计算机使用」能力其实并不陌生。早在今年3月,它就随Dispatch一起上线了。工作原理本质上是一个Loop:截图→模型看图→输出坐标→系统去点。但这次升级,让整个体验发生了质变。
三级降级架构,从API到屏幕
从Anthropic公开的文档看,Claude的桌面操作仍然建立在经典的「感知—决策—执行—反馈」循环上。每执行一步,系统截取当前窗口画面,交给视觉模型理解,识别按钮、输入框、菜单和页面状态,随后生成点击坐标、键盘输入或滚动等动作。桌面端执行动作后,再返回一张新截图,Claude判断操作是否成功,接着规划下一步,如此循环直到任务完成。
这次更新覆盖了Cowork和Claude Code场景,采用一套高度优化的三级降级执行架构:
- API连接器:任务涉及Gmail、谷歌和微软办公全家桶时,Claude优先通过底层API交互,数秒完成;
- 内置浏览器:没有直连API时,Claude接管内置浏览器,在网页端自动化操作;
- 屏幕交互:以上两个都不满足时,Claude触发终极「计算机使用」能力。
这套架构的价值在于,能用API解决的绝不动屏幕,效率优先。只有真正需要「看屏幕」的任务,才走最重的路径。
GUI智能体,难在哪?
屏幕交互之所以放在最后,是因为它比普通工具调用难得多。API返回的是结构化数据,字段含义固定,而屏幕只提供像素。同一个「提交」按钮,可能出现在不同位置、不同尺寸和不同主题中,还可能被弹窗遮住。只要窗口移动、页面加载变慢,或者某次点击没有生效,后续步骤就可能全部偏离。
这也是为什么Claude需要「截图→理解→执行→检查」这样反复循环——每一步都在确认「我看到的和我想的是否一致」。
人机并行时代开始了
过去两年,AI智能体一直在学习使用工具。先是调用搜索和代码解释器,后来接入浏览器、邮箱与办公软件,现在终于开始直接进入操作系统。Claude这次升级,表面上解决的是「不抢鼠标」,背后争夺的却是桌面操作系统里的第二个工作席位。
当AI能够在后台看屏幕、开软件、跑流程,人类与电脑的关系也在悄悄改变。以前,一台电脑同一时间基本只服务一个操作者。以后,前台是人,后台是智能体——用户负责判断、沟通和决策,AI持续处理那些漫长、重复、必须跨应用完成的工作。
从聊天框走向浏览器,再从浏览器进入整台电脑,Claude离真正的「赛博替身」,又近了一步。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.