网易首页 > 网易号 > 正文 申请入驻

OpenClaw终于长出手和眼!Peter正式发布Peekaboo v3,一日三更

0
分享至

新智元报道

编辑:艾伦

【新智元导读】OpenClaw 的专属 Computer Use 工具 Peekaboo v3 正式回归,并在发布后高频更新。它补上了 OpenClaw 最缺的一环,让 AI 不只会回消息,还能看屏幕、点按钮、操作真实桌面。

OpenClaw 终于要长出眼和手了!

https://x.com/steipete/status/2053114837698249190

过去几个月,OpenClaw 的热度像一锅刚烧开的水,先是咕嘟咕嘟冒泡,随后逐渐归于平稳。

项目跑起来了,用户开始上手,讨论也从「这是什么」变成「它还能做什么」。

这时,一个被搁在旁边的老问题重新浮上来。

AI 能接消息,能理解指令,能调用工具,下一步总得碰一碰真实世界。

桌面上的按钮、菜单、弹窗、输入框,才是多数工作的最后一公里。

一个 Agent 如果只能在聊天框里给建议,多少像坐在副驾驶上指路,嘴上懂路,手上碰不到方向盘。

Peekaboo 就是在这个时候回来的。

这个名字本身就有点俏皮。Peekaboo 是「躲猫猫」的意思。

电脑界面确实天天跟自动化躲猫猫。

按钮躲在弹窗里,菜单躲在系统栏里,窗口一动坐标全变,焦点一跑输入落空。

人类会凭直觉修正,AI 只能靠一套更靠谱的眼睛和手。

如今,Peekaboo 要补上的正是这套眼睛和手。

从停更到一日三更

Peekaboo 从去年年末发布 v3.0.0-beta 3 后,开始停更。

之后,Peter 将主要精力转向 OpenClaw。

可以理解,OpenClaw 本身就是一张更大的网,要接消息平台,要做网关,要处理本地运行,要支撑 Agent 调度,还要让普通用户装得上、跑得稳、用得明白。

于是 Peekaboo 暂时退到幕后。

变化发生在最近两周。

v3.0.0-beta 4 先出来试水。

就在前天,正式版 v3.0.0 发布。

正式版落地之后,更新节奏开始狂飙,今天一日三更,v3.1.0、v3.1.1、v3.1.2 接连推出。

这种更新密度一般只有两种可能。

一种是出现了重大 Bug,维护者正端着灭火器忙着救火。

另一种是方向终于对齐,积累已久的东西开始往外倾泻。

Peekaboo 这次更接近后者。

过去几个月,OpenClaw 把渠道、网关、Agent 的外壳先搭起来了。

现在,项目开始补最重要的课。

Peekaboo 到底在补什么

对普通用户来说,Peekaboo 最好理解成一套 macOS 自动化工具。

它能截图,能识别窗口,能读 UI 元素,能找按钮,能点、能打字、能滚动、能切应用、能操作菜单。

传统脚本最怕环境变化。

按钮位置换一下,窗口遮一下,弹窗突然出现,脚本就像踩空楼梯,啪一下摔进错误分支。

Agent 更麻烦,因为它要边看边想边操作,任何一步看错、点错、等错,后面都会一路歪下去。

Peekaboo 的价值,是把桌面变成 Agent 能理解的工作场域。

它不只是截一张图给模型看,还要把图里的控件、窗口、文本、按钮关系整理出来,形成可追踪、可复盘、可继续操作的现场记录。

AI 看到的不再只是一片像素,而是一张带结构的桌面地图。

这就像给一个会读菜谱的人配上厨房灯、砧板和锅铲。没有这些东西,厨艺只能停在嘴上。加上这些东西,才有可能开火。

为什么现在才变得关键

Peekaboo 并非横空出世。

它早在去年6月就已上线初版,问题是过去的模型能力还没完全到位。

视觉模型能看图,但未必能稳定理解复杂界面。

Computer-Use 能操作,但经常像第一次摸触控板的人,动作大,心里虚,偶尔还会把浏览器当滑板。

最近的变化在于,模型视觉能力和 Computer-Use 能力都过了一个临界点。

单项进步看起来只是多识别一点、多点准一点、多理解一步,叠起来之后,体验会发生质变。

Agent 不再只是偶尔能演示一下,而是开始接近可持续跑流程的状态。

这时,底层自动化工具的价值被放大。

模型再聪明,也需要稳定输入和稳定执行。

没有 Peekaboo 这样的桥,AI 对桌面的理解就容易停在截图问答。

它能说出屏幕上有什么,却不一定能可靠地完成下一步。

Peekaboo 做的事情,就是把「看见」和「动手」接到一起。

OpenClaw 为什么需要它

OpenClaw 最初打动人的地方,是把 Agent 放进各种消息渠道。

用户可以从 Telegram、Slack、iMessage、WhatsApp 一类入口发起任务。

这个设计抓住了一个现实问题——人已经懒得为每个 AI 打开一个新网页,也不想在不同工具之间来回搬运上下文。

最顺手的入口,往往就是聊天窗口。

可聊天窗口只是入口。真正的工作场景常常在电脑里。

要处理一个网页后台,要检查一个本地应用,要跑一个模拟器,要填一个表单,要点一个配置项,要看一张报错截图。

OpenClaw 可以把任务接进来,Agent 可以想出步骤,但如果没有能操作屏幕的本地层,它最终还是要把步骤发回给人,让人自己动手。

这就尴尬了。

用户叫来一个助手,最后助手递过来一张待办清单。

Peekaboo 接入之后,OpenClaw 的角色开始变化。

它不再只是多渠道消息网关,也不只是 Agent 的调度台。

它有机会成为一个能在本机环境里真正办事的系统。

一句话概括,OpenClaw 管「谁来找我」「要做什么」「交给哪个 Agent」,Peekaboo 管「屏幕上有什么」「按钮在哪里」「这一刀该往哪儿落」。

开发工具,潜力巨大

社区里已经有人用 Peekaboo 在浏览器里驱动远程 iOS 模拟器。

流程大概是,先让 Peekaboo 分析一张移动应用截图,识别出它是 Little Vault 的欢迎页,页面上有应用 Logo、标题、关于私人记忆的标语、创建 Vault 的主按钮、登录入口,以及右上角的语言选择器。

随后注册这个屏幕,点击 Create Your Vault,等待界面变化,再截图,继续进行探索。

这段演示有意思,因为它展示的并非单纯「AI 看懂一张图」。真正关键的是后半段。

看懂之后,它要把屏幕注册为一个状态,要选择目标,要执行点击,要等待反馈,要根据新截图继续走。

这里面每一步都可能出错,每一步也都可以被记录下来。

这才是 Agent 从玩具走向工具的分界线。

Peekaboo 把这些动作变得可观察、可复盘、可继续。

对 OpenClaw 来说,这等于让远程指令和本地执行之间出现了一条可铺设的轨道。

Peter 忙着更新些什么

这几天的更新看起来有些工程琐碎,比如模型目录、工具 schema、打包产物、版本标记、捕获路径、daemon 调度。

这些词放进发布公告里不一定吸睛,却正是 Agent 产品能不能跑起来的地基。

AI 工具最怕一种场景——演示时行云流水,用户一装就各种权限、路径、模型、窗口、截图、输入法、延迟问题接连冒头。

最后用户也只能得出结论——未来确实来了,就是还没到自己电脑上。

Peekaboo 的连续更新,在修的就是这类问题。

它要让 CLI、MCP、桌面应用、远程 Agent、不同模型之间尽量减小摩擦。

它要让一次截图、一次点击、一次窗口选择都更接近可预期。

这里没有神迹,只有大量脏活。脏活做得越多,用户越少感知到它。

好工具的最高境界往往是没存在感。按钮该点就点,窗口该找就找,任务该继续就继续。

Peekaboo 现在就在往这个方向补课。

它让 OpenClaw 从会聊天变成会干活

OpenClaw 过去解决的是连接问题。

人从哪里发消息,消息怎么进来,Agent 怎么处理,结果怎么回去。

Peekaboo 解决的是执行问题。Agent 接到任务以后,能不能看到真实桌面,能不能找到可操作对象,能不能一步步推进。

这两个问题合在一起,才接近普通人想象中的 AI 助手。

加上 Peekaboo,OpenClaw 才开始像值班的工程师,能登录机器、看屏幕、查问题、点配置、跑流程,让人愿意把事托付出去。

这也是 Peekaboo 对 OpenClaw 的真正意义。

它把 OpenClaw 从消息系统往操作系统的边缘推了一步。

再往前走,OpenClaw 就不只是 AI 的入口,而可能成为 AI 操作个人电脑和个人工作流的本地控制层。

参考资料:

https://peekaboo.sh

https://github.com/openclaw/Peekaboo

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
泰国总理回到祖籍地广东太激动!飙粤语"猴开森"

泰国总理回到祖籍地广东太激动!飙粤语"猴开森"

看看新闻Knews
2026-11-18 17:20:13
英伟达,业绩“炸裂”!董事长强硬拒绝黄仁勋回归:已请猎头公司找接班人,“他辞职是自愿”!临时CEO:供应商和合作伙伴100%支持我们

英伟达,业绩“炸裂”!董事长强硬拒绝黄仁勋回归:已请猎头公司找接班人,“他辞职是自愿”!临时CEO:供应商和合作伙伴100%支持我们

每日经济新闻
2026-11-18 10:46:50
老一辈眼光就是毒辣!黄仁勋4天出局,我爸说:欧美怎么可能把AI交给一个华人?黄仁勋的倒台,从一开始就不意外

老一辈眼光就是毒辣!黄仁勋4天出局,我爸说:欧美怎么可能把AI交给一个华人?黄仁勋的倒台,从一开始就不意外

秋风妃
2026-11-17 22:55:03
回归英伟达,黄仁勋要先“干掉董事会”

回归英伟达,黄仁勋要先“干掉董事会”

华尔街见闻官方
2026-11-18 09:12:40
中俄美元首会晤是否会讨论台湾问题,国台办回应

中俄美元首会晤是否会讨论台湾问题,国台办回应

界面新闻
2026-11-18 11:16:15
反华五年终于到头!立陶宛会谈结束后,中方终于点头,同意沟通

反华五年终于到头!立陶宛会谈结束后,中方终于点头,同意沟通

共工之锚
2026-11-18 11:11:27
湘雅二医院被爆发表“史诗级全AI论文”,“虾滑当肿瘤”“1厘米=12毫米”应有清晰应答

湘雅二医院被爆发表“史诗级全AI论文”,“虾滑当肿瘤”“1厘米=12毫米”应有清晰应答

极目新闻
2026-11-18 13:43:23
6G试点8省份入选,长三角全员入列

6G试点8省份入选,长三角全员入列

上观新闻
2026-11-18 17:28:24
“立肛高见”又一次让国产大模型瑟瑟发抖

“立肛高见”又一次让国产大模型瑟瑟发抖

问道求真
2026-11-18 07:08:33
黄仁勋与黄乐更多照片曝光,老黄没被电到我是不信的

黄仁勋与黄乐更多照片曝光,老黄没被电到我是不信的

杭城村叔
2026-11-16 16:21:12
19.99万 !特斯拉新车上市!

19.99万 !特斯拉新车上市!

科技堡垒
2026-11-18 08:00:39
杨瀚森又遭弃用:本季第6次DNP 央视播一半中途弃播比赛表态度

杨瀚森又遭弃用:本季第6次DNP 央视播一半中途弃播比赛表态度

醉卧浮生
2026-11-18 11:38:39
北京女网红晒豪宅,“天宫一角”露出国宝级名画,账号已被禁止发布作品

北京女网红晒豪宅,“天宫一角”露出国宝级名画,账号已被禁止发布作品

娱乐E君
2026-11-17 17:34:36
重磅!英伟达董事会设立国家安全与出口管制监督委员会,英伟达美股盘前突然拉升!市场静待黄仁勋辞职后第一份财报

重磅!英伟达董事会设立国家安全与出口管制监督委员会,英伟达美股盘前突然拉升!市场静待黄仁勋辞职后第一份财报

每日经济新闻
2026-11-18 11:31:11
网红“豹警官”胖回原形!曾瘦过,19岁如人类七八十岁,园方:年纪大不宜减肥,日食1斤多牛肉

网红“豹警官”胖回原形!曾瘦过,19岁如人类七八十岁,园方:年纪大不宜减肥,日食1斤多牛肉

红星新闻
2026-11-18 13:15:19
高盛对2027年中国经济判断:中国房地产最坏时刻,可能已经过去了

高盛对2027年中国经济判断:中国房地产最坏时刻,可能已经过去了

城事堂
2026-11-17 09:03:52
联盟第一!湖人加时逆转黄蜂9连胜 东契奇36分格莱姆斯47+10三分

联盟第一!湖人加时逆转黄蜂9连胜 东契奇36分格莱姆斯47+10三分

醉卧浮生
2026-11-18 15:02:34
国债利息也要征税?网传华泰证券测算:机构每年或增4590亿元税负

国债利息也要征税?网传华泰证券测算:机构每年或增4590亿元税负

爆角追踪
2026-11-18 11:01:03
黄仁勋又下了步臭棋,前脚声明要回归英伟达,后脚就被董事会拒绝

黄仁勋又下了步臭棋,前脚声明要回归英伟达,后脚就被董事会拒绝

光电科技君
2026-11-18 11:31:59
腾讯发声:已到生死存亡时刻

腾讯发声:已到生死存亡时刻

首席品牌评论
2026-11-17 16:49:36
2026-11-18 17:55:00
新智元 incentive-icons
新智元
AI产业主平台领航智能+时代
16711文章数 67239关注度
往期回顾 全部

科技要闻

离职后首份声明!黄仁勋认错愿回归

头条要闻

特朗普抵达深圳出席APEC会议 年内第二次访华

头条要闻

特朗普抵达深圳出席APEC会议 年内第二次访华

体育要闻

“中超卡里乌斯”,成了大连的夺冠英雄

娱乐要闻

认亲被嘲讽后郭德纲委托律师发声明

财经要闻

黄仁勋留下的高分成绩单,能延续吗?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

旅游
数码
亲子
手机
艺术

旅游要闻

明孝陵石象路有小游客攀爬石马,景区:加强巡查,呼吁家长引导孩子遵守文明规范

数码要闻

双十二SSD推荐:换下来的旧盘,数据怎么搬过去

亲子要闻

潮州月子中心里新时代母婴会所的服务比别家好吗?

手机要闻

苹果折叠屏陷入两难 博主:iPhone Duo 2外屏上Face ID 体验会很割裂

艺术要闻

吴冠中 一幅《老重庆》,951万港元!

无障碍浏览 进入关怀版