网易首页 > 网易号 > 正文 申请入驻

懂事的 Agent 已经开始自己看屏幕干活了,效率起飞!

0
分享至


这是苍何的第 558 篇原创!

大家好,我是苍何。

最近 Codex 新出了一个能力,让 Codex 捕捉你的屏幕,然后录制一套工作流,Codex 就可以把它转为 skill,然后,形成你自己的工作流 SOP。

我尝试使用该功能来辅助我对微信聊天记录进行读取,并回复,我发现它并没法把聊天记录同步到上下文中,更无法直接帮我回复。

虽说我已经拿到了微信小微的内测,但目前还仅限于手机端,很多时间其实我是对着电脑的。

找了一些骚操作,感觉都不够丝滑和安全,这两天倒是被安利了个能读取屏幕干活的 Agent。


你可以看到在右侧这个助手它帮我总结了 AI 先行者联盟微信群聊昨天的精华内容,这个 Agent 的逻辑是像人一样盯着你的屏幕,然后自己滑动,总结上下文。

遇到视频或者链接,还能自己打开,看完后并放在上下文里。

它叫 Vida,是一个 Proactive Agent,它能够持续理解用户的上下文、积累长期记忆,并能够预判用户意图,主动协助完成复杂工作,交付可直接使用的成果。


它能感知到我当前所处的应用环境,结合上下文,帮我做文案润色,比如回复消息。

就比如最近 Wesight 推出了宠物语音新功能,我很想在用户群里问问大家使用体验。

在聊天界面快捷键直接唤起 Vida,你可以看到此时 Vida 的上下文里添加了微信应用,当我发送指令润色我的回复的时候,实际它能感知当前群聊上下文信息,并给我优化回复。


有时候,甚至还能充当智能客服的场景,比如刚好有个小伙伴问了一个项目的问题,说实话细节我有点忘了。我尝试把这个问题丢给Vida。


很神奇的是,我没有给它上传过项目文档。

它自己在我电脑里搜索相关资料、 GitHub 本地仓库、历史聊天和项目记录,给了我一个可以直接复制的回复。

这个点还是很强的,Vida 会理解上下文,判断用户意图,并主动协助完成任务。

Wesight 后台也积累了不少 Issue。


说实话,项目规模起来之后,我很难一眼看出哪些问题需要优先解决。

于是,我让Vida把整个仓库过了一遍。

它自己把所有代码和 Issue 读了一遍,按照核心架构、运行环境、AI 引擎集成等维度分门别类,甚至排好了优先级。

后面该修啥、先修啥,我直接看它列的清单干活就行,真香!

我让它把这些加到待办,顺便安排到明天的日程里面。

讲真,这种感觉真的很妙。

我还用 Wesight 连接 Claude Code 做网页。

我只输入了一句提示词,让Vida帮我进行一波提示词优化。

它很快给了两个优化版本,我直接复制贴回了 Wesight。


优化后的提示词生成的网页效果,交互感直接拉满,样式也很不错。

在休息间隙,我还让Vida帮我做了个桌面大扫除。

堆在桌面上的各种凌乱文档、临时图片,被分类整理得整整齐齐。


忙活到晚上,它还会自动为我生成一张「今日战报卡」。

清晰总结了完成的事项、关键产出、用时分布、今日关键词以及明天的 To-do 计划。


很神奇的是。

我在做视觉交互测试和整理 Obsidian 笔记时,没有主动打开过Vida。

但等我晚上看战报时,Vida居然在今日进展里,把这两件事清清楚楚地列了出来。


你还别说,这种无需主动召唤、默默在后台打助攻的能力,真的很顶。

这也就是它最核心的定位,Proactive Agent(主动型智能体)。

相比普通被动等待指令的 AI,Vida能持续理解你的工作上下文,积累属于你自己的长期记忆。

Vida能提前预判你的意图,主动站出来协助你处理各种复杂日常,直接交付成型的结果。


不知道大家有没有发现,Agent 的上下文正在从「文本/对话」向「屏幕」快速转变。

不管是前段时间 Codex 录屏固化 SOP,还是操作系统级别的 Agent。

我有预感,智能体的演进,正在迎来一个颠覆性的全新方向。

那就是从「你告诉我」变成「我看见你」。

这种转变,某种程度上意味着AI助手正在从工具走向伙伴。

你不需要频繁给它输入指令,它默默看着你的屏幕,就能懂你在忙什么、需要什么,然后主动打出助攻。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
“割蛋狂魔”一年内犯案77起被捕,审讯时叫嚣不止,称原本要杀100人

“割蛋狂魔”一年内犯案77起被捕,审讯时叫嚣不止,称原本要杀100人

夜话奇谭
2026-11-18 13:55:40
宁波:高速堵满了集卡,夜市却空了一半

宁波:高速堵满了集卡,夜市却空了一半

茶狐看世界本尊
2026-11-18 13:25:44
杀回英伟达,黄仁勋要先干掉董事会

杀回英伟达,黄仁勋要先干掉董事会

起点人文
2026-11-18 17:16:37
高市早苗抵达深圳,中方铺红毯,派三军仪仗队迎接

高市早苗抵达深圳,中方铺红毯,派三军仪仗队迎接

烽火观天下
2026-11-18 19:59:31
17万人请黄仁勋回来,英伟达董事却关上了门,只因....

17万人请黄仁勋回来,英伟达董事却关上了门,只因....

金融八卦女
2026-11-18 16:20:09
中央安全生产考核巡查组将陆续进驻开展年度考核巡查

中央安全生产考核巡查组将陆续进驻开展年度考核巡查

澎湃新闻
2026-11-18 19:09:06
开心到拍大腿,排面拉满特朗普非常高兴,简直是超高规格接待

开心到拍大腿,排面拉满特朗普非常高兴,简直是超高规格接待

三叔的装备空间
2026-11-18 19:28:04
世界领先!新加坡全面拆除公路收费站,改用“卫星定位”隔空扣费

世界领先!新加坡全面拆除公路收费站,改用“卫星定位”隔空扣费

三言四拍
2026-11-18 18:40:16
学术圈女教授履历惊人,换四任老公步步高升,39岁坐上名校教职

学术圈女教授履历惊人,换四任老公步步高升,39岁坐上名校教职

雾岛夜话
2026-11-18 14:12:23
河南农妇为亲人喊冤14年后被抓,全家遭“司法灭门”

河南农妇为亲人喊冤14年后被抓,全家遭“司法灭门”

塔子山评说
2026-11-18 18:10:50
杨瀚森反而不怕了!开拓者面临三个结局,有可能诺里和卡皇一起走

杨瀚森反而不怕了!开拓者面临三个结局,有可能诺里和卡皇一起走

老梁体育漫谈
2026-11-19 00:08:25
清华教师直言“不会上课了”!当大学生通过AI工具,可以高效完成基础学习工作,传统课堂正在被颠覆!

清华教师直言“不会上课了”!当大学生通过AI工具,可以高效完成基础学习工作,传统课堂正在被颠覆!

学术眺望
2026-11-18 15:55:03
包装设计像日本国旗?桂林精酿品牌惹众怒!

包装设计像日本国旗?桂林精酿品牌惹众怒!

品牌新
2026-11-17 18:32:56
这下彻底佩服了!​黄仁勋的情人黄乐,​手上戴的手镯,我特意去查了一下它的价格,真是贫穷限制了我的想象!

这下彻底佩服了!​黄仁勋的情人黄乐,​手上戴的手镯,我特意去查了一下它的价格,真是贫穷限制了我的想象!

财经要参
2026-11-15 12:00:05
郑丽文:绝不放弃武力护台,洪秀柱直言:两岸和平,怎能不统一?

郑丽文:绝不放弃武力护台,洪秀柱直言:两岸和平,怎能不统一?

闻识
2026-11-18 11:07:48
深圳APEC现场的一幕火了:不少外国记者手里拿的摄像器材,竟然都是中国设备!

深圳APEC现场的一幕火了:不少外国记者手里拿的摄像器材,竟然都是中国设备!

行者聊官
2026-11-18 11:48:37
袁家军在全市卫生与健康大会上强调 坚定实施健康优先发展战略 加快推动卫生与健康事业高质量发展 陈新武主持 程丽华出席

袁家军在全市卫生与健康大会上强调 坚定实施健康优先发展战略 加快推动卫生与健康事业高质量发展 陈新武主持 程丽华出席

上游新闻
2026-11-18 18:26:06
六旬男子约按摩女发生关系,十分满意付了2000元,谁知女子扭头就把他告了

六旬男子约按摩女发生关系,十分满意付了2000元,谁知女子扭头就把他告了

江山挥笔
2026-11-18 14:13:58
阿里员工:P7在杭州相亲市场地位大不如以前了。看中两个女生,一个护士,一个教师,联系方式都没给

阿里员工:P7在杭州相亲市场地位大不如以前了。看中两个女生,一个护士,一个教师,联系方式都没给

蚂蚁大喇叭
2026-11-18 16:37:48
进军OnlyFans!WNBA女球星,一周收入顶六年?

进军OnlyFans!WNBA女球星,一周收入顶六年?

篮球实录
2026-11-18 23:54:51
2026-11-19 07:19:00
苍何
苍何
前大厂工程师,努力分享AI干货知识
202文章数 178关注度
往期回顾 全部

科技要闻

离职后首份声明!黄仁勋认错愿回归

头条要闻

欢迎晚宴合影期间 普京与特朗普握手交流

头条要闻

欢迎晚宴合影期间 普京与特朗普握手交流

体育要闻

“中超卡里乌斯”,成了大连的夺冠英雄

娱乐要闻

主持人张泉灵被曝猛料,公司成老赖

财经要闻

黄仁勋留下的高分成绩单,能延续吗?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

游戏
旅游
教育
家居
公开课

美国议员称让孩子玩《GTA6》的家长不称职

旅游要闻

不止桐子坳!湖南5处银杏秘境上新,从千年古树到银杏王,带你邂逅秋日金色浪漫

教育要闻

今年的秋假结束了,今晚!南京又要有多少娃熬夜通宵了?

家居要闻

2026建博会(广州) 公装联探展交流活动

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版