网易首页 > 网易号 > 正文 申请入驻

实测Codex回放新能力,我把RPA自动化工作流全重做了一遍

0
分享至

这几天一直忙着教CodeX一些复杂的活,

新出的操作回放功能Record & Replay是真好玩,当时我第一反应是,这不就是RPA吗,区别应该就是换成AI写步骤了,

但测完之后,发现完全不是一回事。 所以就有了今天这篇文章,讲讲它是怎么把我两个一直卡着的真实痛点给解决掉的。

而且测完这个功能,我越来越确定一件事,

Codex和 Claude Code,现在走的是两条不同的路。

Codex在通用智能体的路上飞奔,

Record & Replay是最明显的信号,它不是在帮你写代码,是在帮你把现实世界里的重复操作变成可调用的单元(人类撰写声明)。

Claude Code这边就是继续卷编程卷Agent,

最近我用最多的就是Dynamic Workflows(动态工作流),多Agent的机制让CC越来越擅长在一个编程任务里动态调度多个步骤。


(PS:左边打开 Codex,右边终端运行Claude Code)

那回到这两个痛点是什么。

第一个,定向信息搜索。

刷朋友圈刷群突然碰到突发热点,我们都知道在X上大概率是能看到更多的讨论和测试case的。

我之前是直接用Grok去查,然后再把结果整理成文档,其实用Computer Use也能完成这个操作,就是慢,超慢,那网页页面开关十几次,还不如我自己上手,

我想要的其实很简单,

像真人一样打开X,搜这件事,翻结果,整理关键词,在Grok再搜索一次做成表格,整理到本地。

第二个,视频剪辑和上传。

我基本上测试过大部分我刷到的视频剪辑Skill,它们其实都有一些固定的模板,比方说静音检测、气口处理、删重复词,还有在视频里面追加一些Remotion的动画特效,基本上可以剪出一份能够直接拖到剪映里,追加一些特效和音乐就能导出的口播视频。

但是这个方案跟我们日常要上传到公众号的视频素材链路是不一样的。

录完演示视频之后,我要剪辑,加速画面,导出GIF,再贴到公众号。

没什么操作难度,都是贼拉重复的固定流程,但是每次都省略不了。

因为你很难憋出来一段标准,去描述要在什么时候加速,画面里出现什么时加速,这些都是很难被说出来的。

这些都是Record & Replay最擅长的地方。

很多步骤我们已经熟到不用犹豫回想,

鼠标往哪点,哪个状态代表成功,这都成肌肉记忆了。

但让你写成规则、节点、条件分支,

就开始卡了。以前的RPA、Zapier、Make,基本都死在这里。

它们一上来就只会问你,你想自动化什么?

就算没有做过RPA,有通过iphone手机的快捷指令抢红包的朋友也能知道这过程有多复杂。


也就是说,哪怕有AI的辅助,你也得先了解点鼠标,开关屏幕,点录制等对应的操作,或者考虑是否要额外录一个按钮进去。

做的流程少了,我觉得没必要浪费时间去弄 RPA,做的流程多了,一旦中间有一些按键或步骤发生迁移,链路里的某个环节就要重建。

反正就是我留下来的RPA流程真不算多。

Record & Replay直接把这个摩擦给抹平了。

仔细回想一下,如果我要把这个流程交给一个人,让TA以最快速度学会,我也更倾向于打开视频会议,手把手教一遍,然后把录屏存下来,TA自己操作的时候有什么不懂,就直接看视频就搞定了。因为其中有很多步骤,我会一边操作一边辅助说明,这更符合我们日常的直觉。

换到Codex这,就是在插件这里把record添加进来,


然后正常做一遍,该点哪点哪,该填什么填什么,

不用改自己的操作方式,也不用提前写SOP。

Codex就在旁边看着,等你停下来,它把这套过程整理成一份结构化的Skill,可以打开看,可以手动改,下次直接复用。


好消息,成功了,坏消息,成功了一半。

对于视频的剪辑以及加速,它是可以做的。但是剪辑之后的上传,会被卡在浏览器自动化对于原有站点的安全策略上,所以会被明确地拒绝。


(1分钟内的素材剪出来的质量还是可以的)

所以如果我们想做的话,做之前还是可以先让CodeX出一个 Plan,看看你整体操作的所有过程环节里会不会被卡。在不被卡的情况下再进行录制,就会很简单。

还有一个问题,在录制的这个过程中,尽可能不要用快捷键,尽可能在操作的时候用全屏。

那除了剪辑,我刚刚还有一个痛点,就是多轮搜索,

通过Grok直接搜索一个信息,获取 X上面的高赞帖子,然后我再可以根据这些帖子的关键词再去补充搜索,下载一些视频素材和表格。这样操作下来,基本能满足一篇图文所需素材的 60% 到 70%。

我比较惊喜的点是,Codex并不是在简单地照搬,它有自己的思路。

我在操作时演示得不算完整,


我先搜了最近三个月、点赞数(Like)超过 100 的帖子,这是我常用的选项。

把这些帖子整理成表格,在最底下发现游戏构建这个词经常和Fable 5一起出现。

于是我把这两个词组成新的关键词,回到X上继续搜索,发现了一个点赞量很高表现不错的视频,并把它下载下来作为演示素材。

Codex 理解完这一系列操作后,会在输入给Grok之前,自动增加一部分输入文本,让它输出适合中文搜索的关键词库。我觉得这一点非常棒,因为它把一个很难具象化的细节操作给自动化了。


我在进行信息搜索的时候,看到关键词会自然地想着往下搜,但实际上你很难提前告诉 AI 该怎么做,特别是不同的实体会有不同的关键词。

Codex理解了我的这部操作,并用它自己的方式实现了出来。

所以最后能看到,codex用这个新skill给我们整理了完整的表格,输出每个表格的互动指标。还提供了短关键词,从思考过程中可以看到,它在搜索短关键词时尝试了很多不同的组合。

在不同组的查询中,它发现多个关键词指向的是同一批高互赞帖子,所以它会还额外补充一个相关查询,并重新整理成表格。基本上,它已经能做到一个可以和Deep Research互补的版本,至少达到了我能接受的水平。



我们要做的,就是把我们已知的操作完整演练一遍就可以了。

说实话,目前Record & Replay还是依赖Computer Use,还是靠图片理解在操作,

操作起来真不算快,偶尔会判断错该点哪里。

更类人的操作,还得等一个更强的视觉模型来做。

我觉得它真正可能替代的,不只是RPA,还有一部分传统 Replay。

传统Replay更像是把过去录下来。

你回头看,回头复盘,回头找当时发生了什么。

Codex更激进一点。

它不是只保存过去。

它把过去变成下一次可执行的上下文。

你上次怎么做的,它不只是回放给你看,是整理成 Skill,下次继续用(人类撰写证明)。

这就很骚了。

因为对我这种天天做内容,做产品,做点小工具的人来说,

我最不缺的就是录像。

我缺的是可以复用的经验。

我不需要把每一次鼠标移动都永久保存。

我需要的是,

下一次遇到同类任务时,

Agent记得我怎么判断,怎么取舍,怎么验收。

从这个角度看,

Record & Replay是把人的一次操作,

转化成Agent下次能用的经验。

以前这是自动化的终点。

现在成了自动化的起点。

@ 作者 / 卡尔

最后,感谢你看到这里如果喜欢这篇文章,不妨顺手给我们点赞|在看|转发|评论

如果想要第一时间收到推送,不妨给我个星标

如果你有更有趣的玩法,欢迎在评论区聊聊

更多的内容正在不断填坑中……


特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
湖北又发现两只国宝!曾因"长的太美"遭灭顶之灾,今主动安家松滋

湖北又发现两只国宝!曾因"长的太美"遭灭顶之灾,今主动安家松滋

闻识
2026-06-24 11:39:33
中纪委最新通报2起案件!医护警惕:3万即入刑,离岗也被查,医生这类收入将被严查

中纪委最新通报2起案件!医护警惕:3万即入刑,离岗也被查,医生这类收入将被严查

医客
2026-06-23 12:27:27
难以置信!以亲生骨肉为筹码预谋碰瓷,浙江网友爆料让人毛骨悚然

难以置信!以亲生骨肉为筹码预谋碰瓷,浙江网友爆料让人毛骨悚然

火山詩话
2026-06-24 09:45:46
集体反华?七国集体签宣言:要撕毁中国王牌,中方先断供金属钨

集体反华?七国集体签宣言:要撕毁中国王牌,中方先断供金属钨

真的好爱你
2026-06-24 01:20:49
涉案流水达30余万元!借世界杯赛事非法设赌,4人涉嫌开设赌场罪被刑拘

涉案流水达30余万元!借世界杯赛事非法设赌,4人涉嫌开设赌场罪被刑拘

红星新闻
2026-06-24 17:23:23
东南亚人口拐卖最新套路:20万一个人,落地就被卖进园区!

东南亚人口拐卖最新套路:20万一个人,落地就被卖进园区!

命运自认幽默
2026-06-22 01:28:36
美国向伊朗赔款3000亿美元,是《辛丑条约》的6倍!

美国向伊朗赔款3000亿美元,是《辛丑条约》的6倍!

军武次位面
2026-06-22 17:11:59
亨得利评斯诺克近50年最佳16人:奥沙利文第一,丁俊晖赵心童上榜

亨得利评斯诺克近50年最佳16人:奥沙利文第一,丁俊晖赵心童上榜

世界体坛观察家
2026-06-24 11:36:25
《莫离》墨修尧满头白发寻妻悔断肠,凤之遥远赴苍北赌结局

《莫离》墨修尧满头白发寻妻悔断肠,凤之遥远赴苍北赌结局

野路乐熊
2026-06-25 00:17:21
“脑梗病人有三坎,熬过就长寿”:三坎是指哪三年?60岁后请重视

“脑梗病人有三坎,熬过就长寿”:三坎是指哪三年?60岁后请重视

路医生健康科普
2026-06-24 09:05:03
印度一名30岁女子深夜出门如厕遭5人轮奸,体内被塞入实弹、石块,3名嫌犯三个月前就曾入室作恶,警方拒不立案引发众怒

印度一名30岁女子深夜出门如厕遭5人轮奸,体内被塞入实弹、石块,3名嫌犯三个月前就曾入室作恶,警方拒不立案引发众怒

大风新闻
2026-06-24 14:39:04
菲律宾的重磅消息:莎拉弹劾案的舆论风向变了,对马科斯非常不利

菲律宾的重磅消息:莎拉弹劾案的舆论风向变了,对马科斯非常不利

爱下厨的阿酾
2026-06-24 03:56:27
今年618,手机厂商全军覆没……

今年618,手机厂商全军覆没……

黑马公社
2026-06-22 11:49:51
热身赛后!中国男篮12名单浮出水面!焦泊乔曾凡博庞峥麟或落选

热身赛后!中国男篮12名单浮出水面!焦泊乔曾凡博庞峥麟或落选

老吴说体育
2026-06-24 23:31:19
国际油价跳水!伊朗:霍尔木兹海峡已开放,60天内免费;特朗普:不再实施海上封锁

国际油价跳水!伊朗:霍尔木兹海峡已开放,60天内免费;特朗普:不再实施海上封锁

每日经济新闻
2026-06-24 21:12:58
南宁最长公交线路揭秘:全程 46 公里,每一站都是邕江田园

南宁最长公交线路揭秘:全程 46 公里,每一站都是邕江田园

童童聊娱乐啊
2026-06-24 17:52:31
毒性堪比砒霜!正大量上市,一旦发苦赶紧吐掉!医生:煮熟也有毒

毒性堪比砒霜!正大量上市,一旦发苦赶紧吐掉!医生:煮熟也有毒

王医生健康讲坛
2026-05-31 05:20:08
内蒙古一考生高考成绩697分,出分后一家三口激动相拥,校方:他平时成绩就名列前茅,上清北应该稳了

内蒙古一考生高考成绩697分,出分后一家三口激动相拥,校方:他平时成绩就名列前茅,上清北应该稳了

极目新闻
2026-06-24 15:33:06
黄金结构性存款退潮

黄金结构性存款退潮

经济日报
2026-06-24 06:53:04
他曾担任中央办公厅代主任,大肆迫害年迈的彭老总,后被判刑18年

他曾担任中央办公厅代主任,大肆迫害年迈的彭老总,后被判刑18年

舆图看世界
2026-06-03 06:45:03
2026-06-25 03:23:00
卡尔的AI沃茨 incentive-icons
卡尔的AI沃茨
前大厂算法工程师,3家科技公司技术总监|致力打造最系统的Al学习体系,让1万人通过Al提高生产力
284文章数 142关注度
往期回顾 全部

科技要闻

豆包专业版上线:定价68-500元每月

头条要闻

15岁男孩肥胖诱发糖尿病 抢救无效离世

头条要闻

15岁男孩肥胖诱发糖尿病 抢救无效离世

体育要闻

字母哥,会把凯尔特人拆了吗?

娱乐要闻

向佐向佑兄弟合体直播!母子终于和解

财经要闻

逃税23亿:审计署年报直指七家机构

汽车要闻

施鹏泽:为什么奥迪E7X强调座舱气味安全?

态度原创

亲子
健康
数码
教育
家居

亲子要闻

今天教儿子如何擦屁股

神经内科专家破解中风十大谣言

数码要闻

三星电子公众号注销!家电业务已官宣退出中国大陆市场

教育要闻

安徽高考成绩明天公布!查分通道来了

家居要闻

绿意盎然 自然之境

无障碍浏览 进入关怀版