今年夏天,OpenAI 和 Anthropic 都宣布了一些功能,让其 AI 系统通过观看某人执行一次任务来学习,而不是在提示词中被告知该怎么做。今年6月,OpenAI 推出了 录制 & 回放,这项功能让 ChatGPT 和 Codex 用户可以演示一个工作流程,并将其转化为可重复使用的技能。几周后,Anthropic 在 Claude Cowork 中推出了 录制一项技能:录制你执行任务的屏幕,讲述你的推理过程,Claude 就会将其转化为一项可以再次运行的技能。两个竞争对手在相隔数周内趋同于同一个解决方案。在我看来,这等于承认,仅靠提示词永远无法让 AI 达到它需要达到的目标。
自苹果任职以来,我一直在思考并努力实现这一里程碑。我在苹果工作了12年,在职业生涯的成长阶段构建了中文版 Siri。作为创始工程师,我很高兴看到 Siri 作为语音激活助手开辟新天地,让人们使用自然语言,而不是点击菜单。下一个挑战是上下文感知:构建一个系统,既能正确完成第一个请求,又能将这种理解延续到后续命令中。差距从来不在语言层面。而在于系统需要跨交互保留某人的偏好或习惯的记忆。
例如,告诉语音助手每天6点设闹钟,却不清楚这个时间是早上还是晚上。大多数人不会认为这有歧义,因为他们知道自己的日程,并期望听者也知道。人们所说的话与他们真正的意思之间的这种脱节,正是 OpenAI 和 Anthropic 现在试图弥合的那道鸿沟。
展示,而不是直说
每个人干活的方式,比软件预设的要更因人而异。即便两个人拥有相同的工作和职责,他们用的工具、做事顺序也会不一样,还会依赖大量没说明白的背景信息。研究者把这种知识叫作隐性知识——就是人们知道、却说不清楚的东西。这个说法是哲学家迈克尔·波兰尼1966年提出的。一项研究估计,一家公司有价值的知识里,有40%只装在员工个人脑子里,从来没写下来过。
用 AI 提示词时,我们常会碰到这个局限。如果你请人说说他们怎么报销,他们通常会说:先上传收据,归个类,再提交。但他们多半不会提:超过75美元的餐费得请经理审核;客户晚宴和团队午餐也要归到不同类别。这就是靠提示词驱动的 AI 搞不定的地方:它没法靠自己纠错,去补上那些根本没被说出来的背景信息。
相比之下,当你给 AI 系统演示同一项任务时,它会捕捉到步骤顺序、决策点,以及人把活干完时绕不开的那些小判断。一次演示就能捕捉到工作流程里的所有细节,因为从一开始,情境和具体操作就绑在一起。
搭建演示库
Record & Replay(录制与回放)和 Record a Skill(录制技能)确实让我们在理解和模仿人的工作方式上向前迈了一大步。再配上一个定时任务,录好的技能就不用有人再打开,因为它可以在用户干活时在后台自动运行。
随着越来越多的人使用演示来自动化自己的工作流程,接下来的障碍是确保人们认识到自己可以交办哪些工作,并让这一过程更加直观。AI公司Glean的一项研究发现,员工每周大约花6.4小时“看管机器人”(botsitting):照看AI工具、纠正其输出,并重新解释工具本应已经知道的事情。想象一下,一旦人们养成记录自己所做事情的习惯,让系统学习一次工作流程后便能接手,有多少浪费的时间可以被挽回。
工作流程挖掘也正迎来一个新机遇,让技术能够观察工作是如何完成的,并从中提取可复用的知识。工作流程数据将变得极具价值,不仅因为它能端到端地自动化多步骤任务,还因为它能创建一个工作流程库,供人们选择并个性化调整。有人可以构建一个用于结清费用报告的工作流程,而另一个人可以将其调整适配自己的审批链。因此,每增加一个版本,这个库就会变得更精准完善,就像开源代码随着更多开发者在其中构建而不断改进一样。
真正的考验
OpenAI 和 Anthropic 在几周内先后推出演示功能,这清楚地表明,最大的收获会来自那些能学会人实际怎么工作的系统。我们大多数人还是习惯性地先去写提示词,因为已经习惯了,但只要演示一次,以后每次都能省掉来回写提示词、反复迭代的麻烦。
多年来,我们一直在教 AI 理解我们所说的话,而现在我们可以把一次演示当成培训一名新员工:一次就认真做到位,以后就不用再解释一遍。衡量这些工具,别太看它们现在能干什么,更要看你有没有让它们看到你是怎么工作的。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.