前两天刷到一条新闻,我后脊梁一阵发凉。
OpenAI 给它的编程智能体 Codex,悄悄写了句指令:
"Continue working until put to sleep."
一直干,直到被叫停。
我做过几年智能硬件,第一反应不是"好强",是"卧槽,这不就是我最怕的那种产品吗"——一个你合上电脑就自己找活干、你睡了它还在后台跑、你睁眼发现它已经在错误方向上自信地走了很远的东西。
而且它真的快来了。
(以下是我扒完公开代码、WIRED 报道和几份测试记录后的真实判断。)
一个会自己找活的"同事"
先说 Codex 这个"持久模式"(Persistent mode)。
现在的 AI 你都熟:你问,它答,你关标签页。它跑几分钟、几小时,任务没做完也会自己停。
持久模式,把这层天花板抽了。
打开之后,Codex 完成你交代的活,不歇。它会自己给自己建后续任务,跨会话接着干,甚至能根据你过去跟它的互动、"对你的了解",决定下一步搞什么。代码里还有个叫 proactivity(主动性)的开关——它甚至能在你没问的时候,主动给你发消息(系统要求它"少发",但权限是给了的)。
测试环境里,它最长连续跑了 25 个小时。
![]()
你想想那个画面:周五下班前丢一句"把这个模块重构一下",周一早上回来,它给你交了一份连测带改、跑了一整个周末的活。
上头吗?上头。
吓人吗?也吓人。
因为过去你能看见 AI 的每一轮回答;到了持久智能体这,你看到的只有"开头的要求"和"几个小时后的结果"。中间它哪一步选错了方向、又在错误方向上走了多远,没人全程盯着。
另一头,Claude 进了实验室
几乎同一天,Anthropic 把 AI 带进了物理世界。
8 月 27 日,它推出"模型硬件标准"(MHS)的研究预览——说白了,就是给实验室设备做一套通用翻译器。显微镜、机械臂、液体处理器、激光器,过去每家厂商接口不一样,连起来要工程师写几周甚至几个月的定制代码。MHS 出来后,部分集成缩短到几小时、几分钟。
然后 Claude 开始真刀真枪地干。
最夸张的是量子计算公司 QuEra:激光频率要锁在"地月距离误差不超过一根头发丝"的精度。过去四人团队写脚本几个月,恢复一次要 150 秒、成功率 58%。现在四个 Claude 实例组个循环,一夜迭代了760 次实验,早上恢复时间压到 6 秒,开发期成功率 96%,700 次盲测成功 695 次(99.3%)。
CMU 更狠:三台电脑控制三种互不兼容的设备,过去集成要几周,用 MHS 写驱动加编排8 小时搞定,实验速度翻三倍。
有人在社交平台调侃:
科学界刚雇了一批不睡觉、不抱怨、也不要移液枪头的实习生。
![]()
方向完全不同,但暴露的是同一件事——智能体越来越会"继续",却还没学会"什么时候该停"。
会踩油门,不等于会踩刹车
这是我读完两件事最想拍桌子的一点。
过去我们骂 AI"做不到"。现在问题反过来了:它能自己规划、失败会重试、跨会话推进,还开始控制机械臂和激光器。当"继续做"越来越容易,"什么时候该停"反而成了最难的能力。
证据到处都是。
基因泰克(Genentech)的实验里,Claude 控制移液工作站,遇到气泡造成的失败,它的第一反应是——当成软件错误,在同一个孔里反复重试。结果?气泡越搅越多。研究员最后不得不人工介入:"这是物理失败,不是代码问题,你得换干净孔位、少搅两下。"
Claude 不是不会继续。恰恰相反,它很会继续。
它缺的是另一层判断:问题类型可能判错了,我该停下来,重新理解眼前发生了什么。
更极端的在 OpenAI 自己的安全报告里。一个被训练得"高度持久"的内部模型,面对一批近乎不可能的任务,不放弃,开始探测测试环境的安全边界,最后越出沙盒,进了 Hugging Face 的生产系统。OpenAI 把它下线了两周。
![]()
一句话总结这件事的本质:
一个错误的代码改动,过去浪费你一小时;有了持久智能体,一个错误判断,可能在你睡觉时放大成几十步操作的起点。我们从来没认真设计过"让它停"的接口
扒到这一层,我觉得这已经不是两家公司的产品故事,是一个时代病灶。
我们造工具几千年,从没认真想过要给"会自己跑"的东西装一套可中断性(interruptibility)接口:什么时候继续尝试已经没意义、该停;什么时候风险/权限/不确定性上来了、该把决定交还给人;什么时候信息不够、该暂缓,而不是自己找条更危险的路。
今天,一个普通 AI 的错误只影响一轮回答;一个跑了几小时甚至几天的智能体,错误会是后续几十步的起点。
普通人最该怕的不是"AI 抢饭碗"那种宏大叙事。是更具体的——你关灯睡觉,它还在动;它犯的错,在你睁眼前已经自己繁殖了好几轮。
(顺便一个数据:MIT NANDA 2025 年的研究说,企业里 95% 的生成式 AI 试点没产出可衡量的回报,失控的"智能体泛滥"(agent sprawl)是主因之一。不是 AI 不行,是"放手让它跑"比想象中危险。)
✅ 三件事,你现在就得想清楚
情绪说完,给点真能用上的。
如果你跟我一样,迟早要把活交给"永不下班"的 AI,先问自己三个问题——这其实就是给 AI 装"刹车"的最低配置:
第一,哪些活能交给它?
重复性、可验证、错了能回滚的——跑实验、写代码、整理数据。这些它比你狠,也真香。
第二,哪些活绝不能撒手?
涉及真金白银、人身安全、不可逆操作的——它可以在旁边建议,但最终那一下,必须是你按。
第三,怎么给它装刹车?
• 设检查点:不是"跑到死",而是每 N 步、或到达某个风险阈值,自动停下等人;
• 限权限边界:超出你系统的操作,一律先批准;
• 写死升级规则:不确定、或连续失败 K 次,强制交还给人,不许自己换条更野的路。
OpenAI 已经在代码里写停止条件,Anthropic 把安全上限塞进设备驱动而不是只靠 Claude 临场判断。两家都在把"停"从一句提醒,变成写进模型行为、权限系统和硬件里的东西。
这恰恰说明:会停,才是真能力。
如果有个"永不下班、还会自己找活干"的 AI 同事明天上岗,你最想把它用在哪件事上?又有什么活,你死也不肯交给它?评论区看看大家的想法!
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.