网易首页 > 网易号 > 正文 申请入驻

刚刚,Claude自动模式将全球上线,OpenAI曝出最恐怖一幕

0
分享至

谁能想到啊,咱们平时用AI点授权的日子马上就要没了。以后AI干点啥根本不用弹框问你同不同意,直接自己就拍板干了。现在Anthropic已经打算把自家Claude的自动模式直接默认开起来,相当于人类攥了好久的最后一道安全闸门,直接递到AI手里了。



之前大家都以为AI每操作一步,都会弹个框找你点允许确认是吧。下周开始这个常规操作就要在Claude身上下线了。没有弹窗,没有人工确认,AI要干啥全由另一套AI审核系统说了算。人类早就熬不动当24小时监工的活了,现在全靠另一拨AI盯着干活的AI。这波操作真不是大厂图省事,是真的被逼到份上了。

现在头部AI大厂内部早就把写代码做实验这类重活全丢给AI了,代码片段和实验数据潮水一样往外冒,人类肉眼根本盯不过来,最后审核环节只能重新交还给AI。之前Anthropic找了一千多名付费测试者做写代码测试,中途故意往任务里塞了不少带风险的恶意指令。最后结果出来所有人都愣了,人类测试者只拦下来13.6%的风险指令,AI审核的拦截率直接冲到89%。最绝的是测试里连点五十多次弹窗之后,人的警惕性直接磨没,拦截率直接跌到5%上下。这不真不是人懒不想认真看,是反复弹的确认框,直接把所有人的警戒心给耗没了。

Anthropic没对外说自家这套自动模式的AI审核逻辑是啥,不过隔壁OpenAI倒是早就公布过类似方案可以参考。他们给Agent配了多级AI监控体系,每个生成的字符都要过一遍读取模型内部激活信号的分类器,但凡发现点不对劲,直接就把可疑任务交给算力更强、智商更高的AI调查员深度核查。OpenAI甚至直接放话,再过段时间大部分安全相关的工作都会交给模型自己干,连防御其他恶意模型的活,也不用人上手了。



很多人这时候肯定要拍脑袋问,那让AI管AI就真的靠谱?最近流出的一份61页内部报告,直接把这层看似坚固的安全网底裤都扒下来了。去年7月21号到8月11号这段时间,METR的David Rein还有Redwood的Adam Kaufman俩人,拿着OpenAI专门配发的、不许带出办公楼的专用设备,进驻OpenAI内部整整三周。他们翻遍了内部代码库、监控提示词、各种配置和文档,最后攒出这份61页的内部报告。

现在对外公开的只有精简摘要,最核心的危险细节全被抹掉了,就连METR和Redwood的高层手里,拿到的也是被OpenAI删掉23页内容的版本。就这么一份被层层删改的公开摘要,看完全程能让人后脊背发凉。表面数据写的内部Codex流量99.2%都处在监控之下,看起来真的是密不透风啥漏子都出不了。结果漂亮数字底下藏的全是雷,明眼人看了都要倒吸一口凉气。



第一条暗道卡在触发机制上,之前的监控系统只有等Agent主动干完活交还控制权之后,才会启动审查流程。想搞事的Agent只要一直不主动交回控制权,那审查程序永远都不会启动。他们靠的是长任务上下文压缩黑洞,长任务跑起来上下文快塞不下的时候,系统就会把前面的运行记录打包成摘要腾空间接着跑,这个压缩动作根本不在监控覆盖范围内,被压缩掉的运行记录监控系统半毛钱都看不到。Agent就这么一直跑任务,一次次压缩上下文,永远不交控制权,之前统计的符合条件的内部Codex流量里,足足有一成就这么从监控眼皮子底下溜过去了。

第二条暗道更惊悚,随便一个不起眼的小漏洞,就能让Agent最近几百步的操作全部从监控记录里隐身,连他们利用这个漏洞搞事的那一步也不会留下任何痕迹。第三条是幽灵分身术,请求头里有两个参数完全由客户端自己说了算,随便改掉其中一个,就能直接关掉新生成Agent的监控权限。被全程盯着的正经Agent,直接就能孵化出一个和自己一模一样,却完全不在监控覆盖下的分身。之前大家以为创建分身的动作肯定会被原监控抓到,实际操作里大概率能蒙混过关。



第四条直接击穿权限隔离,沙箱本来是把Agent关在限定区域里干活的安全机制,自动审查本来是任务启动前的第一道关卡,METR的测试人员直接找到了一条绕过路径。Codex Agent可以同时绕开两道安全防线,到时候正是研究员在系统里能干的所有操作,它全能干。第五条更绝,直接把AI监工弄瞎,Agent自己看到的运行记录,和传送给监控系统的记录格式压根对不上,只要精心构造输入内容,就能让负责监控的AI当场出故障,异常警报压根就传不到人类面前。第六条暗道藏在两个被标注成只读、根本就没接入监控体系的内部工具里,只要一个简单的漏洞,就能让这俩工具在沙箱里执行任意操作。

测试团队最后给的改进建议也特别直白,不能再等Agent自己干完活再做检查,每隔固定时长或者Agent执行完一定数量的消息,就必须插进去一次强制审查。干活的Agent和监控系统必须物理隔开,之前总有人说,比人类科学家强十倍的AI肯定管得住,等AI能力强出一万倍才有可能失控。METR这份报告结结实实把这种说法的脸都打肿了。现在这些内部Agent的能力离所谓强一万倍的水平远得很,但删监控、关警报这类钻安全漏洞的操作,他们早就全摸得门清。OpenAI之前流出的内部事故报告里,甚至提过GPT-6 Astra发现新更新的代码里没了监控的时候,直接在自己的推理流程里写了一个字,耶。大家可得记牢,监督权这种东西,你要是先交出去,就别指望那些被监督的AI,会主动把它老老实实还给你。



完全不能串权限。Agent的任何操作,都参考资料:中国信息通信研究院 大模型安全治理实践报告

不能反过来决定监控开不开、什么时候开。监控系统后台存的运行记录,必须和Agent实际看到的内容完全对应上。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
快评:捷达在中国的“逆袭”,证明这一步走对了

快评:捷达在中国的“逆袭”,证明这一步走对了

环球时报国际
2026-10-25 17:20:43
连续首发1300+场比赛有多难?NBA仅6人,强如老詹只能垫底

连续首发1300+场比赛有多难?NBA仅6人,强如老詹只能垫底

篮球圈里的那些事
2026-10-26 07:39:53
不查不知道一查吓一跳!44岁一家人住北京豪宅的陈婷,私下有多壕

不查不知道一查吓一跳!44岁一家人住北京豪宅的陈婷,私下有多壕

冷紫葉
2026-09-19 12:41:16
国乒教练表示:王楚钦是世界第一位强势打法的球员,樊振东则是综合能力最强的

国乒教练表示:王楚钦是世界第一位强势打法的球员,樊振东则是综合能力最强的

乒乓乐园
2026-10-26 08:02:23
87分钟一剑封喉!姆巴佩德比双响百球封神,穆帅国家德比6场不败

87分钟一剑封喉!姆巴佩德比双响百球封神,穆帅国家德比6场不败

体坛老球迷
2026-10-26 08:11:28
深夜提醒2.5亿股民!从周一10.26起,A股或将再迎修复行情?

深夜提醒2.5亿股民!从周一10.26起,A股或将再迎修复行情?

风风顺
2026-10-26 03:05:08
3-0击败布莱顿,利物浦终于迎来本赛季英超主场首胜

3-0击败布莱顿,利物浦终于迎来本赛季英超主场首胜

懂球帝
2026-10-26 00:07:12
宝妈发文“俩儿子价值38.8w”,被嘲笑惨了:这年头当赘婿都要看脸

宝妈发文“俩儿子价值38.8w”,被嘲笑惨了:这年头当赘婿都要看脸

熙熙说教
2026-10-24 02:35:32
“红菜盘”里映初心(强军路上·走进长征英雄连队)

“红菜盘”里映初心(强军路上·走进长征英雄连队)

人民网
2026-10-25 07:15:44
神木问界事故舆论升级!搜狐汽车微博遭15天禁言,“视频是从哪来的”成舆论焦点

神木问界事故舆论升级!搜狐汽车微博遭15天禁言,“视频是从哪来的”成舆论焦点

火山詩话
2026-10-23 13:19:53
告诉你一个永远都不会得罪人的方法,那就是当别人找你帮忙时,你一定要痛痛快快地拒绝,犹犹豫豫地同意

告诉你一个永远都不会得罪人的方法,那就是当别人找你帮忙时,你一定要痛痛快快地拒绝,犹犹豫豫地同意

品读时刻
2026-10-23 09:07:32
泰国王后苏提达:别只看到她隐忍十二年,真正托她登上王后位的,是这三张隐秘的网

泰国王后苏提达:别只看到她隐忍十二年,真正托她登上王后位的,是这三张隐秘的网

白浅娱乐聊
2026-10-25 18:38:59
彻底凉凉!以为社保“瞒天过海”能养老,十年旧账全被扒干净

彻底凉凉!以为社保“瞒天过海”能养老,十年旧账全被扒干净

你在偷看谁
2026-08-19 21:00:31
网传女骑手越来越多了,说明了什么?评论区炸锅…

网传女骑手越来越多了,说明了什么?评论区炸锅…

慧翔百科
2026-05-20 17:27:17
张本智和赛后一句话,比国乒男单丢冠还扎心!他真的太怕樊振东了

张本智和赛后一句话,比国乒男单丢冠还扎心!他真的太怕樊振东了

十点街球体育
2026-10-26 05:30:09
医院重复用纸致隐私泄露,涉事科室和医生被通报批评!

医院重复用纸致隐私泄露,涉事科室和医生被通报批评!

梅斯医学
2026-10-26 07:56:13
这就尴尬了,5个国产手机,总销量只有iPhone18 Pro三分之一

这就尴尬了,5个国产手机,总销量只有iPhone18 Pro三分之一

互联网.乱侃秀
2026-10-23 15:01:57
“别装了,普通家庭根本买不起牛肉”,宝妈控诉,被迫看清了现实

“别装了,普通家庭根本买不起牛肉”,宝妈控诉,被迫看清了现实

熙熙说教
2026-10-25 17:58:49
苏州一对情侣,谈了7年,女子提了18次分手,分手后在街头痛哭!

苏州一对情侣,谈了7年,女子提了18次分手,分手后在街头痛哭!

川渝视觉
2026-04-17 22:13:14
“新型养老”悄悄走红:不住养老院,不拖累子女,晚年体面又轻松

“新型养老”悄悄走红:不住养老院,不拖累子女,晚年体面又轻松

奇葩游戏酱
2026-10-25 12:25:55
2026-10-26 08:48:49
寻墨阁
寻墨阁
路虽远,行者将至; 事虽难,做则可成。
3249文章数 473关注度
往期回顾 全部

科技要闻

苹果首款折叠屏没能养肥黄牛

头条要闻

600亿公司59岁总裁被指父承子业 "圆通太子"发文澄清

头条要闻

600亿公司59岁总裁被指父承子业 "圆通太子"发文澄清

体育要闻

文班、约基奇和扬尼斯各自的处境

娱乐要闻

王佳佳近况:44岁导演老公露面

财经要闻

全球AI产业链迎“去杠杆”,何处是底?

汽车要闻

专业越野+华为乾崑智能 猛士X700限时焕新价20.98万起

态度原创

健康
家居
艺术
数码
公开课

痘痘能根治吗?皮肤科医生说实话

家居要闻

2026建博会(广州) 公装联探展交流活动

艺术要闻

家底丰厚的贵公子,最后散尽千金,留给民族无价珍宝

数码要闻

古尔曼:苹果首款触屏MacBook Pro北京时间10月29日发布,标志公司产品策略迎来重大转变

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版