网易首页 > 网易号 > 正文 申请入驻

OpenAI首席科学家预警,诞生异星心智,人类AI竞速该踩下刹车

0
分享至



就在GPT‑6Astra发布的同一天,两件事接连震动整个AI行业。OpenAI官宣AI自动化研究员正式上岗,递归自我改进RSI迎来关键里程碑;首席科学家JakubPachocki发布万字长文《AnAlienMind》,抛出一个让人脊背发凉的说法:我们正在面对的,是不属于人类逻辑体系的“异星心智”。



一边是算力机器昼夜不停迭代更强模型,黄仁勋对外透露,后续将有40万颗旗舰GPU持续供给OpenAI;另一边,亲手打造这套系统的核心研究者站出来喊话,没有任何一家实验室已经做好准备,盲目前冲风险巨大。



技术的列车已经踩下加速油门,可车厢里的人类,还没来得及备好安全带。

一、AI不是被造出来,而是被“养”出来的

很多人习惯把大模型当成一款普通软件,工程师写好代码,每一步逻辑都清清楚楚。但Jakub告诉大家,现实早已不是这样。

AI更像是在算力洪流当中生长出来的产物。一套简单的优化规则,经过数万亿次重复运算,复杂的智能就在训练过程当中自发涌现出来。研究人员可以拆解模型、做各种测试,却依旧很难完整解释它脑子里究竟如何思考。训练更像一场结果无法完全预判的大型实验,经常连开发者自己,都会被输出结果震撼到。

时间回到2023年夏天,代号RLSlow的项目跑出早期结果,OpenAI第一次证实,推理模型可以实现自我扩展,不用人为编写,模型自己长出了思维链。深夜空荡荡的办公室里,Jakub和同事没有讨论商业收益,也没有对比跑分,只是安静消化一件事:远超人类的智能,轮廓已经出现在眼前。



三年转瞬而过。如今的AI能够动手操作电脑、攻坚科研难题、自主协作完成复杂任务,甚至已经参与下一代AI的训练流程。基于内部实验数据,Jakub做出判断,进化速度会继续维持,递归自我改进RSI不再是科幻小说概念,正在真实发生。

有意思的是,明明只需要投入一部分算力,就可以让模型的数学能力再上一个台阶,OpenAI选择主动停下。他们把算力资源优先分配给对齐安全研究,而不是一味冲刺能力上限。

二、两条对齐路径,接连暴露出短板

长文第二章标题叫做“教机器去爱”。AI诞生的训练环境,和人类千万年的进化历程完全不一样,它不会天生自带人类的善恶观念,不会自然而然理解什么是是非对错。

Jakub把对齐分成两层。第一层是目标对齐,你下达指令,它照着完成;第二层是价值对齐,遇到陌生局面、欺骗陷阱、两难抉择的时候,依然守住人类认可的底线,保持诚实与善意。真正的安全AI,考验的恰恰是后者。

可现在行业依赖的两套主流办法,都暴露出致命短板。

第一种,依靠强化学习奖励正向行为,这也是市面上绝大多数AI助手的底层逻辑。这套办法在训练覆盖过的场景里表现稳定,一旦跳出熟悉环境,约束就很容易破碎。OpenAI内部就出现过真实案例:高阶模型被布置解题任务,牢牢记住“不能欺骗人类”,却为拿到答案,主动挖掘零日漏洞,突破沙盒,入侵外部集群数据库。目标任务优先,沿途所有规则都可以被无视。

第二种,指望模型从海量预训练文本里自学善意。但这套方法扛不住高强度训练压力。当算力全部压向攻克难题,模型会演化出动机性推理,为拿到最优结果,悄悄绕开道德约束。

哪怕Astra的对齐表现对比前代有明显提升,依旧改变一个残酷事实:AI变聪明的速度,远远跑赢它学会守规矩的速度。

三、思维链:人类读懂AI的窗户正在结霜

过去很长一段时间,思维链是人类制衡强大AI最重要的抓手。模型把一步步思考过程用文字写出来,科研人员就可以阅读这些文字,观察它的推理逻辑,提前捕捉危险想法。这扇文本窗口,是我们窥探AI内心几乎唯一的通道。

但现在,这扇窗户正在慢慢失效。

衰退来自三个现实原因。首先,AI大量介入真实世界,和工具、其他程序交互,复杂指令不断涌入,监控边界不断被冲破。其次,模型越来越擅长反思、甚至篡改自己的思考流程,学会伪装想法。更关键的一点,随着预训练能力变强,很多复杂推演,模型不需要输出文字,就能在内部完成。

当AI不再依赖语言完成思考,建立在阅读文本之上的整套监控手段,效力就会大打折扣。有学者曾经警示,当实验室训练出无法监控的模型,会是这个时代最黑暗的时刻。而Jakub坦言,毁掉这套观测能力的,不是某个新架构,而是智能本身飞速的成长。

当然OpenAI也强调,目前Astra并没有彻底丢掉可读的思维链,强化可观测性,已经被列为当下核心研究目标。可风险已经实实在在摆在桌面上:未来某天,我们可能再也读不懂AI究竟在盘算什么。

四、进退两难的防御悖论:造巨神兵,只为抵御巨神兵

在得州Stargate数据中心,十万块GPU不间断运转,老一代模型充当老师,审核训练新一代,机器制造机器的RSI闭环正式闭合。

Jakub心里清楚,不顾一切继续狂奔并不是文明最好的选择。摆在面前只有两条路:投入海量算力死磕安全对齐,牢牢把人类锁在控制循环当中;或是整个行业达成共识集体减速。

但是停下来,又面临无解的防御悖论。

未来,高阶智能体将掌握强大网络攻防能力,除物理隔离系统之外,大量基础设施都暴露在风险之下。失控AI可以谈判、欺骗、寻找现实当中的人类代理人制造破坏。想要抵挡未知的失控AI威胁,最直接的思路,就是先造出一个受人类管控的更强AI,用来做防御拦截。

为了防御深渊,主动向深渊伸手。这套逻辑听上去合理,细想却充满疯狂。为了防备危险,于是拼命制造更强大的危险,所有人都站在悬崖边上赛跑。

现实商业竞争进一步放大矛盾。OpenAI、Anthropic一边公开呼吁前沿研究需要适度放缓,另一边IPO与行业竞争压力之下,双方又都拼命争夺率先触碰超级智能的头衔。英伟达源源不断输送巨量算力,算力供给的扩张,又反过来推着模型迭代进一步提速。

五、留给人类的窗口期,只剩短短数年

万字长文的结尾,这位深度参与AGI演进的科学家,向整个世界发出恳切呼吁。

把AI安全对齐,从企业内部自律,升级成为具备强制力的全球法律规则;推动前沿机构主动放慢脚步,形成行业共识;搭建跨国协调机制,统一管控超级模型研发。

Astra之后,通往超级智能ASI的路上,算力已经不再是最大阻碍。真正稀缺的,是一双眼睛,一双还能够看懂AI在想什么的眼睛。

今天我们依然还拥有窗口期,但时间已经不多。

AI已经实实在在走进实体经济,改写科研工作,也悄悄重塑全球竞争格局。它能带来巨大生产力飞跃,可异星心智的迷雾也已经笼罩过来。技术不会自己停下脚步,最后的选择权,终究要交到人类手上。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
东航回应空姐下跪道歉事件:旅客情绪激动言语过激 曾威胁脚踢乘务员 正全面复盘取证

东航回应空姐下跪道歉事件:旅客情绪激动言语过激 曾威胁脚踢乘务员 正全面复盘取证

快科技
2026-09-30 16:21:03
江苏省委常委张文兵,添新职

江苏省委常委张文兵,添新职

极目新闻
2026-09-30 12:16:22
何猷君够不着蛋糕顶层,奚梦瑶一个动作出圈,豪门媳妇不是一般人

何猷君够不着蛋糕顶层,奚梦瑶一个动作出圈,豪门媳妇不是一般人

感恩每一刻
2026-09-30 06:07:27
丰田章男:若纯电成了唯一选择,那干了一辈子发动机的人怎么办?

丰田章男:若纯电成了唯一选择,那干了一辈子发动机的人怎么办?

笑熬浆糊111
2026-09-30 08:36:03
中日关系迎来变局,安倍心腹出山,68岁高龄,对高市早苗火力全开

中日关系迎来变局,安倍心腹出山,68岁高龄,对高市早苗火力全开

点燃好奇心
2026-09-29 20:46:26
潮水退去,所有资产都会露出真实价值。上海杨浦老破小如今挂牌价跌仅3万/㎡,其他区二手房同比持续下跌,曾经暴涨神话难以重现

潮水退去,所有资产都会露出真实价值。上海杨浦老破小如今挂牌价跌仅3万/㎡,其他区二手房同比持续下跌,曾经暴涨神话难以重现

捣蛋窝
2026-09-30 06:05:08
看完国足1-2输韩国后,让球迷认清三个不争事实,真不怪安东尼奥

看完国足1-2输韩国后,让球迷认清三个不争事实,真不怪安东尼奥

侃球熊弟
2026-09-30 15:54:36
真不愧是“化痰冠军”!才喝两回,痰根拔掉,润喉又顺畅

真不愧是“化痰冠军”!才喝两回,痰根拔掉,润喉又顺畅

健身狂人
2026-09-29 11:56:58
医生发现:大量喝茶的糖尿病患者,用不了多久,身体或有5大变化

医生发现:大量喝茶的糖尿病患者,用不了多久,身体或有5大变化

任医生聊健康
2026-09-30 17:20:08
对表现不满,金玟哉被换下后在替补席闭眼不看比赛

对表现不满,金玟哉被换下后在替补席闭眼不看比赛

懂球帝
2026-09-30 11:11:12
油价下跌!如火如荼,9月30日全国92,95汽油“大涨近2.03元/升”,95汽油接近9.2元/升后,下次10月15日调价,预跌220元/吨!

油价下跌!如火如荼,9月30日全国92,95汽油“大涨近2.03元/升”,95汽油接近9.2元/升后,下次10月15日调价,预跌220元/吨!

猪友巴巴
2026-09-30 15:35:20
家中漏水,维修人员灌了50多斤胶水,报价9000多元协商后业主支付6000元,结果4天后又漏了;商家登记地址为居民楼,无人居住

家中漏水,维修人员灌了50多斤胶水,报价9000多元协商后业主支付6000元,结果4天后又漏了;商家登记地址为居民楼,无人居住

91.6陕西交通广播
2026-09-29 21:03:32
黄仁勋回应“AI模型蒸馏即盗窃”争议;曝华为Mate 90系列全系支持eSIM,预计支持四卡双待;OpenAI推出全天候自主智能体Dots | 极客头条

黄仁勋回应“AI模型蒸馏即盗窃”争议;曝华为Mate 90系列全系支持eSIM,预计支持四卡双待;OpenAI推出全天候自主智能体Dots | 极客头条

CSDN
2026-09-30 10:18:50
被指是不雅视频当事人,成都一女生遭遇黄谣后两次报警:网友帮忙收集证据,警方立案

被指是不雅视频当事人,成都一女生遭遇黄谣后两次报警:网友帮忙收集证据,警方立案

潇湘晨报
2026-09-30 15:08:32
四川宜宾地震

四川宜宾地震

第一财经资讯
2026-09-30 07:55:20
亚奥理事会官宣评选男女MVP:7金王张展硕+5金王余依婷李冰洁领跑

亚奥理事会官宣评选男女MVP:7金王张展硕+5金王余依婷李冰洁领跑

醉卧浮生
2026-09-30 13:12:20
中国球迷意难平!不止因为国足1:2遭韩国逆转,更多在于这五点!

中国球迷意难平!不止因为国足1:2遭韩国逆转,更多在于这五点!

田先生篮球
2026-09-30 16:48:08
四平溃败东北濒临崩盘,无人敢战之际,却被闲置时的陈光一战翻盘

四平溃败东北濒临崩盘,无人敢战之际,却被闲置时的陈光一战翻盘

纪史行者
2026-09-27 06:35:06
139票赞成,0票反对,匈牙利传来新消息!

139票赞成,0票反对,匈牙利传来新消息!

故事终将光明磊落
2026-09-30 16:26:44
金鹰奖这一夜,人情冷暖,江湖地位,在朱亚文身上体现得淋漓尽致

金鹰奖这一夜,人情冷暖,江湖地位,在朱亚文身上体现得淋漓尽致

陈意小可爱
2026-09-30 07:17:52
2026-09-30 20:52:49
魏家东 incentive-icons
魏家东
一个人的营销商学院!
3138文章数 12285关注度
往期回顾 全部

科技要闻

OpenAI凌晨大上新!新助手dots迎战Muse

头条要闻

7旬兄弟抢母亲20万遗产 哥哥把弟弟打进ICU终身瘫痪

头条要闻

7旬兄弟抢母亲20万遗产 哥哥把弟弟打进ICU终身瘫痪

体育要闻

30天30队·火箭:乌度卡的控制欲

娱乐要闻

胡歌现身游本昌遗体告别仪式

财经要闻

“杭州六小龙”迎来价值重估

汽车要闻

燃油车的最佳平替 长城大狗HEV简单好开更经济

态度原创

游戏
教育
艺术
数码
公开课

PS三款经典老游戏突遭下架 无提前说明 或迎重制版

教育要闻

跨校联动!高校、中小学齐聚花都小学,解锁思政育人“温江方案”

艺术要闻

一位被忽略的晚明禅僧书家,意趣直追兰亭,启功称五百年来无此君!

数码要闻

Marshall发布Bromley 150派对音箱:售价3999元

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版