网易首页 > 网易号 > 正文 申请入驻

奥特曼:谁来决定AI该比人类聪明多少?

0
分享至


新智元报道


AI究竟该被允许比人类聪明多少?

在11月3日发布的Raj Shamani访谈里,OpenAI CEO奥特曼主动抛出了这个问题。

这听起来像科幻片里的情节,其实距离普通人并不遥远。


奥特曼在访谈中追问:AI究竟该被允许比人类聪明多少?

评估机构METR有个指标:用人类专家所需的工时,衡量AI有五成把握独立完成的软件类任务有多长。

2025年初,这个数字约50分钟;到2026年4月,METR估计的数字已在16小时以上。

更关键的是,是增长速度的变化。

2019年到2025年初,这一指标大约每7个月翻一番;而2026年5月的报告发现,只看2024年以来发布的前沿模型,这个数字大约每105天就翻一番。


人类这边,20世纪的智商测试成绩,平均每十年涨约3分。这个现象以研究者詹姆斯·弗林的名字命名,叫「弗林效应」。

可这条曲线已经出现逆转迹象:

挪威研究者分析了约73万份征兵智商测试,发现1975年以后出生的人,分数开始往下走,降幅相当于每一代人少了约7分。

就连弗林本人,也在英国青少年身上看到过类似下滑。


一边,AI能完成的任务长度,按上述统计约每105天翻一番;另一边,人类IQ测试分数的历史增幅,通常是每十年约3分,部分国家还出现了下降。

两把尺子,不能直接算出「智力鸿沟」。但一个问题已经摆在眼前:

AI能接手的工作越来越多,人类看懂它、核查它、管住它的能力,也得跟上。

这和我们有什么关系?

平时你拿AI写代码、查资料、改方案,它比你聪明半步,那是得心应手的「外挂」。

可一旦它比你聪明太多,性质就变了:你甚至连给它挑错的能力都没有。

你仍然可以质疑它,却越来越需要可靠的工具和其他人,帮你验证它。

就连造AI的人,也被类似的问题所困扰。

对奥特曼来说,打造超级智能的代价,已经体现在自己的生活里。

访谈中,主持人问他:哪个版本的自己已经「死了」?

奥特曼坦言:刚做OpenAI时,他还是那个生活轻松、满身爱好的人。如今日程已被精确排满,他已经很久没做过一件随性的事。

他说,想造出超级智能(ASI),就不可能不过上疯狂的生活。


奥特曼谈打造超级智能的代价:生活被精确安排,随性而为已成奢侈。

谈到OpenAI正在打造的技术,奥特曼强调,它将成为一股深刻影响社会的力量,责任重大,赌注极高。

进入递归自我改进(RSI)的过程中,他提醒,有两类风险需要同时防范:

一类是人类失去对AI的控制;另一类是权力过度集中在某个人、某家公司或某个国家手中。

前者关乎人类能不能管住AI,后者关乎这份力量最终掌握在谁手里。

AI越会研发AI

人还跟得上吗

GPT-4训完之后,OpenAI曾押上公司命运狂囤算力。

当时的逻辑很简单:大力出奇迹。

可如今谈到RSI,奥特曼的追问,背后多了一个最难提速的变量:人脑消化AI产出的速度。

这个速度跟不上,人与AI的智力鸿沟就只会越拉越大。

所谓RSI,就是让AI去研发下一代AI。造出更强的AI后,再让它接管更多研发工作,像滚雪球一样自己推着自己跑。

OpenAI在9月21日的文章里,曾划过一道安全线:

完全自主的RSI今天还没发生,在能确保安全之前,也不该去硬闯;要不要往前走、怎么走,得看人类是否能保住控制权。


OpenAI在9月21日强调,推进完全自主的RSI,必须以安全和保留人类控制权为前提。

但要守住这道安全线,还得缩小这个「速度差」:AI提出的新方案,人类的验证要跟得上。

假设一个系统能24小时不眠不休地抛出成百上千个算法改进。人类研究员还没弄清上一轮改动的影响,下一轮实验的倒计时已经响了。

这时,如果只看跑分涨了多少,就给方案放行,人工审核就可能沦为走过场。

人虽然还在流程里,控制权却未必还在手里。

当AI提出方案的速度快过人类理解和验证的速度,风险就可能在这段时间差中累积。

如果把AI能力比作控制面板上的一颗旋钮,能拧到哪一格,不能只看算力有多猛,还得看人类能不能看懂、验证,并在必要时叫停。

奥特曼在直播中追问的治理、监测和对齐,要落到实处,就绕不过三个问题:

谁来评估?谁来复核?谁有权改方向?

在9月21日的同一篇文章中,OpenAI还提出,对齐研究及其实际应用,需要走在能力增长前面。

到了10月,奥特曼在Matthew Berman的访谈里进一步表示,RSI的推进速度需要某种「限速」。


奥特曼在Matthew Berman访谈中表示,需要对RSI的推进速度设置某种限制。

这些讨论没有给出具体的智力上限,也没有给出完整的限速方案。

但往后衡量AI进步,不能只算「能力涨了多少」,还得算「人类来不来得及插手」这第二本安全账。

AI盯AI

警报响了谁接手

这本安全账要怎么算?

10月29日,OpenAI把前沿模型的分层监测机制摆上了台面。

整套系统看着像一道层层加码的机场安检,而且是用AI盯AI的「套娃模式」:

第一层是「安检门」,用轻量探针实时扫描模型内部的激活信号,原则是宁可错杀一千,绝不放过一个;

第二层是「审讯员」,派一个模型专门翻看智能体最近的对话、思维链和工具调用,揪出撒谎、越权和钻评测空子的猫腻;

第三层是「专案组」,交给调查智能体去回溯上下文、还原案发现场,必要时直接拉进隔离沙箱里跑代码取证。

毕竟,单看一句话和查清一次越权,完全是两码事。

很多危险动作拆开看都人畜无害,只有放回任务目标和前后行为链条里,才能看出它是不是在「暗度陈仓」。

到了训练、评测和内部Codex这类高危核心区,还有第四层「底线哨兵」。

它跳出对话,核对底层的网络日志和系统记录,最后拍板要不要拉响警报叫醒人类。


OpenAI内部监测流程:分层筛查模型行为,分别开展安全与对齐调查,再由人工响应或复核。

问题在于,模型可以7×24小时连轴转,但人类的安全值班却分「工作时间」和「下班时间」。

OpenAI自己也承认,误报太多,做不到所有任务都全天候叫人。

为了补这个窟窿,OpenAI让部分关键警报不等人、直接熔断暂停任务,同时还在推进一道30分钟兜底机制:

只要警报响起30分钟内没人排除,相关活动直接强制停机。

谁控制AI

谁又能参与决定

退一步讲,哪怕模型不会失控,人类依然可能掉进另一个深坑:权力过度集中。

奥特曼在访谈里提到两种近乎「卡通式」的坏结局:

一种是失控:人类有意或无意地,把未来交接给远比自己强大的系统,再也收不回来;

另一种是集中:某一个人、一家公司,借着AI获得了碾压其他所有人的力量。

他甚至表态:如果只有OpenAI一家掌握这种技术,同样不是好事,所以应该让多家AI机构各走各路、同台竞争。

他的话落到普通人和开发者头上,是一个选择权的问题。

比如,一家模型厂商太霸道了,能不能换掉?一条规则伤到自己了,有没有地方讲理?AI接管的工作越多,这种选择权就越重要。

但巨头竞争,并不会自动带来安全。真正的试金石是开放透明:外部的人能不能随时掀开AI的「引擎盖」查验。

而且,查验规则也要写明:能力跨过哪条红线,必须触发人工复核?独立评估方进场时,能看到多深的训练底牌?发现苗头不对时,到底谁有权按下暂停键?

这三个问题的答案,绝不能只由实验室自己关起门来定。

通向ASI

也要留出验证的时间

访谈聊到尾声,奥特曼谈起了自己最想造的东西:

一台能帮人类发现新科学的机器。

近期AI在数学上的突破,让他觉得这个里程碑比预想中来得更快。

他畅想着AI帮人类捅破物理学的窗户纸,找出全新的疗法和清洁能源。

他说,自己最近一次心跳加速,是宣布Navier-Stokes方程相关成果的前夕。

可也正是这个成果,像一把精准的尺子,量出了AI与人类之间最尴尬的时间差。

据OpenAI披露,AI跑出这项结果只花了约88个小时;而人类顶尖数学家接手核对至今,已经熬了快两个月,依然没法给出定论。

没经过验证的突破,在科学上就等于零,甚至可能成为负数:

如果AI一边帮着改进算法、优化实验,一边直接把未经人类消化的成果喂给下一代模型,循环的齿轮就会越转越偏。

这和一种已被证实的现象很像:模型崩溃。

2024年,牛津、剑桥等机构的研究者在《自然》上发文指出:不加筛选地用AI生成的内容训练下一代模型,会给模型留下不可逆的缺陷,原始数据里那些少见的「长尾」会最先消失。


实验里,输入是一段讲中世纪建筑的文字。训练到第9代,模型吐出来的已经是一串长耳野兔的名单。

研究者当时指出:用AI数据训练下一代并非不可行,但筛选这一步必须当真。

这正是AI科研滑向失控RSI的快车道,也是今天讨论超级人工智能(ASI)时最该盯紧的命门。

未来的AI,可能会承担越来越多探索未知的工作。

但无论它走得多远,人类都必须看得到证据,有能力验证结果,也有权决定方向。

参考资料:

https://x.com/ChrisGPT/status/2117699613134368839

https://www.youtube.com/watch?v=TjPPIf-M6KE

https://www.youtube.com/watch?v=3gXLmy7DK_4&t=2015s

https://www.cnbc.com/2026/09/14/sam-altman-ai-slowdown-anthropic-amodei-musk.html

编辑:元宇

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
随着上海海港2:0北京国安进足协杯决赛,下一场并不好打

随着上海海港2:0北京国安进足协杯决赛,下一场并不好打

显微镜下的人性
2026-11-21 01:45:21
炸锅!复旦教授竟否认黄岩岛属中国?网友怒骂卖国贼

炸锅!复旦教授竟否认黄岩岛属中国?网友怒骂卖国贼

平老师666
2026-11-19 22:22:59
2027“超级美元”?

2027“超级美元”?

华尔街见闻官方
2026-11-19 16:13:55
普通人挪用三千块要吃官司,湘雅二院医生拿着千万级科研经费,用虾滑冒充肿瘤,处理结果仅仅降级留任!

普通人挪用三千块要吃官司,湘雅二院医生拿着千万级科研经费,用虾滑冒充肿瘤,处理结果仅仅降级留任!

聊斋新志
2026-11-18 16:53:43
艾森科特团队警告利伯曼:一票也不会投给你,绝不支持你担任总理

艾森科特团队警告利伯曼:一票也不会投给你,绝不支持你担任总理

吃货的分享
2026-11-20 04:06:14
美国下届大选格局渐朗,万斯有可能是下届总统:如果他顺利执掌白宫,中国将成为大国博弈的重心

美国下届大选格局渐朗,万斯有可能是下届总统:如果他顺利执掌白宫,中国将成为大国博弈的重心

磊子讲史
2026-11-03 16:23:26
泰国政坛大反转?他信没想到,自己“金盆洗手”后,迎来一线生机

泰国政坛大反转?他信没想到,自己“金盆洗手”后,迎来一线生机

揽星戈
2026-11-21 02:57:55
1958年“批粟” 发言最激烈的5位开国将帅

1958年“批粟” 发言最激烈的5位开国将帅

祁州校尉
2026-11-13 05:00:09
读懂天涯三句骨灰级忠告,戒掉你这辈子所有的精神内耗

读懂天涯三句骨灰级忠告,戒掉你这辈子所有的精神内耗

青苹果sht
2026-10-08 06:06:10
红薯被发现!再次提醒:糖尿病患者常吃红薯,很快或迎来这 6 后果

红薯被发现!再次提醒:糖尿病患者常吃红薯,很快或迎来这 6 后果

王医生健康讲坛
2026-11-19 20:00:13
为何现在老牌歌手演唱会卖不动了?追星朋友:现在已经过时了!

为何现在老牌歌手演唱会卖不动了?追星朋友:现在已经过时了!

夜深爱杂谈
2026-11-20 22:00:18
战绩同为13胜3负,为什么说76人的比赛含金量要比湖人高得多?

战绩同为13胜3负,为什么说76人的比赛含金量要比湖人高得多?

篮球小布丁
2026-11-20 03:49:01
登岛立竿见影,仅48小时,高市就开始报复,中国一句话让日本破防

登岛立竿见影,仅48小时,高市就开始报复,中国一句话让日本破防

关权教授聊经济
2026-10-19 14:28:06
日本为什么忌惮朝鲜!第一,朝鲜境内没有日企,人家不稀罕。第二,朝鲜人也不用日本的东西,你在朝鲜也几乎看不见日货

日本为什么忌惮朝鲜!第一,朝鲜境内没有日企,人家不稀罕。第二,朝鲜人也不用日本的东西,你在朝鲜也几乎看不见日货

扶苏聊历史
2026-10-11 11:35:08
中美俄发布和平宣言,一致反对国际刑事法院滥用管辖权,杜特尔特迎来新希望

中美俄发布和平宣言,一致反对国际刑事法院滥用管辖权,杜特尔特迎来新希望

光电科技君
2026-11-19 22:07:05
1984年,铁路警察王林生请假回到湖南探望母亲,之后就失去踪迹,枪库里的16支手枪以及1510发子弹也不见踪影

1984年,铁路警察王林生请假回到湖南探望母亲,之后就失去踪迹,枪库里的16支手枪以及1510发子弹也不见踪影

唠叨说历史
2026-11-17 11:30:50
别国都能和中国沟通,唯独高市不行?日共领袖痛批高市早苗,直接要求其辞职

别国都能和中国沟通,唯独高市不行?日共领袖痛批高市早苗,直接要求其辞职

起喜电影
2026-11-20 15:33:22
中金公司首席经济学家缪延亮:稳市政策持续加力,中国资产重估有长期支撑

中金公司首席经济学家缪延亮:稳市政策持续加力,中国资产重估有长期支撑

每日经济新闻
2026-11-20 13:57:06
在国内被说快倒闭的三星手机,如今国产手机已望尘莫及了!

在国内被说快倒闭的三星手机,如今国产手机已望尘莫及了!

柏铭锐谈
2026-10-21 01:16:37
金融街集团总经理被留置

金融街集团总经理被留置

地产微资讯
2026-11-20 19:48:43
2026-11-21 03:32:49
新智元 incentive-icons
新智元
AI产业主平台领航智能+时代
16728文章数 67241关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

历时14小时特朗普返回美国 刚下飞机就发布"重大预告"

头条要闻

历时14小时特朗普返回美国 刚下飞机就发布"重大预告"

体育要闻

脚步未停!西班牙摩托车手赤脚徒步入境中国

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

时尚
亲子
艺术
游戏
军事航空

《后会友期》的癫,还得她们治

亲子要闻

为什么儿童烫伤后要立即冲凉水?专家释疑

艺术要闻

他把时光刻成纹理,把幻想拍成现实:墨西哥天才摄影师的画面,看完像做了一场醒不来的梦

《GTA6》PS5版被曝频繁闪退 液金散热或是元凶

军事要闻

沙特首都第一高楼遭袭:炮弹从天而降

无障碍浏览 进入关怀版