网易首页 > 网易号 > 正文 申请入驻

Anthropic警示:AI递归自我改进(RSI)近在眼前

0
分享至

IT之家 11 月 3 日消息,外界的目光大多集中在 Anthropic 周一更新的 S-1/A 招股补充文件披露的最新财务数据上(营收暴涨,支出同样激增),但这家人工智能实验室在文件小字部分抛出了另一枚重磅信息。


这份申报文件似乎发出警示:该公司即将研发出具备递归自我改进(RSI)能力的模型。

递归自我改进,指人工智能的自我训练能力达到极高水平,进而推动自身能力爆发式增长的阶段。对于人工智能风险悲观派而言,递归自我改进是一场无法逆转的灾难:人工智能将自我进化到足以脱离人类掌控的强大程度,并且在实现自身目标的过程中,可能对其所造成的损害无动于衷。

而在人工智能乐观者看来,递归自我改进,或是 AI 稳定实现自我优化的相关形态,代表这项技术的巨大潜力,届时它将成为释放超高生产力、助力科学发现等诸多领域的强大工具。

Anthropic 的态度是,递归自我改进既是机遇,也暗藏风险。其在招股文件中写道,公司已经将 AI 用于研发工作,同时做出提醒:“借助 AI 开发能力更强的 AI,也可能带来重大安全风险,尤其是当它大幅加快技术迭代速度的时候。这也是我们《负责任扩缩策略》覆盖的领域之一,这份文件规划了相关方案,在我们逐步接近所谓‘递归自我改进’状态时,对风险进行监测与缓释。”

IT之家注意到,递归自我改进这个概念在今年早些时候走红时,很多人认为它只是一个热词,往好里说,也只是一个很难落地、难以界定、无法证实的目标。

但周一,Anthropic 在风险提示板块新增了表述,主要两点:一、公司已经利用 AI 开发出新模型,部分模型能力实现跃升,但当时团队并未察觉;二、公司可能很快就会触达其自身定义里的递归自我改进标准:

此外,我们越来越多地借助 AI 系统加快自身研发进度,这有可能让模型能力的提升速度,超过我们配套开发、验证、落地安全、对齐与防护方案的速度。因此,我们过去曾没能及时发现研发速度的大幅提升,未来也有可能在这类提速发生之后才察觉。 举例来说,基于内部测算以及对下一代模型的预期(而非现有模型),我们可能很快就会触及《负责任扩缩策略》里定义的“由 AI 带来的爆发式技术进展”。目前我们认定,还没有任何一款现有模型越过这条红线,相关基础数据仍在持续评估当中。

不过 Anthropic 也在文件中说明,旗下所有模型暂未跨过递归自我改进的门槛,并且承诺在可预见的未来,研发流程会保留人类参与。“即便未来技术上可以实现,我们也不打算在缺少有效人工监督、无法充分理解相关过程的前提下,安全地让 Claude 完全自主设计、迭代前沿大模型。因此,我们正考虑修订《负责任扩缩策略》,保证前沿模型的开发始终由人类掌控。”

持怀疑态度的人会指出,S-1 招股文件兼具信息披露和宣传属性,宣称即将做出能够自我迭代的超强模型,或许只是宣传话术。

但不可否认,Claude 今年的能力,尤其是编程、数学和网络安全方面,实现了跨越式提升。如果 Anthropic 判断递归自我改进近在眼前,或许我们应当重视这个判断,并据此采取行动,搭建对应的监管规则。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
普京来中国带上三大副总理,办完大事不急着回国,直奔中俄大后方

普京来中国带上三大副总理,办完大事不急着回国,直奔中俄大后方

巷北楠猫本尊
2026-11-17 16:13:32
“我儿子敢这样穿,我上去就是一巴掌”,儿子一套低认知穿搭,家长还发到网上炫耀,网友怒了

“我儿子敢这样穿,我上去就是一巴掌”,儿子一套低认知穿搭,家长还发到网上炫耀,网友怒了

蝴蝶花雨话教育
2026-11-18 00:05:17
1-2,日本不敌南美劲旅,5连胜遭终结,福田师王破门难救主

1-2,日本不敌南美劲旅,5连胜遭终结,福田师王破门难救主

侧身凌空斩
2026-11-17 23:06:08
79岁路都走不稳还开演唱会捞金,全网恶评如潮,她却扬言回馈粉丝

79岁路都走不稳还开演唱会捞金,全网恶评如潮,她却扬言回馈粉丝

背包旅行
2026-11-17 12:11:31
勒布朗·詹姆斯透露,模仿迈克尔·乔丹几乎毁了他的比赛

勒布朗·詹姆斯透露,模仿迈克尔·乔丹几乎毁了他的比赛

好火子
2026-11-18 04:00:53
出租车司机遇害,凶手翻供称“作案时被害人未死亡”,检察官锁定一个细节:死亡勃起

出租车司机遇害,凶手翻供称“作案时被害人未死亡”,检察官锁定一个细节:死亡勃起

方圆
2026-11-09 09:56:31
中国客机在温州瑞安坠毁,造成机上61人全部遇难,真是历史事件

中国客机在温州瑞安坠毁,造成机上61人全部遇难,真是历史事件

健康快乐丁
2025-08-05 16:01:39
何小鹏最聪明的一笔交易,不是创建了小鹏汽车,而是把UC浏览器43.5亿美元高位套现!

何小鹏最聪明的一笔交易,不是创建了小鹏汽车,而是把UC浏览器43.5亿美元高位套现!

元气科技馆
2026-11-10 20:28:19
利空小作文又来!中际旭创暗盘又崩了,股民:痛不欲生,无法面对自己

利空小作文又来!中际旭创暗盘又崩了,股民:痛不欲生,无法面对自己

金石随笔
2026-11-18 07:18:39
首次访华就想给下马威?中方二话不说撤走仪仗队:想好了再来

首次访华就想给下马威?中方二话不说撤走仪仗队:想好了再来

一姐说军史
2026-06-29 15:10:55
他是前政治局常委,68岁时失意选择吞药自尽,至今骨灰仍未找到

他是前政治局常委,68岁时失意选择吞药自尽,至今骨灰仍未找到

今明文史
2026-11-17 20:25:03
全盘推翻!蔡天凤案前公公首次自辩,父子多套说辞,声音洪亮自信

全盘推翻!蔡天凤案前公公首次自辩,父子多套说辞,声音洪亮自信

爱下厨的阿酾
2026-11-18 06:27:46
美国出台三项新规:全面封堵中企获取先进AI算力路径!

美国出台三项新规:全面封堵中企获取先进AI算力路径!

芯智讯
2026-11-17 08:33:49
这次发射失败,美军有点慌了

这次发射失败,美军有点慌了

枢密院十号
2026-11-17 00:35:37
那个被全单位孤立的挂职干部,我陪他吃了一年食堂,如今他回来了

那个被全单位孤立的挂职干部,我陪他吃了一年食堂,如今他回来了

星宇共鸣
2025-12-26 09:58:41
武汉主播胡颖无辜躺枪!十几年功勋章在手,凭什么被吃瓜群众定罪

武汉主播胡颖无辜躺枪!十几年功勋章在手,凭什么被吃瓜群众定罪

可乐谈情感
2026-11-18 05:22:56
发现一个奇怪的现象:电车没有干掉油车,却干掉了汽车修理厂!

发现一个奇怪的现象:电车没有干掉油车,却干掉了汽车修理厂!

補懂事的孩紙
2026-11-17 01:00:42
我表妹在暨南大学见到全红婵,她说全红婵根本就不像网上说的那样。现实生活中的全红婵,肉眼看上去一点都不觉得胖。皮肤很白,人非常可爱

我表妹在暨南大学见到全红婵,她说全红婵根本就不像网上说的那样。现实生活中的全红婵,肉眼看上去一点都不觉得胖。皮肤很白,人非常可爱

背包旅行
2026-11-17 21:26:39
再遭重创,激战时刻克里米亚大桥遭饱和打击,切断40万大军后勤补给线

再遭重创,激战时刻克里米亚大桥遭饱和打击,切断40万大军后勤补给线

聚峰军评
2026-11-18 09:08:53
一夜4消息:44+12内线手术成功,雷霆中锋接受手术,火箭不容乐观

一夜4消息:44+12内线手术成功,雷霆中锋接受手术,火箭不容乐观

球盲姐
2026-11-18 09:11:02
2026-11-18 09:47:00
IT之家
IT之家
爱科技,爱这里 - 前沿科技人气平台
379890文章数 607739关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

更豪华更好开 问界新M8细节升级见真章

态度原创

时尚
教育
亲子
旅游
本地

秋天衣服别总穿纯色,试试这几件条纹单品,简单时尚又减龄

教育要闻

济南市历下区燕山小学教育集团将出席2026第四届课博会,解码“做中学”视域下小学科学教育生态构建

亲子要闻

宝宝气人但是聪明的4个行为

旅游要闻

秋假遛娃剑门关,全程17000步,6个小时,喜提废腿体验!

本地新闻

乌兰察布:以前种土豆,现在种Token

无障碍浏览 进入关怀版