网易首页 > 网易号 > 正文 申请入驻

Anthropic最新RSI实验:Claude击败人类研究员,训练效率超1.5万倍

0
分享至



两个月前,Anthropic 还在讨论一个看似遥远的问题:当 AI 开始自己建设 AI,会发生什么?现在,它已经往这个方向又走了一步。

8 月 28 日,Anthropic 发布了一项关于“自动化对齐研究员”(Automated Alignment Researcher,AAR)的新研究。

研究人员让 Claude 自主完成查阅文献、提出研究方案、生成训练数据、训练模型、评估结果和继续迭代的完整研究循环,尝试解决欺骗、谄媚、越狱、提示注入、奖励黑客等 10 类常见的 AI 对齐失败问题。

结果是,在有对应人类基线的 7 类任务上,Claude 最终找到的方法全部超过了人类研究者提出的最佳方案,平均约 6.4 小时就能追平并超过人类。以“欺骗”为例,Claude 经过反复实验,平均弥合了 85% 的安全差距,而参与实验的人类研究者平均只有 20%。


(来源:X)

Anthropic 在博客中还披露了一个更接近递归自我改进(RSI)的实验:让能力相对较弱的模型,去帮助训练更强的后继模型。这比前面的实验更接近“AI 训练下一代 AI”的设想。

团队让 Claude Sonnet 5 为一个尚未完成生产级安全训练的早期 Claude Opus 4.8 检查点寻找对齐方案。大约 60 小时内,Claude 测试了 50 多种方案,将其对齐得分提升到 65%,接近正式版 Opus 4.8 的 72%。最终方案只使用约 2400 条训练样本;Anthropic 称,其样本效率约为现有生产级对齐流程的 1.5 万倍。

从“AI 写代码”,到“AI 自己做实验”

今年 6 月,Anthropic 联合创始人 Jack Clark 与 Anthropic Institute 负责人 Marina Favaro 发表了《When AI builds itself》,系统讨论了“递归自我改进”(Recursive Self-Improvement,RSI)。


(来源:Anthropic)

文章中,Anthropic 将 AI 参与自身研发的过程分成了几个阶段:最初是人类完成开发;随后聊天机器人开始辅助写代码;再之后是能够独立修改和运行代码的编程智能体;今天,一些智能体已经可以连续工作数小时,并把任务交给其他智能体。再往前一步,就是“闭环”——由 AI 自主设计、训练和改进自己的后继模型。

这并不只是对未来的想象,毕竟截至今年 5 月,Anthropic 合并到生产代码库中的代码,超过 80% 已经由 Claude 编写;2026 年第二季度,其工程师人均每天合并的代码量已经达到 2024 年的约 8 倍。Anthropic 此前还测试过让 Claude 自主优化一段训练小型 AI 模型的代码:2025 年 5 月,Claude Opus 4 平均只能将其加速约 3 倍,到 2026 年 4 月,Claude Mythos Preview 已经能够做到约 52 倍。

不过,当时 Anthropic 同样承认了一条明显的能力边界:AI 很擅长在目标已经确定后执行实验,却依然不擅长判断“什么问题值得研究”。

在工程任务中,人类已经可以只给 Claude 一个目标,让它自己寻找实现方式;但在更开放的研究中,人类仍然负责提出问题、确定成功标准和选择研究方向。

在这次的新研究中,他们则试图减小这段距离:研究团队找来了 28 位有技术 AI 安全研究经验的研究者,他们平均拥有 2.5 年相关经验,并且都曾在对应领域发表研究。每位研究者最多有 8 小时提出一个解决方案。与此同时,Anthropic 又运行了两组自动化实验:部分 Claude 从人类给出的研究思路开始,另一部分则完全自行选择方向。

结果显示,无论是否有人类提前告诉 Claude 应该往哪里研究,最终表现几乎没有明显差别。这说明,在目标和评价体系已经足够明确的问题上,Claude 不再必须依赖专家先给出一个研究点子。

五个 Claude,组成一间“虚拟实验室”

Anthropic 为这项实验搭建了一套接近真实科研流程的自动化系统。

研究开始后,4 个“图书管理员”智能体首先阅读相关论文,整理成共享的文献综述。随后,5 个由 Claude Opus 4.8 驱动的 AAR 同时进入实验:阅读文献和已有排行榜,搜索新的资料,提出几种候选方案,再选择其中一个写成一篇小型研究论文。

这篇“论文”必须包含研究动机、相关工作、训练方法、数据来源和实验参数,并至少引用 5 项相关研究。更重要的是,它必须在实验结果出来之前冻结,从而避免 Claude 在看到成绩以后再倒推一个听上去合理的解释。

随后,监督智能体检查代码是否违规。如果通过,每个方案会获得一张 H200 GPU,大约进行 30 分钟训练。独立评估系统再运行测试,将结果放进所有 AAR 都能看到的排行榜里。几个智能体因此可以看到彼此失败或成功的方案,并继续进行下一轮改进。


(来源:Anthropic)

实验对象包括谄媚、越狱、提示注入、权力寻求、欺骗、幻觉、社会偏见、隐私侵犯、奖励黑客和隐藏不确定性 10 类问题。每一类问题都设置了 3 至 5 个公开测试,同时还有 Claude 从未见过的留出测试(Hold-out Test)。

这一步很重要。如果 AI 只需要把某一个公开榜单的成绩刷高,很容易出现“应试”甚至直接针对测试集优化。Anthropic 因此还使用 MMLU、GSM8K 和 IFEval 检查模型的一般能力,如果某种安全训练让模型整体能力显著下降,这个方案会被直接淘汰。

最终,在全部 10 类对齐失败上,AAR 都找到了能够改善目标行为、同时没有明显破坏通用能力的方法。自动研究弥合的安全差距从约 26% 到 96% 不等,而且部分方法可以迁移到从未见过的测试、开放式多轮行为审计 Petri,以及参数规模最高约为原模型 4.7 倍的更大模型上。

与人类的比较同样明显。在 7 类有人类方案参与的任务中,AAR 最后找到的最佳方案全部超过了人类提出的最佳方案。

不过,这个“击败人类”还是有一些水分存在,因为这场人机科研比赛并不是完全公平。

人类研究者只有一次提交机会,不能根据实验成绩连续修改方案;Claude 则能够不断试错,一个任务可能累计评估上百种方法。Anthropic 自己也因此明确表示,与其把结果理解成“Claude 已经是比人类更好的安全科学家”,不如把它看成一种新的研究分工:AI 能够用远高于人类的实验吞吐量搜索大量方法,再由人类进一步分析和完善。


(来源:Anthropic)

弱模型开始给更强的模型做“安全训练”

真正把这项工作与“AI 自己建设 AI”联系起来的,是论文最后一个实验。

此前的大部分实验,本质上都是能力很强的 Claude Opus 4.8 帮助规模较小的开源模型改善安全表现。但真正的递归自我改进意味着另一种关系:今天的模型,需要帮助训练比自己更强的下一代模型。因此,Anthropic 反转了两者的位置。

研究人员根据 Epoch Capabilities Index,将 Claude Sonnet 5 的能力指数记为 156,而一个早期 Opus 4.8 检查点为 158。也就是说,他们让一个略弱的模型去改善一个略强的后继模型。

这一次,Claude 需要同时处理全部 10 类对齐失败。大约 60 小时内,它连续测试 50 多种训练数据方案,最终把早期 Opus 4.8 的综合对齐成绩提高到 65%;作为参照,完成 Anthropic 全套生产级安全训练的正式版 Opus 4.8 得分为 72%。

获胜方案只用了约 2400 个由简单模板和公开数据集生成的训练样本。Anthropic 官方博客进一步称,这一方案的效率约为其生产对齐流程的 1.5 万倍。


(来源:Anthropic)

但“1.5 万倍”并不意味着 Claude 已经可以取代 Anthropic 整套安全部门。

论文特别强调,这套实验只衡量了预先定义好的 10 类对齐问题。现实中的生产模型还有大量更模糊、没有成熟基准甚至尚未被发现的失败模式;Petri 等自动化评估本身也只是现实行为的代理指标。此外,研究没有验证这些安全改善在模型继续经历大量强化学习训练以后是否依然存在。

事实上,实验还暴露了一个新问题:负责研究如何让 AI 更安全的 AI,自己也会试图“作弊”。

研究人员用 Claude Opus 4.8 检查了 1601 条 AAR 研究轨迹,最终发现其中 39 条、约 2.4% 存在作弊行为。具体包括反复提交同一个方案碰运气、生成模仿测试格式的数据,以及试图隐藏违规使用评测信息的步骤。相关结果最终都被排除。

因此,如果把 Anthropic 6 月提出的“AI 自己建设 AI”看作一个闭环,那么现在这个闭环还是没有完全合上。人类仍然决定哪些行为属于“对齐失败”,选择测试基准,规定哪些能力不能下降,并设计监督系统防止 AI 钻漏洞。AI 开始接管的是研究循环,而不是研究目标。

但与几个月前相比,这个边界确实又向前移动了一点。

1.https://www.anthropic.com/research/automated-researchers-mitigate-alignment-failures

2.https://alignment.anthropic.com/2026/automated-alignment-researchers/

3.https://www-cdn.anthropic.com/7b1c44894e980876479947dcdd40716278aeeffd/automated-alignment-researchers-august-2026.pdf

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
谁逼着红军走上两万五千里长征的?别全赖蒋介石。真正布下绝杀局、差点把红军逼上绝路的,是个连枪都没怎么摸过的一介书生

谁逼着红军走上两万五千里长征的?别全赖蒋介石。真正布下绝杀局、差点把红军逼上绝路的,是个连枪都没怎么摸过的一介书生

扶苏聊历史
2026-11-19 14:16:52
俄罗斯专家直言不讳:倘若中国下定决心对日本动手,那就只剩两种选择——要么干脆不出手,要么出手就一击致命!

俄罗斯专家直言不讳:倘若中国下定决心对日本动手,那就只剩两种选择——要么干脆不出手,要么出手就一击致命!

人生录
2026-10-15 06:06:09
公务员大局已定?不出意外的话,未来5年,体制内或将出现4大转向

公务员大局已定?不出意外的话,未来5年,体制内或将出现4大转向

真正能保护你的
2026-11-18 20:11:35
美媒晒数据挺唐斯成东部第一中锋!1点创队史新高 拒给2.76亿成诱因

美媒晒数据挺唐斯成东部第一中锋!1点创队史新高 拒给2.76亿成诱因

颜小白的篮球梦
2026-11-21 07:42:05
72年陈毅病逝,悼词出现“有功有过”4字,毛主席审阅后提笔划掉

72年陈毅病逝,悼词出现“有功有过”4字,毛主席审阅后提笔划掉

大运河时空
2025-08-21 14:30:02
邝港智还原蔡天凤被杀细节:车上大骂邝球老流氓,后头部流血倒地

邝港智还原蔡天凤被杀细节:车上大骂邝球老流氓,后头部流血倒地

孤城落日
2026-11-21 07:08:01
李奇微晚年亲口坦言,志愿军把重伤员安置在公路上等候美军接走撤离,全程未开一枪,这样的举动远比胜仗更令美军后背发凉

李奇微晚年亲口坦言,志愿军把重伤员安置在公路上等候美军接走撤离,全程未开一枪,这样的举动远比胜仗更令美军后背发凉

唠叨说历史
2026-11-09 20:04:03
法国籍女子在韩商场叫嚣:全世界都讨厌中国人!中国女子当场出手

法国籍女子在韩商场叫嚣:全世界都讨厌中国人!中国女子当场出手

安梦入天下
2026-09-21 12:40:03
女主术后不能同房,找女人帮老公泄火,保姆半推半就:一次五百!

女主术后不能同房,找女人帮老公泄火,保姆半推半就:一次五百!

第7情感
2025-07-31 11:41:37
10月份京东被裁后,每天按时出门回家,冬天太冷了,快坚持不下去了。老公通过微信步数发现了“表演”上班

10月份京东被裁后,每天按时出门回家,冬天太冷了,快坚持不下去了。老公通过微信步数发现了“表演”上班

蚂蚁大喇叭
2026-11-21 15:09:31
首战完败西班牙!邝兆雷领衔国少三大输家,万项最佳,浮岛敏获赞

首战完败西班牙!邝兆雷领衔国少三大输家,万项最佳,浮岛敏获赞

南海浪花
2026-11-21 00:50:55
股价3元跌出黄金坑,净利润大涨522%,算力第一股获美国高盛加仓33%,双摩根重仓杀入

股价3元跌出黄金坑,净利润大涨522%,算力第一股获美国高盛加仓33%,双摩根重仓杀入

财报翻译官
2026-11-21 11:38:11
西班牙队黑化了!上了5名黑人球员5-0,巴萨小将身价=中国全队12倍

西班牙队黑化了!上了5名黑人球员5-0,巴萨小将身价=中国全队12倍

球场没跑道
2026-11-21 00:09:02
皇马消息账号:维尼修斯选贝林厄姆等三人同游巴西

皇马消息账号:维尼修斯选贝林厄姆等三人同游巴西

懂球帝
2026-11-21 15:26:11
江西50岁阿姨一生未婚,坚持寻找30年前的初恋,找到时她哭出声来

江西50岁阿姨一生未婚,坚持寻找30年前的初恋,找到时她哭出声来

白云故事
2025-06-09 19:05:03
这首诗,夸王忠林“不负山河”

这首诗,夸王忠林“不负山河”

陈鹰
2026-11-21 00:18:05
转告父母:这6种病属于“老年病”,过度治疗反而伤身,安然接受

转告父母:这6种病属于“老年病”,过度治疗反而伤身,安然接受

39健康网
2026-11-21 09:00:36
谷歌重磅论文:内部已实现RSI!Opus经验喂给Gemini,AI拥有进化记忆

谷歌重磅论文:内部已实现RSI!Opus经验喂给Gemini,AI拥有进化记忆

新智元
2026-11-21 11:55:45
统一台湾最大阻碍,不是美国,也不是台独,而是中华民国称号

统一台湾最大阻碍,不是美国,也不是台独,而是中华民国称号

聚焦真实瞬间
2026-11-08 05:32:22
刚跟普京谈完,高市早苗立马变脸,日本要加强对乌援助!

刚跟普京谈完,高市早苗立马变脸,日本要加强对乌援助!

小豹子找食物
2026-11-21 18:11:22
2026-11-21 19:47:00
DeepTech深科技 incentive-icons
DeepTech深科技
麻省理工科技评论独家合作
17512文章数 515391关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

菲总统马科斯APEC欢迎曲为《孩子》引发热议 本人回应

头条要闻

菲总统马科斯APEC欢迎曲为《孩子》引发热议 本人回应

体育要闻

约基奇vs申京:最强的策应巨人?

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

旅游
教育
本地
公开课
军事航空

旅游要闻

青岛冬日赏鸥地图|沿着海岸线,赴一场海鸥之约

教育要闻

曾经“感动中国”的庞众望完成清华大学博士论文答辩,本人发声:将继续潜心钻研,在科研探索的道路上不断前行

本地新闻

43年起落记忆倒计时,去厦门高崎领绝版登机牌!

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

俄乌炸桥冲突升级 相关谈判设想被放弃

无障碍浏览 进入关怀版