网易首页 > 网易号 > 正文 申请入驻

Anthropic首次窥见AI的“大脑”内部,却发现理解它比想象中困难

0
分享至


(来源:麻省理工科技评论)

Anthropic 是目前全球估值最高的人工智能公司之一,估值接近 1 万亿美元。这家公司一向以发布一些不同寻常、甚至带点思辨色彩的研究著称。比如探索 AI 模型是否可能拥有类似痛苦的体验,又比如在系统判断用户正在滥用模型时,主动中止对话。

除此之外,Anthropic 还长期投入大量时间和资金,试图弄清楚 AI 模型究竟是如何运行的。这一研究领域被称为机械可解释性(mechanistic interpretability)。

随着大型语言模型(LLM)的能力越来越强,一个问题也愈发突出:人类造出了能写作、编程和分析复杂问题的系统,却很难说清它为什么会给出某个答案。LLM 通过海量数据训练,自行学习语言和概念之间的关联,人们往往只能看到最终结果,中间的过程依然像一个“黑箱”。

机械可解释性试图打开这个“黑箱”,从模型内部复杂的数学结构中找到影响其行为的关键机制。但一次输出背后可能涉及数百万个变量和大量计算,真正找出哪些部分发挥了作用,并不容易。

这个研究方向本身也有争议。研究人员经常借用心理学和神经科学里的概念去描述 AI 模型,像思考、记忆、推理,甚至意识。不少人担心,这类词容易让人高估这些系统的复杂程度,误以为它们拥有更接近人类的思维能力。

可问题是,人类好像也没有更好的词可用。

最近,Anthropic 宣布找到一种新方法,可以观察模型生成答案时那些藏在内部的状态。消息一出,很快引起关注。这项研究究竟意味着什么,仍需要谨慎看待。《麻省理工科技评论》资深编辑 Will Douglas Heaven 长期关注 AI 模型的运行机制,也一直在追踪可解释性研究的发展。拥有计算机科学博士学位的他认为,Anthropic 的新发现固然值得关注,但也再次提出了一个更根本的问题:当研究人员开始窥见模型内部的活动时,我们究竟看到了什么,又该如何描述它?



Anthropic 究竟发现了什么

Anthropic 研究 LLM 内部机制已经好几年了。首席执行官 Dario Amodei 曾表示,如果人类无法更深入地了解大型语言模型的运行原理,就谈不上真正控制这些系统。

今年 7 月 6 日,Anthropic 可解释性团队在公司的 Transformer Circuits 研究平台发布论文 Verbalizable Representations Form a Global Workspace in Language Models(《语言模型中的可语言化表征形成全局工作空间》),同时公开了研究说明和代码。

为了观察模型内部究竟发生了什么,研究人员开发了一套名为 Jacobian lens、简称 J-lens 的新工具。借助它,他们在 Claude 的内部活动中识别出一组此前未被观察到的特殊表征,并将其所在的空间称为 J-space。


图|J-space 示意图(来源:Anthropic)

按照论文的估算,J-space 的规模并不大,占模型整体内部活动的比例不到十分之一,主要在网络的中间层发挥作用。研究人员发现,这里会出现一些不会直接进入最终输出的词语,但它们似乎与模型分析问题、组织答案的过程有关。在 J-lens 出现之前,这部分信息一直隐藏在模型内部。

不过,看到这些信息,并不能证明模型真的在使用它们。为了验证 J-space 的作用,研究人员进一步人为抑制了其中的内容。Claude 依然能够流畅地生成语言,也能完成大量常规的信息处理;但一旦遇到需要复杂内部推理的任务,表现就会明显下降。


图|J-space 概念表征与干预实验结果(来源:Anthropic)

也就是说,J-space 中的信息很可能真正参与了模型的推理,而非计算过程中偶然留下的痕迹。Anthropic 还发现,在一定条件下,语言模型能够描述并操控这些内部表示。模型在完成某些任务时,确实会利用 J-space 中的信息。

真正难以回答的问题,也由此出现。研究人员似乎已经能够看到模型内部的一部分活动,却还很难准确描述这些活动究竟意味着什么。Claude 是在“思考”吗?J-space 中出现的词语,能否被称为模型的“念头”?目前,人类还缺少一套足够准确的语言来回答这些问题。



我们甚至不知道该怎么描述 LLM

大型语言模型本身并不神秘,其本质是一套靠数学方法学会词语和概念之间关系的系统。只是当模型的规模不断扩大,它内部的计算也变得越来越难以追踪。如今的大型语言模型通常由数千亿个数字构成,运行一次就会触发数百万甚至数千万次计算。曾有研究者形容,把一个中等规模的 LLM 完整打印出来,纸张能铺满一座旧金山那样规模的城市。

面对如此庞大的结构,人类没法一条条翻阅模型内部的计算过程去找规律,只能靠专门的工具,在特定时间点观察模型内部特定区域的变化。可这些工具本身,又要求研究人员先对模型内部的数学结构有足够深入的了解。研究者因此常常卡在一个死循环里:要有工具才能看清模型内部在发生什么,可要设计出合适的工具,又得先弄懂模型是怎么回事。

Will Douglas Heaven 不喜欢把 LLM 说成大脑。“大型语言模型不是大脑,”他说。这种说法容易让人误会,以为 AI 拥有更接近人类的能力,也容易让人顺着这种类比,对模型未来的行为做出没什么依据的推测。

AI 的拟人化倾向,一直伴随着围绕这项技术的种种争论。人们怎么描述 AI,往往也反映出他们怎么理解这项技术,以及觉得 AI 最终能走到哪一步。模型说错话被叫作幻觉,完成复杂任务被叫作推理,能持续保存的信息被叫作记忆。这些词原本是用来描述人的认知和行为的,如今成了讨论 AI 时最常用的词汇。它们让复杂的技术过程变得好懂,但也很容易让人联想到人类的心智活动。

不过,问题在于,人类目前确实拿不出一套更准确的词汇。所以思考、理解这类说法虽然不够严谨,但讨论复杂 AI 系统的时候却很难完全避开。

Anthropic 在这篇论文里,借用了认知科学里的一套理论框架。这套理论认为,人脑处理的信息里,绝大部分都是自动运行、没法被表达出来的,只有很小一部分能进入意识、被用来推理和支配行为,这在认知科学里叫可通达意识(access consciousness),跟更难验证的主观感受不是一回事。


图|Global Workspace 五项功能测试(来源:Anthropic)

Anthropic 发现,J-space 在功能上有点像这套理论描述的结构:模型内部绝大多数计算都读不出来,但 J-space 里那一小部分信息可以用语言表达,而且看起来确实参与了推理、影响了行为。

研究人员借用这套理论,不是为了证明 Claude 有类似人类的大脑或意识。认知科学关于全局工作空间的研究提出过一系列可以检验的功能特征,Anthropic 团队照着这些特征,对 J-space 提出了具体预测,再逐项做实验验证,其中一部分预测确实得到了印证。这套来自认知科学的概念,在这里更像一件工具。人类还没发展出专门描述大型语言模型的语言,但已有的理论至少能帮研究人员提问题、设计实验。

这种借用也划了明确的边界。Anthropic 强调,J-space 和这套理论之间的对照只停留在功能层面,并不能证明语言模型拥有和人类相同的意识或大脑结构,也没有证明 Claude 存在主观体验。



J-space 能解决什么问题

关于思考和意识的讨论很容易吸引眼球,但 J-space 更现实的价值,可能是在 AI 安全的领域。

Anthropic 认为,监测 J-space 未来有可能成为发现模型异常行为的一种手段。J-space 里藏着一些不会直接反映在输出里的信息,这些信号或许能帮研究人员提前发现问题。例如模型正在形成带偏见的回答,或者在权衡要不要作弊。

目前,判断一个模型有没有问题,很大程度上还是靠看它最终输出的结果。可如果一个模型能藏住自己的意图,或者只在特定条件下才露出异常,光看最终结果未必能发现问题。J-space 提供了另一个观察角度:研究人员或许能在模型真正采取行动之前,就找到和这个行动相关的内部信号。

不过,仅凭 J-space 中出现的词语,还不能判断模型接下来会做什么。panic 出现,不能证明 Claude 真的产生了恐慌。J-lens 目前只能捕捉模型内部的一部分信息。但如果未来的研究能够证明,某些内部信号总是与特定行为同时出现,研究人员或许就能利用这些信号,更早发现模型正在偏离预期。

这个思路已经有了一次初步尝试:研究人员训练 Claude 在对话被打断时,主动说清楚自己遵循的伦理原则,结果发现,即便没有专门针对正常对话做训练,模型在不被打断时的行为也跟着有所改善。这让研究人员觉得,J-space 除了为人们提供观察内部信息的渠道,也许还可以通过影响这些信息,去调整模型在其他场景下的表现。

研究公布后,也出现了一些谨慎的声音。论文发布当天,Gizmodo 记者 Mike Pearl 就撰文提醒读者,不要对这类发现做过度解读。Anthropic 自己在论文里也承认,J-lens 并不是一件完美的工具,它看到的结果依赖具体的实验设计,目前还谈不上是对模型内部运作的完整解释。

即便 J-space 最终被证明具有普遍意义,它也很可能只是模型内部众多机制中的一部分。找到一个可以观察模型的窗口,并不意味着已经理解了整个系统。J-space 确实为研究人员提供了一条接近模型内部机制的新路径,但目前能够看到的仍只是其中有限的一部分。至于这些内部活动背后究竟对应怎样的计算过程,人类甚至还没有一套准确的语言来描述。

https://www.technologyreview.com/2026/07/13/1140343/what-anthropics-latest-ai-discovery-does-and-doesnt-show/

https://www.technologyreview.com/2026/07/09/1140293/anthropic-found-a-hidden-space-where-claude-puzzles-over-concepts/

https://www.anthropic.com/research/global-workspace

https://transformer-circuits.pub/2026/workspace/

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
同曦副董谈赵柏清:南京球员要有民族大义,去日本会给小日本看笑话

同曦副董谈赵柏清:南京球员要有民族大义,去日本会给小日本看笑话

懂球帝
2026-07-14 16:03:22
浙大校花撞脸赫本!24岁混血颜值封神,172cm90斤魔鬼身材,被叫“娱乐圈的天花板”

浙大校花撞脸赫本!24岁混血颜值封神,172cm90斤魔鬼身材,被叫“娱乐圈的天花板”

营销报
2026-07-14 13:16:14
国务院批复60万亿消费规划,必须让居民消费底气更足

国务院批复60万亿消费规划,必须让居民消费底气更足

混沌录
2026-07-15 01:00:10
一小时内111枚导弹砸向美军航母!特朗普秒怂喊停:咱不打持久战

一小时内111枚导弹砸向美军航母!特朗普秒怂喊停:咱不打持久战

林子说事
2026-07-11 07:58:52
赖清德天塌了,台湾一代表团紧急来到大陆,高市早苗后悔已经晚了

赖清德天塌了,台湾一代表团紧急来到大陆,高市早苗后悔已经晚了

走进事件的中心
2026-07-15 00:43:12
CBA最新消息:功勋教头空降广东?庞峥麟上位,北京吃“回头草”

CBA最新消息:功勋教头空降广东?庞峥麟上位,北京吃“回头草”

林子说事
2026-07-14 19:01:56
赵本山女儿球球想让父亲直播带货遭拒:你以为我不想啊,谁都知道能爆单,他不愿意……

赵本山女儿球球想让父亲直播带货遭拒:你以为我不想啊,谁都知道能爆单,他不愿意……

都市快报橙柿互动
2026-07-14 22:06:30
CBA新疆男篮新主帅确定,山西天津完成球员选秀签交易

CBA新疆男篮新主帅确定,山西天津完成球员选秀签交易

小齐艰难度日
2026-07-15 02:04:59
“谁把我车祸掉的鞋捡走了?”青岛女生交通事故后发帖寻鞋 阿迪达斯意外回应

“谁把我车祸掉的鞋捡走了?”青岛女生交通事故后发帖寻鞋 阿迪达斯意外回应

扬子晚报
2026-07-14 12:18:59
复仇开始!伊朗下达全球必杀令,特朗普被锁定,换飞机连夜回国

复仇开始!伊朗下达全球必杀令,特朗普被锁定,换飞机连夜回国

近史谈
2026-07-15 00:46:02
荆州一网友收到相机后仅退款1.4万元,洛阳商家开车讨说法!

荆州一网友收到相机后仅退款1.4万元,洛阳商家开车讨说法!

更荆州
2026-07-13 22:29:42
以色列人发现上当了,伊朗通过战争,实现了三个不可能实现的目标

以色列人发现上当了,伊朗通过战争,实现了三个不可能实现的目标

农夫史记
2026-07-07 20:58:24
发现中国有一个奇怪社会现象:父母不在人世间了, 什么舅舅姑姑表兄弟, 还有一些八竿子打不着的亲属, 基本上就形同陌路,不再相互往来

发现中国有一个奇怪社会现象:父母不在人世间了, 什么舅舅姑姑表兄弟, 还有一些八竿子打不着的亲属, 基本上就形同陌路,不再相互往来

背包旅行
2026-07-13 15:12:59
贾静雯孙志浩为女毕业典礼破冰,离婚夫妻真能友好?

贾静雯孙志浩为女毕业典礼破冰,离婚夫妻真能友好?

小椰的奶奶
2026-07-14 14:34:11
为了不再“忍一辈子”,她们让医生拿尺子量了319个人的外阴

为了不再“忍一辈子”,她们让医生拿尺子量了319个人的外阴

樱桃小丸子1987
2026-07-09 14:21:48
IBM盘前跌幅扩大至20%

IBM盘前跌幅扩大至20%

每日经济新闻
2026-07-14 19:45:06
伊朗为何不攻以色列却猛打中东美军基地

伊朗为何不攻以色列却猛打中东美军基地

风铃草语
2026-07-14 06:40:55
周星驰《女足》:比票房涨到30亿更让人解气的是,前脚被新京报炮轰,后脚就得央视猛夸了

周星驰《女足》:比票房涨到30亿更让人解气的是,前脚被新京报炮轰,后脚就得央视猛夸了

娱乐故事
2026-07-14 14:17:36
台风“巴威”停止编号

台风“巴威”停止编号

界面新闻
2026-07-14 21:08:07
正式官宣!前国安主帅下课,5轮不胜被炒,去年率队夺足协杯冠军

正式官宣!前国安主帅下课,5轮不胜被炒,去年率队夺足协杯冠军

体坛鉴春秋
2026-07-14 21:04:14
2026-07-15 02:52:49
DeepTech深科技 incentive-icons
DeepTech深科技
麻省理工科技评论独家合作
16961文章数 515109关注度
往期回顾 全部

科技要闻

AI失业风险正在逼近 "我们连未来都看不清"

头条要闻

168万拍"乾隆梅瓶"仅值250元 受害人:一共卖了我5个亿

头条要闻

168万拍"乾隆梅瓶"仅值250元 受害人:一共卖了我5个亿

体育要闻

“爱哭鬼”教练,凝聚了一盘散沙的阿根廷

娱乐要闻

施南生离世,成龙、甄子丹等发文悼念

财经要闻

为什么说智谱是中国版Anthropic是伪命题

汽车要闻

激光雷达+智舱 看吉利星瑞L PLUS如何让燃油车也更智能

态度原创

艺术
教育
旅游
时尚
健康

艺术要闻

阳光的囚徒:芭芭拉·贾斯基维奇,那个用画笔拒绝悲伤的波兰女人

教育要闻

高考地理中的厄尔尼诺

旅游要闻

城里难寻的农耕老风景,水碓村一溪流水,留住中国人千年乡土根脉

张钧甯:择心而往

高血压为何会导致中风高发?

无障碍浏览 进入关怀版