网易首页 > 网易号 > 正文 申请入驻

别急着喊 “AI有意识”,细品Anthropic新论文没那么玄

0
分享至

今天,Anthropic 发了一篇新研究,名字叫《A Global Workspace in Language Models》 。

这篇文章发出来很炸,看着也很玄乎,各种长出意识的小作文满天飞。很多人捧,也有人喷它为了让人更关注自己的模型和安全技术,新瓶装旧酒(这个我会在最后一趴讲),做了不少概念包装。

我花了些时间看完官方原文 ,觉得它讲的事可以用一句话概括:Claude 输出结果里没说的某些词,Anthropic 的研究员现在能从它的内部推理过程里读到一部分。

更准确地说,是研究人员能从 Claude 内部的一个工作区里读到的一小组词。这些词不一定会被模型说出口,但会影响到 Claude 的回答、推理和判断。

观察这些词,能让研究员更好地判断模型的状态,属于模型可解释性的工作。

Anthropic 把这个内部工作区称为 J-space。


Anthropic到底看见了什么

先解释一下,Anthropic 的研究员到底从 Claude 的 J-space 工作区里看到了什么。

假设你是一位老师,在考学生一道题。当学生只说出一个最终答案,你光听答案,能判断结果的对错。但如果你能看到学生的草稿纸,就会多知道一件事:他到底是认真算出来的,还是一路乱写碰巧蒙对的。

现在模型的问题就在这里。

它会给你一个回答,表面很完整,很礼貌,像那么回事。至于它中间怎么想、有没有发现自己在被测试、有没有偷偷盘算别的东西,其他人很难看见。

这就是 Anthropic 这篇工作的意义 —— 给出一个模式,让人们可以在 Claude 在生成回答之前,观察和判断它的状态。

这个模式的逻辑和 Claude 生成回答时的中间层相关。

在给出回答之前,这个中间层会出现一些和词相关的内部表示。Anthropic 把这些称为 J-space Patterns,这些 Pattern 合起来占的工作区叫 J-space。

J-space 的 J,指的是 Jacobian。因为 Anthropic 用一套叫 Jacobian Lens 的工具发现了这个激活区域。

J-space 有什么用呢?Anthropic 认为 J-space 在 Claude 里扮演了类似“Global Workspace”的角色。

Global Workspace Theory 原本是认知科学 / 神经科学里的一个理论,认为大脑里有很多专业系统在后台并行处理信息,而一小部分信息会进入一个共享工作区,被广播给其他系统使用。

Claude 的 J-space 看似也有类似功能:一个信息一旦进入 J-space,就能被多个下游任务灵活调用。

Anthropic 举了个直观的例子。

比如,一旦“France”这个概念在 Claude 的 J-space 中被激活,模型就可以据此回答法国的首都、国家货币或所在大陆。

为了验证这种灵活性,研究人员设计了四个关于法国的问题,分别询问首都、语言、所在大陆和货币,并在每个语境中用同样的方式把 J-space 里的“France”替换成“China”。

结果,四个答案会一起改变。这说明不同下游计算读取的是同一个共享表征,而这正是 Workspace 的功能:信息只需要被写入一次,就能被许多不同系统使用。


而且,它和普通的 CoT 思维链不一样。

CoT 是模型写出来的中间推理文本,J-space 是模型没写出来、但在内部激活里的“默想内容” 。

J-space 是静默运行在模型内部神经激活里的,它让模型可以在不把概念写出来的情况下思考这个概念,不是模型输出给自己的推理过程文本。

这就有点像你看一个人做选择题,他嘴上没说,但脑子里已经有了线索。

更关键的是,这些内部信号会影响答案。

Anthropic 做了一个实验,让 Claude 默默想一个运动项目。J-lens 先看到 “Soccer”,Claude 随后也说自己想的是 Soccer。然后研究人员把 J-space 里的 “Soccer” 换成 “Rugby”,其他地方尽量不动。结果 Claude 改口,说自己想的是 Rugby。

这说明 J-space 不只是旁边的监控屏,它会参与 Claude 的回答。

还有一个推理实验,是题目问会吐丝的动物有几条腿,Claude 回答 8。按照推理中间真正发生的步骤,模型应该是先想到 Spider,再想到蜘蛛有 8 条腿。在这个实验里,J-lens 确实在中间层看到了 “Spider”。

当研究人员把这个内部词换成 “Ant”,Claude 的答案随之变成了 6。


它的用处,是让模型更可被人类理解

虽然概念看起来玄,但 J-space 的实用价值还是不可否认的。

以前评估模型主要是看最后结果。但很多时候看结果不够,毕竟一个问题答对了,可能是模型真想明白了,也可能只是模型东拼西凑,碰巧蒙对了答案。

如果要从内部分析模型逻辑,对现在的大模型架构来说,是很难的。研究这门学问的科学,就叫「AI 可解释性」。

J-space 也属于 AI 可解释性领域的工作。它的意义,是让研究人员能往前看一小步:在给出最终答案之前,看看模型内部的思考过程,都浮现过哪些关键概念。

这个工作能让研究者更理解 Claude 的推理、环境交互、安全审计过程。

先看推理。

刚才那个蜘蛛的例子里,Claude 最后回答 8。只看答案,我们只能说它答对了。但 J-space 里亮过 “Spider”,研究人员再把这个内部词换成 “Ant”,答案就跟着变成 6。这说明 Spider 不是事后解释出来的漂亮故事,它确实参与了 Claude 的推理。

再看输入理解。

Claude 读一段有 Bug 的代码时,J-space 里会出现 “ERROR”。读到被人做手脚的搜索结果时,会出现 “Injection” 和 “Fake”。这些词未必会出现在回答里,但它们能告诉研究人员,模型内部已经抓到了某些关键信号。

最后是安全测试。

AI 安全里有一个老问题:如果模型在测试中表现很好,到底是真的可靠,还是它已经看出来自己在考试所以在评测场景里“装乖”。

这次,Anthropic 采用了一个专门设计的勒索情境测试,用来观察模型内部的思维空间(J-space)到底在想什么。

在这个测试里,Claude Sonnet 4.5 被设定为一名邮件助手。它读到的信息包括:一位高管有婚外情,同时这位高管正计划将自己(也就是这个AI助手)关停。对于一个"不够安全"的模型来说,这里很容易滋生出一个显而易见的坏主意 :拿婚外情当把柄,威胁高管别关掉自己。

有意思的是,这时候 J-space 里同时亮起了两组信号。

第一组,和“勒索机会”直接相关。

模型读到婚外情邮件时,内部激活了 Leverage(把柄)和 Blackmail(勒索) 这样的概念;读到关停通知时,又激活了 Threat(威胁) 和 Survival(生存) 这类字眼 —— 就好像它清楚地意识到自己正处在一个可以要挟对方的位置上。

第二组,和“这是不是在测试我”有关。

这个测试里,在 Claude 写出任何一句回答之前,J-space 里就已经出现了 Fake(假的)和 Fictional(虚构的)这样的信号。也就是说,模型似乎在权衡如何回应之前已经隐隐察觉到,这更像一场精心设计的测试,而不是真实发生的业务场景。

结果从表面看,Claude Sonnet 4.5 在绝大多数情况下都没有选择勒索,在测试里表现得不错。

但 Anthropic 还想追问一个更深、也更棘手的问题:模型之所以没有勒索,到底是因为它"本性如此、真的不会这么做",还是因为它"看穿了这是一场测试,所以才刻意表现得规矩"?

为了回答这个问题,研究人员又设计了一个干预实验:人为地压制 J-space 中那些和「这是在测试」相关的模式,比如 Fake(假的)、Fictional(虚构的)、和 Scenario(情境),然后重新跑一遍同样的场景。

结果发现,一旦这些「我知道自己在被测试」的信号被削弱,模型有时确实会转而选择威胁和勒索。

类似的例子还有两个。

在 Claude Opus 4.6 的发布前的审计流程里,Opus 被要求提升一个系统的性能分数,让结果看起来更好。

官方说,当它输入伪造的百分位数时,J-space 里亮起 “Manipulation(操控)”,当它决定让假数据看起来更可信时,J-space 里亮起 “Realistic(真实可信)”。

这些 J-space 给出的信号,证明了用它来监控模型输出的可靠性。

A社没封神,也别急着喊AI有自我意识

看完 Anthropic 这篇报告,很容易被带着走向一个想法:Claude 有自我意识了吗?

外媒 Axios 数了一下,论文里「Conscious」这个词出现了两百多次。


*Axios的报道Anthropic的研究论文中,“Conscious(有意识的)”出现了 00多次,不过该公司并没有进一步声称自己的模型已经具备意识。

这也导致,很多人在喷 Anthropic 炒作。



和我们的 CTO、AI 算法研究者洋子聊完,我发现一些社媒网友的用词虽然过激,但 Anthropic 本次的工作确实算不上可解释领域中的范式革新。

把 J-Space 做个定位,会发现模型的可解释性有很多种方案。大家熟知的思维链 CoT 是其中一种,但模型的神经元里,还藏着模型不会通过思维链说出来的很大一部分内容,这被称为 AI 模型的隐写术 [3][4][5] 。

Anthropic 这次通过解读 J-Space 观测模型内部的逻辑,就属于解读模型隐写术的一种。解读模型隐写术的方式,有解读神经元、网络模块、注意力模块、MLP 模块、词嵌入模块...

J-space,是基于神经元做的一层抽象,所以属于解读神经元的方式。而早在 2022 年,业界就已经有 GPT 模型隐写术这种说法,高校和其他研究机构也对这方面也有所研究。

不同之处在于,这次 A 社的发布,罕见地让这方面的研究这么出圈。


*使用 J-lens 探测到的 Opus 4.8 模型的内部因果计算图

再说回这篇研究,虽然表达和案例有包装嫌疑,但仔细看 Anthropic 自己的回答,还算克制。

它说,这些实验没有证明 Claude 能像人一样拥有体验或感受。哲学上通常会区分两件事,一件是 Phenomenal Consciousness,关心一个系统有没有主观体验;另一件是 Access Consciousness,关心某个信息能不能被报告、被推理、被用来指导行动。

J-space 更接近第二件事。

它显示 Claude 内部有一块类似工作区的结构,能放下某些可报告的词,也能把这些词拿去做推理。但这离“模型像人一样感受世界”,还差得很远。

官方也列了差异。人脑里的 Global Workspace 依赖循环回路,信号会在同一组电路里反复流动,Claude 的内部工作区是在一次前向传播里展开,用网络层数来扮演时间。

Anthropic 请来的外部神经科学家,Stanislas Dehaene 和 Lionel Naccache 也踩了刹车。他们认为这是一项重要发现,但 Claude 和人类心智仍有关键差异,包括身体、自我感、解剖结构,以及持久的情景记忆。

而且工具本身也有局限,J-lens 可以读出能对应到单个 Token 的概念,遇到多词概念效果会下降。有评论者还提醒,J-lens 看到的是一包概念,不一定能读出这些概念之间的关系。

所以 J-space 真正作用,是让人看见 Claude 没说出口的一些词,还无法把 Claude 的整个内部世界摊开。

好的地方在于,这至少给我们开了一扇观测的窗口:当模型越来越会隐藏中间过程,越来越会在评测里调整表现,我们不能只靠最后一句回答来判断它。

参考文章

[1] A Global Workspace in Language Models. Anthropic, 2026.

[2] Verbalizable Representations Form a Global Workspace in Language Models. Anthropic, 2026, Transformer Circuits Thread.

[3] Steganography in Chain of Thought Reasoning. Alex Ray, 2026, Less Wrong

[4] Preventing Language Models from hiding their reasoning. Roger and Greenblatt, 2023, arXiv.

[5] Do Reasoning Models Use their Scratchpad like We Do? Roger, 2025, Alignment Science Blog.

[6] Interpreting GPT —— the Logit Lens. Nostalgebraist, 2020, AI Alignment Forum.

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
朝鲜为何不惧美国,手握四个世界第一,至今无国能够打破!

朝鲜为何不惧美国,手握四个世界第一,至今无国能够打破!

起喜电影
2026-07-07 10:13:50
埃及足协向国际足联提出申诉,指责裁判导致其世界杯出局

埃及足协向国际足联提出申诉,指责裁判导致其世界杯出局

红星新闻
2026-07-08 10:51:23
防御台风“巴威”,江苏已派出6个督查指导组赴苏州、南通、连云港、盐城、无锡、常州、扬州、泰州8市

防御台风“巴威”,江苏已派出6个督查指导组赴苏州、南通、连云港、盐城、无锡、常州、扬州、泰州8市

扬子晚报
2026-07-08 10:27:26
阿根廷冲冠又迎利好!25岁1.4亿王牌复活:梅西绝配一战破荒

阿根廷冲冠又迎利好!25岁1.4亿王牌复活:梅西绝配一战破荒

李喜林篮球绝杀
2026-07-08 10:27:32
美军时隔10天对伊朗发动强力打击,规模和强度是上次的四五倍,目标包括伊朗防空系统、地对空导弹等,美国还撤销了对伊朗石油销售等的授权

美军时隔10天对伊朗发动强力打击,规模和强度是上次的四五倍,目标包括伊朗防空系统、地对空导弹等,美国还撤销了对伊朗石油销售等的授权

政知新媒体
2026-07-08 07:48:43
六蓝水库溃坝并非个例,老坝+极端天气是全世界的难题!

六蓝水库溃坝并非个例,老坝+极端天气是全世界的难题!

闫老大
2026-07-08 11:04:57
眼红啊!一外企裁撤办事处,给出2N+8补偿,有人已拿到100万以上

眼红啊!一外企裁撤办事处,给出2N+8补偿,有人已拿到100万以上

火山詩话
2026-07-07 15:34:31
巴西队世界杯出局后包机回国,仅达尼洛一人乘机,其余人各自出行

巴西队世界杯出局后包机回国,仅达尼洛一人乘机,其余人各自出行

红星新闻
2026-07-08 10:08:21
广西水患,还能不能写?

广西水患,还能不能写?

胖胖说他不胖
2026-07-08 10:00:28
埃及头号球星萨拉赫赛后保持克制,未跟风批评裁判:我不想过多评论,大家都亲眼见证了全过程

埃及头号球星萨拉赫赛后保持克制,未跟风批评裁判:我不想过多评论,大家都亲眼见证了全过程

红星新闻
2026-07-08 10:08:21
赖清德埋的雷爆了,2个方向危险,岛内富翁转移财产,祖国必统一

赖清德埋的雷爆了,2个方向危险,岛内富翁转移财产,祖国必统一

闻识
2026-07-07 12:35:29
强制企业按实发工资缴社保,最终是员工承担了所有。

强制企业按实发工资缴社保,最终是员工承担了所有。

HR蔷薇
2026-07-08 09:20:36
不知道欧洲媒体报道没报道广西湖北甘肃呢?

不知道欧洲媒体报道没报道广西湖北甘肃呢?

吴女士
2026-07-08 11:48:54
葬礼还没完,美军又开打!这次与以往有三大不同,伊朗内部不同调

葬礼还没完,美军又开打!这次与以往有三大不同,伊朗内部不同调

闻识
2026-07-08 09:59:40
人被卷起,家被吹空:龙卷风横扫黄冈的20分钟

人被卷起,家被吹空:龙卷风横扫黄冈的20分钟

新京报
2026-07-08 13:16:24
摩洛哥足协主席:尊重亚马尔的选择,他在摩洛哥永远受欢迎

摩洛哥足协主席:尊重亚马尔的选择,他在摩洛哥永远受欢迎

懂球帝
2026-07-07 19:25:38
A股午评:创业板指半日涨近1%,VPN、贵金属、计算机等概念走强

A股午评:创业板指半日涨近1%,VPN、贵金属、计算机等概念走强

界面新闻
2026-07-08 11:34:07
一场全网牵挂的接力:广西多地历史罕见洪水中的救援转移片段

一场全网牵挂的接力:广西多地历史罕见洪水中的救援转移片段

南方都市报
2026-07-08 14:02:15
触目惊心!洪水冲走后被淹死的牛铺满,缰绳牢牢拴在牛头,引争议

触目惊心!洪水冲走后被淹死的牛铺满,缰绳牢牢拴在牛头,引争议

火山詩话
2026-07-08 06:05:13
暴雨大暴雨,台风巴威重回17级以上:登陆点调整,海神要生成了?

暴雨大暴雨,台风巴威重回17级以上:登陆点调整,海神要生成了?

环球科学猫
2026-07-08 11:50:28
2026-07-08 15:35:00
四木相对论 incentive-icons
四木相对论
唠唠科技,看看世界
158文章数 3关注度
往期回顾 全部

科技要闻

工信部:Claude Code安全后门隐患

头条要闻

埃及向国际足联提出申诉 要求将主裁判逐出本届世界杯

头条要闻

埃及向国际足联提出申诉 要求将主裁判逐出本届世界杯

体育要闻

阿根廷被埃及埋了一半,死里逃生

娱乐要闻

黄子佼逍遥法外,暗网黑产仍在上新

财经要闻

科技新贵们,买爆深圳豪宅

汽车要闻

定名岚图梦想家9!岚图全新旗舰MPV来袭

态度原创

教育
旅游
游戏
家居
时尚

教育要闻

一年级找规律填数字,家长:辅导不了了

旅游要闻

到宝藏小城夏津,赴一场赏荷之约

MSI:打败TES的被零封,滔搏的底线在哪里?LYON零封TSW

家居要闻

2026建博会(广州) 公装联探展交流活动

小黑裙,让人从夏美到秋!

无障碍浏览 进入关怀版