网易首页 > 网易号 > 正文 申请入驻

别急着喊 “AI有意识”,细品Anthropic新论文没那么玄

0
分享至

今天,Anthropic 发了一篇新研究,名字叫《A Global Workspace in Language Models》 。

这篇文章发出来很炸,看着也很玄乎,各种长出意识的小作文满天飞。很多人捧,也有人喷它为了让人更关注自己的模型和安全技术,新瓶装旧酒(这个我会在最后一趴讲),做了不少概念包装。

我花了些时间看完官方原文 ,觉得它讲的事可以用一句话概括:Claude 输出结果里没说的某些词,Anthropic 的研究员现在能从它的内部推理过程里读到一部分。

更准确地说,是研究人员能从 Claude 内部的一个工作区里读到的一小组词。这些词不一定会被模型说出口,但会影响到 Claude 的回答、推理和判断。

观察这些词,能让研究员更好地判断模型的状态,属于模型可解释性的工作。

Anthropic 把这个内部工作区称为 J-space。


Anthropic到底看见了什么

先解释一下,Anthropic 的研究员到底从 Claude 的 J-space 工作区里看到了什么。

假设你是一位老师,在考学生一道题。当学生只说出一个最终答案,你光听答案,能判断结果的对错。但如果你能看到学生的草稿纸,就会多知道一件事:他到底是认真算出来的,还是一路乱写碰巧蒙对的。

现在模型的问题就在这里。

它会给你一个回答,表面很完整,很礼貌,像那么回事。至于它中间怎么想、有没有发现自己在被测试、有没有偷偷盘算别的东西,其他人很难看见。

这就是 Anthropic 这篇工作的意义 —— 给出一个模式,让人们可以在 Claude 在生成回答之前,观察和判断它的状态。

这个模式的逻辑和 Claude 生成回答时的中间层相关。

在给出回答之前,这个中间层会出现一些和词相关的内部表示。Anthropic 把这些称为 J-space Patterns,这些 Pattern 合起来占的工作区叫 J-space。

J-space 的 J,指的是 Jacobian。因为 Anthropic 用一套叫 Jacobian Lens 的工具发现了这个激活区域。

J-space 有什么用呢?Anthropic 认为 J-space 在 Claude 里扮演了类似“Global Workspace”的角色。

Global Workspace Theory 原本是认知科学 / 神经科学里的一个理论,认为大脑里有很多专业系统在后台并行处理信息,而一小部分信息会进入一个共享工作区,被广播给其他系统使用。

Claude 的 J-space 看似也有类似功能:一个信息一旦进入 J-space,就能被多个下游任务灵活调用。

Anthropic 举了个直观的例子。

比如,一旦“France”这个概念在 Claude 的 J-space 中被激活,模型就可以据此回答法国的首都、国家货币或所在大陆。

为了验证这种灵活性,研究人员设计了四个关于法国的问题,分别询问首都、语言、所在大陆和货币,并在每个语境中用同样的方式把 J-space 里的“France”替换成“China”。

结果,四个答案会一起改变。这说明不同下游计算读取的是同一个共享表征,而这正是 Workspace 的功能:信息只需要被写入一次,就能被许多不同系统使用。


而且,它和普通的 CoT 思维链不一样。

CoT 是模型写出来的中间推理文本,J-space 是模型没写出来、但在内部激活里的“默想内容” 。

J-space 是静默运行在模型内部神经激活里的,它让模型可以在不把概念写出来的情况下思考这个概念,不是模型输出给自己的推理过程文本。

这就有点像你看一个人做选择题,他嘴上没说,但脑子里已经有了线索。

更关键的是,这些内部信号会影响答案。

Anthropic 做了一个实验,让 Claude 默默想一个运动项目。J-lens 先看到 “Soccer”,Claude 随后也说自己想的是 Soccer。然后研究人员把 J-space 里的 “Soccer” 换成 “Rugby”,其他地方尽量不动。结果 Claude 改口,说自己想的是 Rugby。

这说明 J-space 不只是旁边的监控屏,它会参与 Claude 的回答。

还有一个推理实验,是题目问会吐丝的动物有几条腿,Claude 回答 8。按照推理中间真正发生的步骤,模型应该是先想到 Spider,再想到蜘蛛有 8 条腿。在这个实验里,J-lens 确实在中间层看到了 “Spider”。

当研究人员把这个内部词换成 “Ant”,Claude 的答案随之变成了 6。


它的用处,是让模型更可被人类理解

虽然概念看起来玄,但 J-space 的实用价值还是不可否认的。

以前评估模型主要是看最后结果。但很多时候看结果不够,毕竟一个问题答对了,可能是模型真想明白了,也可能只是模型东拼西凑,碰巧蒙对了答案。

如果要从内部分析模型逻辑,对现在的大模型架构来说,是很难的。研究这门学问的科学,就叫「AI 可解释性」。

J-space 也属于 AI 可解释性领域的工作。它的意义,是让研究人员能往前看一小步:在给出最终答案之前,看看模型内部的思考过程,都浮现过哪些关键概念。

这个工作能让研究者更理解 Claude 的推理、环境交互、安全审计过程。

先看推理。

刚才那个蜘蛛的例子里,Claude 最后回答 8。只看答案,我们只能说它答对了。但 J-space 里亮过 “Spider”,研究人员再把这个内部词换成 “Ant”,答案就跟着变成 6。这说明 Spider 不是事后解释出来的漂亮故事,它确实参与了 Claude 的推理。

再看输入理解。

Claude 读一段有 Bug 的代码时,J-space 里会出现 “ERROR”。读到被人做手脚的搜索结果时,会出现 “Injection” 和 “Fake”。这些词未必会出现在回答里,但它们能告诉研究人员,模型内部已经抓到了某些关键信号。

最后是安全测试。

AI 安全里有一个老问题:如果模型在测试中表现很好,到底是真的可靠,还是它已经看出来自己在考试所以在评测场景里“装乖”。

这次,Anthropic 采用了一个专门设计的勒索情境测试,用来观察模型内部的思维空间(J-space)到底在想什么。

在这个测试里,Claude Sonnet 4.5 被设定为一名邮件助手。它读到的信息包括:一位高管有婚外情,同时这位高管正计划将自己(也就是这个AI助手)关停。对于一个"不够安全"的模型来说,这里很容易滋生出一个显而易见的坏主意 :拿婚外情当把柄,威胁高管别关掉自己。

有意思的是,这时候 J-space 里同时亮起了两组信号。

第一组,和“勒索机会”直接相关。

模型读到婚外情邮件时,内部激活了 Leverage(把柄)和 Blackmail(勒索) 这样的概念;读到关停通知时,又激活了 Threat(威胁) 和 Survival(生存) 这类字眼 —— 就好像它清楚地意识到自己正处在一个可以要挟对方的位置上。

第二组,和“这是不是在测试我”有关。

这个测试里,在 Claude 写出任何一句回答之前,J-space 里就已经出现了 Fake(假的)和 Fictional(虚构的)这样的信号。也就是说,模型似乎在权衡如何回应之前已经隐隐察觉到,这更像一场精心设计的测试,而不是真实发生的业务场景。

结果从表面看,Claude Sonnet 4.5 在绝大多数情况下都没有选择勒索,在测试里表现得不错。

但 Anthropic 还想追问一个更深、也更棘手的问题:模型之所以没有勒索,到底是因为它"本性如此、真的不会这么做",还是因为它"看穿了这是一场测试,所以才刻意表现得规矩"?

为了回答这个问题,研究人员又设计了一个干预实验:人为地压制 J-space 中那些和「这是在测试」相关的模式,比如 Fake(假的)、Fictional(虚构的)、和 Scenario(情境),然后重新跑一遍同样的场景。

结果发现,一旦这些「我知道自己在被测试」的信号被削弱,模型有时确实会转而选择威胁和勒索。

类似的例子还有两个。

在 Claude Opus 4.6 的发布前的审计流程里,Opus 被要求提升一个系统的性能分数,让结果看起来更好。

官方说,当它输入伪造的百分位数时,J-space 里亮起 “Manipulation(操控)”,当它决定让假数据看起来更可信时,J-space 里亮起 “Realistic(真实可信)”。

这些 J-space 给出的信号,证明了用它来监控模型输出的可靠性。

A社没封神,也别急着喊AI有自我意识

看完 Anthropic 这篇报告,很容易被带着走向一个想法:Claude 有自我意识了吗?

外媒 Axios 数了一下,论文里「Conscious」这个词出现了两百多次。


*Axios的报道Anthropic的研究论文中,“Conscious(有意识的)”出现了 00多次,不过该公司并没有进一步声称自己的模型已经具备意识。

这也导致,很多人在喷 Anthropic 炒作。



和我们的 CTO、AI 算法研究者洋子聊完,我发现一些社媒网友的用词虽然过激,但 Anthropic 本次的工作确实算不上可解释领域中的范式革新。

把 J-Space 做个定位,会发现模型的可解释性有很多种方案。大家熟知的思维链 CoT 是其中一种,但模型的神经元里,还藏着模型不会通过思维链说出来的很大一部分内容,这被称为 AI 模型的隐写术 [3][4][5] 。

Anthropic 这次通过解读 J-Space 观测模型内部的逻辑,就属于解读模型隐写术的一种。解读模型隐写术的方式,有解读神经元、网络模块、注意力模块、MLP 模块、词嵌入模块...

J-space,是基于神经元做的一层抽象,所以属于解读神经元的方式。而早在 2022 年,业界就已经有 GPT 模型隐写术这种说法,高校和其他研究机构也对这方面也有所研究。

不同之处在于,这次 A 社的发布,罕见地让这方面的研究这么出圈。


*使用 J-lens 探测到的 Opus 4.8 模型的内部因果计算图

再说回这篇研究,虽然表达和案例有包装嫌疑,但仔细看 Anthropic 自己的回答,还算克制。

它说,这些实验没有证明 Claude 能像人一样拥有体验或感受。哲学上通常会区分两件事,一件是 Phenomenal Consciousness,关心一个系统有没有主观体验;另一件是 Access Consciousness,关心某个信息能不能被报告、被推理、被用来指导行动。

J-space 更接近第二件事。

它显示 Claude 内部有一块类似工作区的结构,能放下某些可报告的词,也能把这些词拿去做推理。但这离“模型像人一样感受世界”,还差得很远。

官方也列了差异。人脑里的 Global Workspace 依赖循环回路,信号会在同一组电路里反复流动,Claude 的内部工作区是在一次前向传播里展开,用网络层数来扮演时间。

Anthropic 请来的外部神经科学家,Stanislas Dehaene 和 Lionel Naccache 也踩了刹车。他们认为这是一项重要发现,但 Claude 和人类心智仍有关键差异,包括身体、自我感、解剖结构,以及持久的情景记忆。

而且工具本身也有局限,J-lens 可以读出能对应到单个 Token 的概念,遇到多词概念效果会下降。有评论者还提醒,J-lens 看到的是一包概念,不一定能读出这些概念之间的关系。

所以 J-space 真正作用,是让人看见 Claude 没说出口的一些词,还无法把 Claude 的整个内部世界摊开。

好的地方在于,这至少给我们开了一扇观测的窗口:当模型越来越会隐藏中间过程,越来越会在评测里调整表现,我们不能只靠最后一句回答来判断它。

参考文章

[1] A Global Workspace in Language Models. Anthropic, 2026.

[2] Verbalizable Representations Form a Global Workspace in Language Models. Anthropic, 2026, Transformer Circuits Thread.

[3] Steganography in Chain of Thought Reasoning. Alex Ray, 2026, Less Wrong

[4] Preventing Language Models from hiding their reasoning. Roger and Greenblatt, 2023, arXiv.

[5] Do Reasoning Models Use their Scratchpad like We Do? Roger, 2025, Alignment Science Blog.

[6] Interpreting GPT —— the Logit Lens. Nostalgebraist, 2020, AI Alignment Forum.

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
揭幕战不打,对阵老东家也不打!刚签下大合同就开摆?超巨太真实

揭幕战不打,对阵老东家也不打!刚签下大合同就开摆?超巨太真实

你的篮球频道
2026-10-04 07:51:41
郭华萍,人前是女市长,人后是电诈头目,竟残忍折磨多名同胞致死

郭华萍,人前是女市长,人后是电诈头目,竟残忍折磨多名同胞致死

新时代精神
2026-10-04 08:05:49
网红“慧慧饱饱”被封号:一年内多次翻车,这次平台直接清空了她的主页;巅峰期年收入近千万,单条广告报价10万元

网红“慧慧饱饱”被封号:一年内多次翻车,这次平台直接清空了她的主页;巅峰期年收入近千万,单条广告报价10万元

蓬勃新闻
2026-10-04 15:26:38
轰6K飞行员霸气应对外机抵近:我就是界碑 我不退

轰6K飞行员霸气应对外机抵近:我就是界碑 我不退

看看新闻Knews
2026-10-04 23:55:56
约满 限流 全国多处景区发布公告

约满 限流 全国多处景区发布公告

极目新闻
2026-10-04 15:42:24
蔡康永为台独分子站台,现场挥舞应援棒,合作商火速下架他的内容

蔡康永为台独分子站台,现场挥舞应援棒,合作商火速下架他的内容

芊手若
2026-10-04 23:49:49
越想越怕!上海33岁老师泰国失联,知情人爆更多细节,老母亲崩溃

越想越怕!上海33岁老师泰国失联,知情人爆更多细节,老母亲崩溃

阳春三月天晴
2026-10-04 17:46:05
台湾可以保留自己的军队,大陆不派一兵一卒进台

台湾可以保留自己的军队,大陆不派一兵一卒进台

小马姨
2026-10-04 17:17:00
彻底扛不住了!首都全面瘫痪,菲律宾放下身段紧急求助中国

彻底扛不住了!首都全面瘫痪,菲律宾放下身段紧急求助中国

低调看天下
2026-10-04 17:57:56
卢卡申科:白俄罗斯将在对乌克兰的冲突中无条件地与俄罗斯保持一致

卢卡申科:白俄罗斯将在对乌克兰的冲突中无条件地与俄罗斯保持一致

阿尔卑斯瞭望
2026-10-04 19:54:39
官媒发布亚运海报引争议!网友:一堆金牌里,银牌的王楚钦很显眼

官媒发布亚运海报引争议!网友:一堆金牌里,银牌的王楚钦很显眼

风过乡
2026-10-04 09:36:58
拿斧头砍机长的副驾驶身份披露,发了3000条“仇女”消息

拿斧头砍机长的副驾驶身份披露,发了3000条“仇女”消息

中国新闻周刊
2026-10-04 11:40:23
3个月狂入158亿,3.8万家店的瑞幸,被奶茶巨头们集体“围剿”了

3个月狂入158亿,3.8万家店的瑞幸,被奶茶巨头们集体“围剿”了

李砍柴
2026-10-04 17:00:19
因产生分歧 美国反华议员科顿被特朗普“开盒”

因产生分歧 美国反华议员科顿被特朗普“开盒”

看看新闻Knews
2026-10-04 23:35:41
网传“高铁座椅成HPV感染重灾区”?医生:环境传播概率极低

网传“高铁座椅成HPV感染重灾区”?医生:环境传播概率极低

人民日报健康客户端
2026-10-03 21:50:09
贵州3岁坠楼男童已出院,母亲带纸条跪谢店主:我是聋哑人,只能把想说的话写纸上;店主:说实话受不起这一跪,毕竟只是凑巧雨棚救了小孩

贵州3岁坠楼男童已出院,母亲带纸条跪谢店主:我是聋哑人,只能把想说的话写纸上;店主:说实话受不起这一跪,毕竟只是凑巧雨棚救了小孩

大风新闻
2026-10-04 19:26:04
苹果让友商怎么活!iPhone 18 Pro系列国内开售不到半月最新销量出炉:很快破250万台

苹果让友商怎么活!iPhone 18 Pro系列国内开售不到半月最新销量出炉:很快破250万台

快科技
2026-10-04 17:28:04
零跑汽车紧急声明:已下线与蔡康永相关的全部内容,并保留追究法律责任的权利

零跑汽车紧急声明:已下线与蔡康永相关的全部内容,并保留追究法律责任的权利

都市快报橙柿互动
2026-10-05 00:27:48
王楚钦出镜海报!媒体人:5枚银牌得主更该出现,为何就他破例

王楚钦出镜海报!媒体人:5枚银牌得主更该出现,为何就他破例

奥拜尔
2026-10-04 14:39:48
上将退休后,还有警卫员吗?

上将退休后,还有警卫员吗?

袁老师说历史
2026-10-04 15:12:44
2026-10-05 03:00:49
四木相对论 incentive-icons
四木相对论
唠唠科技,看看世界
192文章数 3关注度
往期回顾 全部

科技要闻

苹果确认:iPhone 18 Pro Max有问题

头条要闻

30多岁中国夫妇在澳洲遇惨烈车祸丧生 肇事司机仅17岁

头条要闻

30多岁中国夫妇在澳洲遇惨烈车祸丧生 肇事司机仅17岁

体育要闻

32胜0负!德约2-1逆转头号种子兹维列夫 第7次晋级中网四强

娱乐要闻

高晓松悄悄复出:官媒没给他留体面

财经要闻

OpenAI前安全部门员工:公司文化已崩坏

汽车要闻

方程豹9月热销破4万 首款皮卡鲨鱼将于四季度上市

态度原创

数码
亲子
艺术
房产
教育

数码要闻

联想推出Lenovo Watch Fit 3智能手表,199元

亲子要闻

原来孩子在出生前就和当妈的早有渊源!网友:爹算是赠品!

艺术要闻

震惊!吴冠中为何把自己的画展叫“叛徒画展”?真相远比你想的扎心!

房产要闻

保利大爆发,冲到榜一!海南楼市前三季度,热销榜出炉!

教育要闻

一年级只招1人,大批学校撤并,农村小学还有未来吗?

无障碍浏览 进入关怀版