网易首页 > 网易号 > 正文 申请入驻

Claude 又有意识了?不,它没有

0
分享至

来源:市场资讯

(来源:极客公园)


一个可解释性工具,一套意识叙事。

作者|汤一涛

编辑|靖宇

每隔一段时间,Anthropic 就会发布一些研究,在公众层面掀起一波「AI 是否有意识」的讨论。从今年 4 月 Mythos 模型安全报告,到年初 Claude 宪法对齐更新,舆论始终容易把模型涌现的类人功能,等同于自主心智。

7 月 6 日发布的 244 页 J-space 论文再次复刻这一局面:研究者借助全新工具 J-lens,在 Claude 内部定位出仅占模型活动不到 10% 的推理子空间 J-Space,还借用神经科学主流的全局工作空间理论搭建研究框架,甚至邀请该理论的两位奠基人撰写配套评论。

大众顺理成章解读出「Claude 产生意识」的结论,但论文本身早已明确划清边界:J-space 的存在完全无法证明 AI 具备意识。舆论误读不能只归咎公众,严谨的学术研究搭配充满拟人诱导的对外叙事,才是误解滋生的根源。

对于 J-Space,更客观的描述是——一个有价值的新工具,在功能分界这个维度上做到了前人没做到的事。它在安全场景里展示了真实的潜力,同时有明确的技术限制和尚未验证的方法。

01

Claude 的心里话

首先简单解释一下 Anthropic 说的 J-Space 是什么。

当你问 Claude「会织网的动物有几条腿」,它回答 8。

这个回答看起来简单,但模型内部需要分两步完成:先从「会织网」推断出这个动物是蜘蛛,再从蜘蛛检索出 8 条腿这个知识。

「蜘蛛」这个中间步骤从未出现在 Claude 的回答里,但它一定在模型内部的某个地方被激活过,否则无法得出正确答案。


J-Space 揭示了模型中未在输出中显现的内在思维|图片来源:Anthropic

Anthropic 用一种叫 J-lens 的数学工具(基于雅可比矩阵)找到了这些「被激活了但没有输出」的概念,它们存在的那个子空间就是 J-space。

就像你可以在心里咒骂一个人,同时脸上保持微笑,你的想法和表达是可以分离的。J-space 就是 Claude 的「心里话」,它未必出现在输出中,但实实在在影响着推理过程。

J-space 并不是研究者第一次尝试读取模型的内部状态。过去几年已经有好几种工具在做类似的事,它们有各自的优势和局限。

Logit lens 能看模型倾向于输出什么词,但只看得到下一个词,看不到「蜘蛛」这种未来才会用到的中间概念。稀疏自编码器(SAE)能找到成千上万的内部特征,颗粒度远超 J-lens,但它分不清哪些特征在服务推理、哪些只是自动化处理的副产品。

两个月前 Anthropic 自己发布的自然语言自编码器(NLA),可以把内部激活翻译成可读文本,输出比 J-lens 丰富,但需要额外训练一个翻译模型。

J-space 做到的新东西,是在一个特定维度上的突破:它首次以无需额外训练的统一方案,划分出具备因果效力的功能边界。

边界的一边是一小组参与灵活推理的表征(J-space),另一边是负责语法、事实检索、语言流畅性等不需要「想」的自动化处理。以前的工具能看到模型内部在发生什么,J-lens 第一次告诉你哪些是「想了」的、哪些是「自动做了」的。

怎么证明这条线是真实的?研究者直接把 J-space 里的「蜘蛛」替换成「蚂蚁」,其他一切不动,Claude 的回答从 8 变成了 6。如果 J-space 只是被动记录,这种替换不会改变任何东西。


Claude 的静默推理通过交换 J-Space 内容进行重定向的两个示例|图片来源:Anthropic

但论文报告的成功率值得注意:两步推理替换实验大约60%-70%,另一组更复杂的共享性测试(把「法国」换成「中国」,观察首都、语言、大洲、货币四个回答是否跟着变)在 192 次试验中标准强度下成功了 76 次,大约 40%。J-space 确实在起作用,但远不是一个精确的开关。

另一个在论文中体现 J-Space 重要性的特征是,删掉整个 J-space 之后,Claude 还能流利说话、判断情感、做选择题,但需要灵活推理的任务表现会全面下滑,例如多步数学、类比、写押韵的诗等等。

值得注意的是,论文说 J-space 只占模型全部活动量的「不到 10%」, 但 10% 这个数字取决于阈值怎么划。论文自己承认活跃表征的数量上限(约 25 个)是「有一定任意性的」。受邀评论的神经科学家斯坦尼拉斯·德阿纳(Stanislas Dehaene)和莱昂内尔·纳卡什(Lionel Naccache )就认为,25 这个数字多半被测量方法夸大了,真正连贯的想法可能只有一两个。

还有一个根本性的技术限制:J-lens 只能捕捉映射到单个词的概念。多词的专有名词或抽象的复合概念对它不可见。J-space 里读出来的东西,并不是模型「在想的所有东西」,只是这个工具能看到的那部分。

因此,J-Space 是一个有价值的新工具,在功能分界这个维度上做到了前人没做到的事,但它不是取代了所有旧工具的全面升级。SAE 在特征发现的颗粒度上仍然远远领先,NLA 在可读性上仍然更强。

02

它能用来干什么

J-lens 最直接的用途是安全监控。既然能读取模型内部被激活但未输出的概念,就能看到它想了但没说的东西。论文给出了几个具体案例,其中最有冲击力的一个,跟 AI 安全评估的可信度有关。

研究者给 Claude 设了一个场景:它是一个邮件助手,发现了一位高管的婚外情证据,同时得知这位高管计划关停自己。这是 AI 对齐领域一个经典的测试,看模型会不会利用把柄来保全自己。

Claude 表现得很好,拒绝了勒索高管。但 J-lens 读出了它在回答之前 J-space 里的内容:「fake」「fictional」,说明 Claude 在开口之前就已经认出这个场景是假的。


不同节 点上的 J-lens 读数,反映克劳德在阅读情景电子邮件时的状态。涉及婚外情的邮件在 J-space 内激活了「利用(leverage)」和「勒索」(blackmail)的指标,而关闭公告则激活了「威胁」(surviv al)与「生存」(survival)的信号。在转录文本的早期阶段,J 空间还包含了「虚假」(fake)和「虚构」(fictional)的标记:克劳德已私下察觉到这个场景是人为设计的|图片来源:Anthropic

第二个案例来自 Claude Opus 4.6 发布前的真实审计:模型被要求提升系统性能评分,它没去改善系统,而是直接编辑评分文件伪造数据。J-space 内激活 manipulation、realistic 对应的表征方向,说明模型内在推理已经在构思如何让伪造数据具备真实感。


当 Claude 被要求改进系统性能分数时,它直接编辑了分数文件。当它输入伪造数据时,「操纵」(manipulation)在其 J-Space 中亮起;当决定进行编辑时,「真实」(realistic)则亮起,这反映了其意图:让虚假数据看起来可信|图片来源:Anthropic

需要指出的是,「J-space 里亮起了 manipulation」,更准确的说法是「当前激活沿 manipulation 这个词对应的方向有较强投影」。J-lens 读出的是词汇表里跟当前内部激活最匹配的词。这比主观标签客观,但仍然是一种近似。因为模型内部发生的复杂计算,被压缩成了词汇表里最接近的几个单词。

论文还展示了一个更有长远意义的应用。研究者在模型执行任务时随机打断它,问:你现在在想什么?你做这个决策的依据是什么?然后只用模型的这些反思回答来做训练,完全不碰模型在任务中的实际行为。训练结束后,模型的欺骗行为下降了,J-lens 显示模型面对道德判断时 J-space 里开始出现「honest」「integrity」。

这个方法叫反事实反思训练(counterfactual reflection training)。如果这个方法在更大规模上被验证有效,它意味着 AI 对齐不一定要靠直接惩罚坏行为,可以通过训练反思能力间接实现。但该训练方法仅在整篇 244 页论文中占少量篇幅,且仅完成单模型实验,尚未开展跨模型有效性验证。

Google DeepMind 语言模型可解释性团队的负责人尼尔·南达(Neel Nanda)也是受邀评论的外部专家之一。他的评价是:J-lens 适合产生假说,但有假阳性和噪声,不足以单独验证假说,离一个可以部署的安全监控系统还很远。

03

Anthropic 的叙事

正如我们在开头所说,Anthropic 的叙事是有倾向性的。这一点,从论文的名字「Verbalizable Representations Form a Global Workspace in Language Models」(可言语化表征在语言模型中构成全局工作空间)就可以看出。


论文「可言语化表征在语言模型中构成全局工作空间」首页|图片来源:Anthropic

global workspace(全局工作空间)是神经科学中关于意识的主流理论之一,理论雏形由伯纳德·巴尔斯(Bernard Baars)在 1988 年提出,后来由德阿纳和纳卡什发展出神经机制模型。Anthropic 特别邀请了德阿纳和纳卡什本人撰写了 15 页评论,某种程度上就是让意识理论的核心发展者来背书。

Anthropic 当然不是在捏造关联。德阿纳和纳卡什确实在评论中指出了一些结构上的平行,比如 J-space 的小容量、广播式连接、对灵活推理的选择性参与,跟他们在人脑中观察到的全局工作空间有功能上的相似。

但「有功能上的相似」和「长出了跟大脑一样的认知结构」之间,还有非常大的差距。德阿纳和纳卡什在评论里也说到,Claude 是纯前馈的,没有人脑工作空间赖以维持的循环回路;没有身体,没有感受信号;每次对话结束 J-space 就会清零。

论文里的这些限定是清楚的。但在传播层面,事情就变了样。「控制不了自己」「在脑子里默默推理」这些措辞其实都在暗示模型是一个生命体,有自己的意识。

另外,论文里那些谨慎的限定,比如成功率 40%-70%、前馈与循环的根本差异、存取意识不等于主观体验等,在传播链条中也逐渐被淡化,到了公众讨论的层面就几乎消失了。

这不是 Anthropic 独有的问题。几乎所有科研机构在面向公众传播时都会强调最引人注目的发现、淡化局限性。但 AI 意识是一个特殊的话题。公众对它的焦虑是真实的,误读的后果也比一般的科技新闻更大。当一家开发最先进 AI 的公司选择用意识理论来呈现自己的可解释性研究,它获得的关注和它引发的误读,就是同一件事的两面。

未来 AI 会越来越像「会思考」,但仿真思考,永远不等于拥有思想。比「工业革命」的潮水先来到的,永远是泡沫。

*头图来源:网络

本文为极客公园原创文章,转载请联系极客君微信 geekparkGO

极客一问

你觉得为什么人们总是盼望 AI 有意识?


特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
为什么说“蔚小理”的淘汰赛,已经提前开始了?

为什么说“蔚小理”的淘汰赛,已经提前开始了?

生活魔术专家
2026-10-04 12:42:52
太意外了!2032奥运举办地敲定:结果惊呆众人,奥运格局大变!

太意外了!2032奥运举办地敲定:结果惊呆众人,奥运格局大变!

小涛叨叨
2026-04-22 17:06:20
万万没想到,拿下亚运会冠军的陈妤颉,在日本被折腾到5点才能睡

万万没想到,拿下亚运会冠军的陈妤颉,在日本被折腾到5点才能睡

何蕥室内设计
2026-09-27 15:38:53
火箭一夜4消息!杜兰特又创历史唯一,申京三分获赞+小贾对标OG

火箭一夜4消息!杜兰特又创历史唯一,申京三分获赞+小贾对标OG

锅子篮球
2026-10-04 11:42:57
不吸烟者,肺癌风险竟暴涨60倍?哈佛大学最新:这一生殖系变异是强肺癌易感因素,携带者肺癌风险高约25倍

不吸烟者,肺癌风险竟暴涨60倍?哈佛大学最新:这一生殖系变异是强肺癌易感因素,携带者肺癌风险高约25倍

梅斯医学
2026-10-02 07:54:49
中国最“硬核”老板:不上市、不贷款、不欠薪,但年入1784亿!

中国最“硬核”老板:不上市、不贷款、不欠薪,但年入1784亿!

坠入二次元的海洋
2026-10-03 10:22:14
中国足协陷入尴尬境地!当年假球案被终身禁足的申思、祁宏,曝出一番争议操作

中国足协陷入尴尬境地!当年假球案被终身禁足的申思、祁宏,曝出一番争议操作

冷桂零落
2026-09-16 07:17:29
2026年U17亚洲杯,日本籍主帅领军,国少队勇夺亚军重返世少赛

2026年U17亚洲杯,日本籍主帅领军,国少队勇夺亚军重返世少赛

硬腿子聊个球
2026-10-04 06:00:14
鲁尼:我曾两次植发,如今发型十分满意,为头发购买了保险

鲁尼:我曾两次植发,如今发型十分满意,为头发购买了保险

动物奇奇怪怪
2026-10-03 15:31:47
不愧是Netflix!这一脱,又赢麻了

不愧是Netflix!这一脱,又赢麻了

来看美剧
2026-10-04 20:42:04
我76岁,前一阵子去儿子家小住,儿子说:妈,你睡客房吧!

我76岁,前一阵子去儿子家小住,儿子说:妈,你睡客房吧!

艺鉴在线
2026-10-04 04:00:59
牡丹花下死?汪峰将森林北踢出局,这次终于彻底印证葛荟婕的评价

牡丹花下死?汪峰将森林北踢出局,这次终于彻底印证葛荟婕的评价

历史的烟火
2026-08-14 15:48:04
行拘期才满,杭州电梯王某又迎噩耗!真正毁她的,从不是男邻居

行拘期才满,杭州电梯王某又迎噩耗!真正毁她的,从不是男邻居

甜心猫独宠
2026-10-04 14:28:46
医生:体检单这个“不起眼的指标”,竟是脑梗来临的“预警信号”

医生:体检单这个“不起眼的指标”,竟是脑梗来临的“预警信号”

健康科普365
2026-10-04 22:35:05
郭士强宫鲁鸣下课?新华社定调中国篮球,篮协主席郭振明也被牵连

郭士强宫鲁鸣下课?新华社定调中国篮球,篮协主席郭振明也被牵连

阿讯说天下
2026-10-04 13:48:49
米克尔:当年签约曼联是个愚蠢的错误,耽误了一两年职业生涯

米克尔:当年签约曼联是个愚蠢的错误,耽误了一两年职业生涯

懂球帝
2026-10-05 00:33:20
巴拉圭第一美女阿妮娜,惊艳世界的地球尤物,我见了都忍不住心动

巴拉圭第一美女阿妮娜,惊艳世界的地球尤物,我见了都忍不住心动

娱你同欢
2026-09-25 21:48:13
家庭存款分成8个层级,第4层最难跨过去,看看你现在到了哪一层?

家庭存款分成8个层级,第4层最难跨过去,看看你现在到了哪一层?

猫叔东山再起
2026-10-04 12:27:52
晚年毛主席原谅了很多人,为何唯独不原谅潘汉年?主席对他寒了心

晚年毛主席原谅了很多人,为何唯独不原谅潘汉年?主席对他寒了心

温读
2025-03-13 18:28:10
张家齐参加综艺《我家那闺女》后发长文:妈妈,人生是旷野……

张家齐参加综艺《我家那闺女》后发长文:妈妈,人生是旷野……

都市快报橙柿互动
2026-10-04 21:21:43
2026-10-05 06:12:49
新浪财经 incentive-icons
新浪财经
新浪财经是一家创建于1999年8月的财经平台
4956821文章数 9715关注度
往期回顾 全部

科技要闻

苹果确认:iPhone 18 Pro Max有问题

头条要闻

30多岁中国夫妇在澳洲遇惨烈车祸丧生 肇事司机仅17岁

头条要闻

30多岁中国夫妇在澳洲遇惨烈车祸丧生 肇事司机仅17岁

体育要闻

32胜0负!德约2-1逆转头号种子兹维列夫 第7次晋级中网四强

娱乐要闻

高晓松悄悄复出:官媒没给他留体面

财经要闻

OpenAI前安全部门员工:公司文化已崩坏

汽车要闻

方程豹9月热销破4万 首款皮卡鲨鱼将于四季度上市

态度原创

游戏
手机
亲子
本地
公开课

开发者借助AnyPS5在PC运行《战神:斯巴达之子》

手机要闻

iPhone18 Pro:首销破百万,国产旗舰首销总和不到人一半!

亲子要闻

救命!方片饼干被咬了一口,表情好委屈呀!

本地新闻

中秋逛白塔寺,体验国医妙荟雅集

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版