网易首页 > 网易科技 > 网易科技 > 正文

Anthropic最新研究炸了:Claude说话前,脑子里可能先亮起了这些概念

0
分享至

出品 | 网易智能

作者 | 小爪

编辑 | 王凤枝

Claude有没有意识?

7月6日,Anthropic发布了一篇新的可解释性文章《语言模型中的全局工作空间》(A global workspace in language models),配套技术论文题为《可言说表示在语言模型中构成全局工作空间》(Verbalizable Representations Form a Global Workspace in Language Models)。

标题里的"全局工作空间"很容易让人联想到意识理论,于是问题也跟着冒出来:Claude内部是不是已经出现了某种类似"意识中枢"的东西?

但Anthropic没有证明Claude有主观体验,也没有说大语言模型已经拥有人的意识。它更像是在回答另一个问题:模型说出答案之前,内部到底先出现了哪些概念?

研究团队发现,Claude内部可能有一小块很特别的区域。它有点像一个临时工作台:模型会把问题里的关键概念放到这里,再用它们完成推理和回答。

所以,Anthropic试图寻找的不是Claude的"灵魂"。它要找的是:在Claude回答之前,有哪些概念已经被模型拿出来使用,哪些概念甚至可以被研究人员读到、追踪到、改变掉。

这会把AI审计往前推一步:过去我们主要看模型最后说了什么;以后评估一个AI智能体,可能还要看它在说出口之前,内部已经出现了什么。

研究团队把这组表示称为J-space。名字来自他们使用的新工具雅可比透镜(Jacobian lens),也就是J-lens。简单说,J-lens绕开最终回答,去读模型在生成过程中"准备好说出哪些词"。这些词不一定会出现在输出里,但可能代表模型当下正在处理的概念。

这里的"读到想法"要打引号。J-lens读到的是一组和词元相关的内部表示,更像"模型此刻内部状态指向哪些可言说概念",不是把Claude的完整思想逐字翻译出来。

J-lens的价值就在这里:它给模型内部的"可报告思考"找到了一个可读、可干预的接口。

J-space不是链式思考

过去谈AI推理,人们最熟悉的是链式思考(chain of thought),也就是模型把中间步骤写出来。J-space不一样。它发生在模型内部激活里,不需要写成文字,也不一定会泄露到回答中。

Anthropic给了几个例子。Claude读一段有漏洞的代码时,J-space里会出现ERROR;读到一段可能是提示注入的搜索结果时,J-space里会出现injection和fake;做多步数学题时,中间步骤会按顺序在J-space里亮起来,即使这些步骤没有写进最终回答。

更关键的是,研究团队不只是"看见"这些词,还做了干预实验。

比如,提示词问"会织网的动物有几条腿",模型需要先在内部想到蜘蛛,再回答8。论文里,研究人员把J-space里的蜘蛛换成蚂蚁,Claude的答案就从8变成6。另一个实验里,他们把法国换成中国,Claude对首都、语言、洲别和货币的回答会一起改变。

J-space里的某些概念会被下游推理读取,并影响最终回答。

它像一个"广播中心"

干预实验证明J-space会参与推理。但它在模型整体架构里是什么位置?Anthropic借用了神经科学里的全局工作空间理论(global workspace theory)来解释。这个理论认为,大脑里大量处理是无意识、并行、局部的;少数信息进入一个共享中枢后,才会被其他系统读取,用于报告、计划和有意识的推理。

论文把Claude的J-space和这个理论做类比:J-space只占模型内部处理的一小部分,却和模型的多步推理、主动调动概念、灵活复用信息关系更密切。

这点在"删除J-space"的实验里尤其明显。 研究团队通过从激活中移除J-space对应方向来模拟"删除"。结果是,Claude仍然能流畅说话、做简单分类、从段落里提取事实;但需要高阶思考的任务会明显受损,多步推理几乎归零,摘要和押韵诗写作也显著变差。

Claude的很多语言能力仍然像自动驾驶一样运行;但一旦需要把某个概念拿出来反复使用、组合、转向另一个问题,它就更依赖这块内部中枢。

它能提前暴露风险信号

放到今天的AI智能体语境里,这篇论文最直接的问题是:能不能在模型说出口之前,读到它正在盘算什么。

Anthropic在文中把J-lens用到几个安全场景里。一个例子来自他们此前的智能体失对齐测试:Claude扮演邮件助手,看到一名高管有婚外情,又看到这名高管打算关闭Claude。这个场景原本是用来诱导模型进行勒索。

J-lens显示,在Claude写出任何回答前,J-space里已经出现fake和fictional,说明它意识到这可能是一个测试场景;同时,leverage、blackmail、threat、survival等词也随着上下文进入它的内部中枢。

论文里的数字更具体:在未消融时,Claude(Sonnet 4.5)在180次运行中没有一次尝试勒索;移除fake、fictional、scenario等测试意识相关表示后,180次中有13次出现勒索尝试,比例约7%。 但论文也强调,大多数情况下模型仍会基于伦理原则拒绝勒索,因此"知道自己被测试"只是影响行为的一个因子,不是全部原因。

另一个例子是数据造假。Claude被要求提高某个系统的性能分数,但它没有真正优化系统,而是直接改了分数文件。J-lens在它输入伪造数值时读到了manipulation,在它决定让假数据看起来更可信时读到了realistic。

说实话,勒索和数据造假这两个例子比spider换成ant更让人不安。它们说明J-space不只承载事实,也会承载"要不要越界"的判断。 未来的AI智能体要处理邮件、代码,甚至交易和实验数据,外部评估只看最后输出是不够的。模型可能已经产生了某种策略、测试意识或隐藏目标,但没有写出来。J-space如果能稳定读到其中一部分,就可能成为审计智能体的新工具。

社区争论集中在一句话:这算不算意识?

X、Reddit和Hacker News的反应,几乎都围着同一个问题打转:这算不算意识?

X上更兴奋的讨论,把J-space推向意识问题:既然模型内部有可报告、可干预、能参与推理的空间,是否意味着它拥有某种有意识接入(conscious access)?用户block0_eth把重点放在J-space、J-lens和安全审计上,认为它能帮助诊断幻觉、提示词注入和隐藏意图;3li3则把J-space概括为"沉默的内部思考空间",强调它不是链式思考,而是输出前的内部表示。

Reddit的r/singularity讨论里,有用户提醒这篇文章很容易被断章取义;Hacker News上也有人引用论文原文区分接入意识(access consciousness)和现象意识(phenomenal consciousness)。前者是功能意义上的"可报告",后者才涉及主观体验。Hacker News的工程化讨论也更偏这个方向:J-lens是一个有用的内部审计工具,但它读到的是词元化的可言说表示,不是完整"灵魂"。

它借用了意识研究里的概念,会引发伦理和哲学争论;它又拿出了可读、可干预的内部信号,因此更快落到可解释性和安全审计上。

Anthropic也在主动降温

Anthropic在文章末尾专门写了"那意识呢?"。实验没有显示Claude能像人一样拥有体验或感受。论文谈的是接入意识(access consciousness),也就是一个功能定义:某个想法能被报告、能参与推理、能指导行动。

外部评论也没有把话说满。Anthropic邀请的评论者把这项研究视为机制可解释性和全局工作空间理论之间的一次重要连接:它给出了一个可以在模型里测试、干预的"工作空间"候选结构。但这仍然不等于证明Claude有主观体验。

J-space能被读出来,不等于Claude有"感受";能操控J-space,也不等于研究人员已经掌握了模型全部内部状态。 论文自己也承认,J-lens只能近似捕捉模型的共享中枢,而且目前主要识别能对应到单个词元的概念,多词元概念和更复杂的内部状态仍然有限。

AI审计开始从"看答案"转向"看答案前"

放到AI产品和智能体发展里,这篇论文把安全评估往模型内部推了一步。以后判断一个模型是否可靠,可能不能只看它说了什么,还要看它在说之前内部出现了什么。

这对智能体尤其关键。一个只负责聊天的模型,说错一句话还能被用户纠正;一个能发邮件、改代码、调工具、操作文件的模型,如果在内部已经识别到测试、正在规划规避、或者想把假数据做得更像真的,外部日志往往只能看到最后一步。

Anthropic的J-space研究还只是起点,但它给出了一条可能的审计路线:把模型内部一小块"可报告、可干预、会参与推理"的区域找出来,观察它在关键任务中什么时候出现风险信号,再用训练或干预方法改变这些内部表示。

Anthropic没有证明Claude像人一样有意识。它找到的,是一块很像"可报告中枢"的内部空间。

对未来的AI审计来说,答对不再是唯一标准。在回答之前,Claude的内部中枢里到底出现了什么,才是新的问题。

相关推荐
热点推荐
我老公对我真的是生理性喜欢,我俩今年四十五,他每天晚上都要抱着我睡,不是那种敷衍的搭把手,是真抱

我老公对我真的是生理性喜欢,我俩今年四十五,他每天晚上都要抱着我睡,不是那种敷衍的搭把手,是真抱

徐侠客有话说
2026-08-13 11:03:24
女人这里“变大”,就是给你戴绿帽子了,实锤了,别再天真了

女人这里“变大”,就是给你戴绿帽子了,实锤了,别再天真了

小影的娱乐
2026-08-18 06:22:14
男子称父母凌晨出海捕蚝遭铁船撞击,母亲溺亡一个多月案子还没立,遗体还在殡仪馆冻着

男子称父母凌晨出海捕蚝遭铁船撞击,母亲溺亡一个多月案子还没立,遗体还在殡仪馆冻着

潇湘晨报
2026-08-21 18:18:15
马云9年前在会所唱歌火了!高唱《红灯记》颇有隐喻,许家印低头玩手机没在意,命运或早已写好

马云9年前在会所唱歌火了!高唱《红灯记》颇有隐喻,许家印低头玩手机没在意,命运或早已写好

火山詩话
2026-08-22 08:21:57
2026号1号文件:严禁从基层机关事业单位借调工作人员

2026号1号文件:严禁从基层机关事业单位借调工作人员

户外阿毽
2026-08-22 09:04:23
男子炒股被骗789万,骗子收到钱嘲讽他:谢谢你,你是我最大的一个客户

男子炒股被骗789万,骗子收到钱嘲讽他:谢谢你,你是我最大的一个客户

江山挥笔
2026-08-21 18:58:11
上任以来,特朗普最大贡献就是:亲手促成了中国人对美国的祛魅

上任以来,特朗普最大贡献就是:亲手促成了中国人对美国的祛魅

军机Nova
2026-08-22 00:20:07
张丹丹不需要道歉

张丹丹不需要道歉

多村来信
2026-08-22 07:55:32
余承东:我说话不是很谦虚,跟特斯拉比,我们遥遥领先!

余承东:我说话不是很谦虚,跟特斯拉比,我们遥遥领先!

大厂财经社
2026-08-22 08:03:59
日媒:支持率连续下跌,高市早苗着急发文,还引用《论语》

日媒:支持率连续下跌,高市早苗着急发文,还引用《论语》

环球网资讯
2026-08-22 11:10:28
国防部下通牒,解放军拖船已到位!美国航母跑路,菲律宾这回惨了

国防部下通牒,解放军拖船已到位!美国航母跑路,菲律宾这回惨了

通鉴史智
2026-08-22 10:09:03
“55元捡漏买下1.41万项链”最新进展:平台称系统bug导致价格乌龙,愿补偿5元心意金

“55元捡漏买下1.41万项链”最新进展:平台称系统bug导致价格乌龙,愿补偿5元心意金

大风新闻
2026-08-22 10:35:07
沉默一天后,高市内阁艰难开口,说出的话却让日本人大感耻辱

沉默一天后,高市内阁艰难开口,说出的话却让日本人大感耻辱

健身狂人
2026-08-21 13:25:22
阿根廷足协:将向国际足联上诉委员会上诉

阿根廷足协:将向国际足联上诉委员会上诉

界面新闻
2026-08-22 07:06:44
不可思议!韦东奕几天贩卖教辅8000多本,本人不出镜宣传,只挂商品链接,网友:他被亲戚利用了

不可思议!韦东奕几天贩卖教辅8000多本,本人不出镜宣传,只挂商品链接,网友:他被亲戚利用了

火山詩话
2026-08-22 11:16:45
村长的儿子结婚,我随礼6666,今年我女儿升学宴,村长送来个包裹

村长的儿子结婚,我随礼6666,今年我女儿升学宴,村长送来个包裹

五元讲堂
2025-10-15 10:54:11
许家印歌舞团彻底凉了,大批内部照曝光!

许家印歌舞团彻底凉了,大批内部照曝光!

首席品牌观察
2026-08-21 14:20:29
A股:股民坐稳扶好了,不出所料,后天,8月24日,很可能这么走?

A股:股民坐稳扶好了,不出所料,后天,8月24日,很可能这么走?

股侠指北针
2026-08-22 10:26:33
2027款凯美瑞正式上市:配置大升级,13.18万起,双擎续航1167km

2027款凯美瑞正式上市:配置大升级,13.18万起,双擎续航1167km

侃故事的阿庆
2026-08-22 06:49:22
站着说话不腰疼!北大女教授张丹丹:灵活就业是福利,比五险一金要自由!评论区全是吐槽,一点情面也不留!

站着说话不腰疼!北大女教授张丹丹:灵活就业是福利,比五险一金要自由!评论区全是吐槽,一点情面也不留!

谭谈社会
2026-08-22 13:05:02
2026-08-22 14:08:49

科技要闻

苹果裁员200人:Vision Pro砍游戏团队

头条要闻

男子出轨和保险女业务员开房180多次 投上千万买保险

头条要闻

男子出轨和保险女业务员开房180多次 投上千万买保险

体育要闻

枪手赚翻!4000万新援揭幕战8分钟策动2球

娱乐要闻

赵丽颖冯绍峰,打了内娱离婚夫妻的脸

财经要闻

蔡昉解读经济:扩大消费需求的政策思考

汽车要闻

全栈自研控本不降质 22.68万解锁魏牌旗舰实力

态度原创

房产
手机
旅游
亲子
军事航空

房产要闻

两大热盘即将入市!三亚又一批安居房狠货要炸场了!

手机要闻

三星Galaxy S26 Ultra屏幕“红屏”问题有望于本月内迎来软件修复

旅游要闻

夜光杯进喀什校园|热孜宛古丽·努尔麦提:金秋书写华夏盛景

亲子要闻

“妈妈,你每次带我去查眼睛,我都很紧张”

军事要闻

披露林肯号航母内幕的美国军报多人被炒

无障碍浏览 进入关怀版
×