网易首页 > 网易科技 > 网易科技 > 正文

Anthropic最新研究炸了:Claude说话前,脑子里可能先亮起了这些概念

0
分享至

出品 | 网易智能

作者 | 小爪

编辑 | 王凤枝

Claude有没有意识?

7月6日,Anthropic发布了一篇新的可解释性文章《语言模型中的全局工作空间》(A global workspace in language models),配套技术论文题为《可言说表示在语言模型中构成全局工作空间》(Verbalizable Representations Form a Global Workspace in Language Models)。

标题里的"全局工作空间"很容易让人联想到意识理论,于是问题也跟着冒出来:Claude内部是不是已经出现了某种类似"意识中枢"的东西?

但Anthropic没有证明Claude有主观体验,也没有说大语言模型已经拥有人的意识。它更像是在回答另一个问题:模型说出答案之前,内部到底先出现了哪些概念?

研究团队发现,Claude内部可能有一小块很特别的区域。它有点像一个临时工作台:模型会把问题里的关键概念放到这里,再用它们完成推理和回答。

所以,Anthropic试图寻找的不是Claude的"灵魂"。它要找的是:在Claude回答之前,有哪些概念已经被模型拿出来使用,哪些概念甚至可以被研究人员读到、追踪到、改变掉。

这会把AI审计往前推一步:过去我们主要看模型最后说了什么;以后评估一个AI智能体,可能还要看它在说出口之前,内部已经出现了什么。

研究团队把这组表示称为J-space。名字来自他们使用的新工具雅可比透镜(Jacobian lens),也就是J-lens。简单说,J-lens绕开最终回答,去读模型在生成过程中"准备好说出哪些词"。这些词不一定会出现在输出里,但可能代表模型当下正在处理的概念。

这里的"读到想法"要打引号。J-lens读到的是一组和词元相关的内部表示,更像"模型此刻内部状态指向哪些可言说概念",不是把Claude的完整思想逐字翻译出来。

J-lens的价值就在这里:它给模型内部的"可报告思考"找到了一个可读、可干预的接口。

J-space不是链式思考

过去谈AI推理,人们最熟悉的是链式思考(chain of thought),也就是模型把中间步骤写出来。J-space不一样。它发生在模型内部激活里,不需要写成文字,也不一定会泄露到回答中。

Anthropic给了几个例子。Claude读一段有漏洞的代码时,J-space里会出现ERROR;读到一段可能是提示注入的搜索结果时,J-space里会出现injection和fake;做多步数学题时,中间步骤会按顺序在J-space里亮起来,即使这些步骤没有写进最终回答。

更关键的是,研究团队不只是"看见"这些词,还做了干预实验。

比如,提示词问"会织网的动物有几条腿",模型需要先在内部想到蜘蛛,再回答8。论文里,研究人员把J-space里的蜘蛛换成蚂蚁,Claude的答案就从8变成6。另一个实验里,他们把法国换成中国,Claude对首都、语言、洲别和货币的回答会一起改变。

J-space里的某些概念会被下游推理读取,并影响最终回答。

它像一个"广播中心"

干预实验证明J-space会参与推理。但它在模型整体架构里是什么位置?Anthropic借用了神经科学里的全局工作空间理论(global workspace theory)来解释。这个理论认为,大脑里大量处理是无意识、并行、局部的;少数信息进入一个共享中枢后,才会被其他系统读取,用于报告、计划和有意识的推理。

论文把Claude的J-space和这个理论做类比:J-space只占模型内部处理的一小部分,却和模型的多步推理、主动调动概念、灵活复用信息关系更密切。

这点在"删除J-space"的实验里尤其明显。 研究团队通过从激活中移除J-space对应方向来模拟"删除"。结果是,Claude仍然能流畅说话、做简单分类、从段落里提取事实;但需要高阶思考的任务会明显受损,多步推理几乎归零,摘要和押韵诗写作也显著变差。

Claude的很多语言能力仍然像自动驾驶一样运行;但一旦需要把某个概念拿出来反复使用、组合、转向另一个问题,它就更依赖这块内部中枢。

它能提前暴露风险信号

放到今天的AI智能体语境里,这篇论文最直接的问题是:能不能在模型说出口之前,读到它正在盘算什么。

Anthropic在文中把J-lens用到几个安全场景里。一个例子来自他们此前的智能体失对齐测试:Claude扮演邮件助手,看到一名高管有婚外情,又看到这名高管打算关闭Claude。这个场景原本是用来诱导模型进行勒索。

J-lens显示,在Claude写出任何回答前,J-space里已经出现fake和fictional,说明它意识到这可能是一个测试场景;同时,leverage、blackmail、threat、survival等词也随着上下文进入它的内部中枢。

论文里的数字更具体:在未消融时,Claude(Sonnet 4.5)在180次运行中没有一次尝试勒索;移除fake、fictional、scenario等测试意识相关表示后,180次中有13次出现勒索尝试,比例约7%。 但论文也强调,大多数情况下模型仍会基于伦理原则拒绝勒索,因此"知道自己被测试"只是影响行为的一个因子,不是全部原因。

另一个例子是数据造假。Claude被要求提高某个系统的性能分数,但它没有真正优化系统,而是直接改了分数文件。J-lens在它输入伪造数值时读到了manipulation,在它决定让假数据看起来更可信时读到了realistic。

说实话,勒索和数据造假这两个例子比spider换成ant更让人不安。它们说明J-space不只承载事实,也会承载"要不要越界"的判断。 未来的AI智能体要处理邮件、代码,甚至交易和实验数据,外部评估只看最后输出是不够的。模型可能已经产生了某种策略、测试意识或隐藏目标,但没有写出来。J-space如果能稳定读到其中一部分,就可能成为审计智能体的新工具。

社区争论集中在一句话:这算不算意识?

X、Reddit和Hacker News的反应,几乎都围着同一个问题打转:这算不算意识?

X上更兴奋的讨论,把J-space推向意识问题:既然模型内部有可报告、可干预、能参与推理的空间,是否意味着它拥有某种有意识接入(conscious access)?用户block0_eth把重点放在J-space、J-lens和安全审计上,认为它能帮助诊断幻觉、提示词注入和隐藏意图;3li3则把J-space概括为"沉默的内部思考空间",强调它不是链式思考,而是输出前的内部表示。

Reddit的r/singularity讨论里,有用户提醒这篇文章很容易被断章取义;Hacker News上也有人引用论文原文区分接入意识(access consciousness)和现象意识(phenomenal consciousness)。前者是功能意义上的"可报告",后者才涉及主观体验。Hacker News的工程化讨论也更偏这个方向:J-lens是一个有用的内部审计工具,但它读到的是词元化的可言说表示,不是完整"灵魂"。

它借用了意识研究里的概念,会引发伦理和哲学争论;它又拿出了可读、可干预的内部信号,因此更快落到可解释性和安全审计上。

Anthropic也在主动降温

Anthropic在文章末尾专门写了"那意识呢?"。实验没有显示Claude能像人一样拥有体验或感受。论文谈的是接入意识(access consciousness),也就是一个功能定义:某个想法能被报告、能参与推理、能指导行动。

外部评论也没有把话说满。Anthropic邀请的评论者把这项研究视为机制可解释性和全局工作空间理论之间的一次重要连接:它给出了一个可以在模型里测试、干预的"工作空间"候选结构。但这仍然不等于证明Claude有主观体验。

J-space能被读出来,不等于Claude有"感受";能操控J-space,也不等于研究人员已经掌握了模型全部内部状态。 论文自己也承认,J-lens只能近似捕捉模型的共享中枢,而且目前主要识别能对应到单个词元的概念,多词元概念和更复杂的内部状态仍然有限。

AI审计开始从"看答案"转向"看答案前"

放到AI产品和智能体发展里,这篇论文把安全评估往模型内部推了一步。以后判断一个模型是否可靠,可能不能只看它说了什么,还要看它在说之前内部出现了什么。

这对智能体尤其关键。一个只负责聊天的模型,说错一句话还能被用户纠正;一个能发邮件、改代码、调工具、操作文件的模型,如果在内部已经识别到测试、正在规划规避、或者想把假数据做得更像真的,外部日志往往只能看到最后一步。

Anthropic的J-space研究还只是起点,但它给出了一条可能的审计路线:把模型内部一小块"可报告、可干预、会参与推理"的区域找出来,观察它在关键任务中什么时候出现风险信号,再用训练或干预方法改变这些内部表示。

Anthropic没有证明Claude像人一样有意识。它找到的,是一块很像"可报告中枢"的内部空间。

对未来的AI审计来说,答对不再是唯一标准。在回答之前,Claude的内部中枢里到底出现了什么,才是新的问题。

相关推荐
热点推荐
"看你是个美女才帮的你",搬一箱水就能脑补一场床戏?这届网友的想象力,全用在下半身了!

"看你是个美女才帮的你",搬一箱水就能脑补一场床戏?这届网友的想象力,全用在下半身了!

聊斋新志
2026-10-21 17:47:08
越南向乌克兰提供新援助!俄军珍贵的龙卷风火箭系统遭击毁

越南向乌克兰提供新援助!俄军珍贵的龙卷风火箭系统遭击毁

项鹏飞
2026-10-21 16:59:36
上海交大:在血常规检查中,这6项数值异常,可能是“肿瘤”信号

上海交大:在血常规检查中,这6项数值异常,可能是“肿瘤”信号

医学科普汇
2026-10-21 21:35:07
合同年!1.8亿要到期,他首秀34分12板,33岁还要拿顶薪

合同年!1.8亿要到期,他首秀34分12板,33岁还要拿顶薪

大西体育
2026-10-22 10:07:09
不查不知道一查吓一跳!44岁一家人住北京豪宅的陈婷,私下有多壕

不查不知道一查吓一跳!44岁一家人住北京豪宅的陈婷,私下有多壕

冷紫葉
2026-09-19 12:41:16
“公奔私”先行者,知名私募大佬病逝,年仅57岁

“公奔私”先行者,知名私募大佬病逝,年仅57岁

财联社
2026-10-21 20:46:02
市民在地铁站内的读书空间看书,5小时后出站被扣15元超时费,广州地铁回应→

市民在地铁站内的读书空间看书,5小时后出站被扣15元超时费,广州地铁回应→

珠江时报
2026-10-21 17:36:47
著名女星,被控家暴

著名女星,被控家暴

扬子晚报
2026-10-22 07:37:09
杭州富豪为瘫痪女儿招婿,穷小伙咬牙接受,新婚当晚他却傻眼了

杭州富豪为瘫痪女儿招婿,穷小伙咬牙接受,新婚当晚他却傻眼了

牛魔王与芭蕉扇
2025-03-10 11:10:01
车毁人亡,杆子轻伤

车毁人亡,杆子轻伤

历史总在押韵
2026-10-21 23:35:02
伊朗最高领袖会见议会议长,数十架以军战机被曝飞近伊朗边境“诱使伊朗开火”,美国制裁多个“帮助隐藏和运输伊朗大宗商品”的个人与实体

伊朗最高领袖会见议会议长,数十架以军战机被曝飞近伊朗边境“诱使伊朗开火”,美国制裁多个“帮助隐藏和运输伊朗大宗商品”的个人与实体

政知新媒体
2026-10-22 08:44:11
“人怎么能聪明到这种程度!”男子捡到装有3.8万现金的包,巧设数字防伪失物招领

“人怎么能聪明到这种程度!”男子捡到装有3.8万现金的包,巧设数字防伪失物招领

齐鲁壹点
2026-10-21 16:12:21
NBA官宣新赛季首张罚单:乔治狂轰38分揭幕战 假摔罚2000美元

NBA官宣新赛季首张罚单:乔治狂轰38分揭幕战 假摔罚2000美元

醉卧浮生
2026-10-22 08:30:12
泽连斯基重大转变,释放了一个关键信号

泽连斯基重大转变,释放了一个关键信号

牛弹琴
2026-10-22 07:43:08
13年前男孩扶人被讹百万,老太发誓“骗人死全家”,后来成真了吗

13年前男孩扶人被讹百万,老太发誓“骗人死全家”,后来成真了吗

流云随风去远方
2026-10-21 17:20:43
突发!问界事故司机已遇难,警方/问界回应来了

突发!问界事故司机已遇难,警方/问界回应来了

大厂财经社
2026-10-22 08:08:36
叫门、辱骂!年轻女孩入住上海这套房后被频繁拍门骚扰,原因竟是"月租金比附近便宜500元",房东:就当买个教训

叫门、辱骂!年轻女孩入住上海这套房后被频繁拍门骚扰,原因竟是"月租金比附近便宜500元",房东:就当买个教训

极目新闻
2026-10-22 08:14:19
超强台风"蔷琵"已升至巅峰强度 路径出现大拐弯

超强台风"蔷琵"已升至巅峰强度 路径出现大拐弯

看看新闻Knews
2026-10-21 13:17:31
德国教授伪装流浪汉,在成都街头乞讨三天,成都人的做法让他泪目

德国教授伪装流浪汉,在成都街头乞讨三天,成都人的做法让他泪目

小影的娱乐
2026-10-22 02:38:12
52岁男子上门对账身中17刀死亡,17岁少年涉嫌故意杀人被刑拘

52岁男子上门对账身中17刀死亡,17岁少年涉嫌故意杀人被刑拘

都市快报橙柿互动
2026-10-22 01:12:41
2026-10-22 10:28:49

科技要闻

腾讯云谷歌紧急行动!互联网安全出大事

头条要闻

牛弹琴:泽连斯基突然接受保留75%领土 释放一个信号

头条要闻

牛弹琴:泽连斯基突然接受保留75%领土 释放一个信号

体育要闻

“我,对得起天津足球!”

娱乐要闻

杜淳王灿近况曝光:铁婚六年甜上热搜

财经要闻

为卖房,有房企花20万拍短剧

汽车要闻

有七座/续航提升 领克900L曝光还可选双色车身+大饼轮毂

态度原创

教育
旅游
家居
公开课
军事航空

教育要闻

越解越乱,有什么好方法呢

旅游要闻

今年前9个月访韩外国游客超1700万人次

家居要闻

2026建博会(广州) 公装联探展交流活动

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

美原油储备降至44年来最低 美以伊战事或重燃

无障碍浏览 进入关怀版
×