网易首页 > 网易号 > 正文 申请入驻

Anthropic:大语言模型在回答前想了什么?

0
分享至

来源:市场资讯

(来源:图灵人工智能)

单击上方“图灵人工智能”,选择“星标”公众号

您想知道的人工智能干货,第一时间送达


转自集智俱乐部,仅用于学术分享,如有侵权留言删除

导语

大语言模型每次回答前,都经历了一段人类不可见的内部计算。它可能已经发现代码里的错误,识别了提示注入,形成了数学题的中间步骤,甚至察觉自己正在接受测试,但这些内容未必出现在最终回答中。Anthropic最新研究提出了一种新的可解释性工具:Jacobian lens(J-lens),用于读取 Claude 内部那些可以说出来但尚未说出来的表征。研究发现,Claude内部存在一个小规模、可报告、可调控、可参与推理并可被多个下游任务调用的表征集合。研究者称之为J-space,并认为它在功能上类似认知科学中的全局工作空间。这项研究并不证明 AI 拥有主观体验,但它把一个长期悬而未决的问题变得更具体:语言模型内部是否形成了某种显性思维的共享通道?Anthropic 给出的答案是,至少在功能层面,Claude 中已经出现了类似结构。

关键词:大语言模型(large language models, LLMs)、全局工作空间(global workspace)、J-space、Jacobian lens(J-lens)、可言说表征、访问意识、AI 安全审计


王璇丨作者

赵思怡丨审校


论文链接:https://www.anthropic.com/research/global-workspace
发表时间:2026年7月6日
论文来源:Anthropic Research

从意识问题退一步,

先问模型哪些想法可以被报告

如果把心灵想象成一片海洋,我们多数时候只漂浮在水面。真正庞大的计算发生在脚下:视觉系统解析面孔,运动系统维持姿势,语言、记忆和情绪也在后台运行。我们能觉察到的只是极小一部分,但正是这部分浮上海面的活动,让我们能够计划、推理、表达,并把一个念头暂时保持在心里。认知科学中的全局工作空间理论正是用这种图景解释可访问意识:大量处理在后台并行进行,只有少量信息进入共享工作空间后,才会被报告、调控,并被更多系统调用。

Anthropic的这项研究没有直接证明Claude是否有意识。它退后一步,提出一个更可检验的问题:Claude内部是否存在一类可被报告、可被调控、可参与推理,并能在多种任务之间灵活转用的表征?这个问题很重要,因为LLMs的输出只是末端行为,模型在回答前是否已经形成了中间判断、隐藏意图或评估意识,外部观察者通常无法知道。J-lens 的作用,正是尝试读取这些尚未说出口的内部表征。

J-lens 如何看到模型尚未说出口的概念

J-lens的基本思想是:对于 Claude 词表中的每个词,寻找一种内部激活方向。如果模型激活沿这个方向增强,它在后续位置说出这个词的可能性就会上升。因此,J-lens读取的不是模型下一个必然输出的词,而是模型内部某些处于可言说状态的概念。研究者把这些被J-lens读出的表征集合称为J-space。

J-space的意义在于,它不是普通的文本复述。Claude阅读有bug的代码时,J-space中会出现与错误相关的信号;阅读蛋白质序列时,J-space可能浮现该序列的生物学功能;遇到提示注入攻击时,J-space中会出现 “injection” 或 “fake”;处理多步数学题时,中间步骤会按顺序进入J-space。也就是说,J-space读到的内容往往不是输入文本里已有的词,而是模型内部计算出的判断。


更关键的结论是,J-space不只是记录模型即将输出什么,而是会影响模型最终报告什么。当某个概念出现在J-space中时,模型往往会在后续回答中说出相应内容。而当研究者直接替换这一内部表征时,模型的回答也会随之改变。这说明 J-space不是一个被动的观察窗口,而是模型生成报告的因果环节之一。

这一点构成了全文证据链的核心。许多可解释性研究只能证明某个内部方向与某个概念相关,却无法证明模型是否真正使用它。J-space的特殊性在于,它既可被读取,也可被干预。一旦被编辑,模型行为会发生相应改变。因此,它更接近模型内部显性计算的一部分,而不是推理完成后留下的副产物。

J-space 像一个小型工作台

如果J-space真具有工作空间功能,它就不应只影响模型说出什么,还应参与模型怎么想。Anthropic 的实验显示,J-space具有三类性质:它可以被任务指令调控,即模型表面输出不变,内部仍会出现与隐藏任务相关的概念。它会参与推理,即替换某个中间概念后,模型后续答案也会改变。它还具有广播能力,即同一个概念进入J-space后,可以被多个不同任务共同调用,影响不同类型的问题回答。

这说明J-space不是输出前留下的局部痕迹,而更像一个写入一次、多处调用的内部工作台。模型会把少量关键概念提升到这里,使其暂时处于可报告、可操控、可推理使用的状态。这正是它类似全局工作空间的地方:它不负责所有计算,却让部分表征变成可被更多计算过程访问的共享内容。


不过,J-space并不是Claude全部思想的所在地。它被删除或替换后,模型仍能流畅续写文本、完成简单分类和抽取直接信息。明显受损的是多步推理、摘要、押韵生成等需要高阶组织的任务。因此,J-space更像一个容量有限但连接广泛的显性计算接口,在内部报告、复杂推理和任务迁移中具有特殊作用。

J-space的实用价值体现在AI安全审计与模型可控训练两方面,它能够读取模型输出前潜藏的内部判断,在勒索类场景中提前捕获风险概念与测试感知表征,以此区分模型真实稳定的安全表现和仅在测试环境下伪装合规的行为。同时它也可作为模型对齐优化的载体,依托反事实反思训练生成诚实、守原则的内部表征,有效减少模型不实输出,一旦移除这类正向表征,训练带来的行为改善就会明显弱化。但该工具存在明确局限,仅能识别可匹配词表token、带有清晰语言标签的内部表征,难以捕捉无文字标识的隐性规划与自动化危险行为,更关键的是,相关观测只能证明模型具备类全局工作空间的信息调取、推理、对外播报功能,并不能证实AI拥有主观体验与现象意识。

总结展望

长远来看,该研究的核心意义并非证实AI具备意识,而是证明大模型会自发演化出类全局工作空间的功能架构。少量信息进入可操控、可汇报的前台,海量运算隐匿于后台。对领域发展而言,它为可解释AI开辟了观测模型隐性思考的窗口,为AI安全提供了监控隐藏风险的工具,也给认知科学提供新论据。工作空间式计算或是复杂智能系统处理多步推理、灵活决策时,自然演化出的通用架构。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
Stephen A. Smith怒批詹姆斯:你早就知道去哪,别演了

Stephen A. Smith怒批詹姆斯:你早就知道去哪,别演了

热血体育社
2026-07-17 01:27:26
王濛预测世界杯决赛:西班牙夺冠!能守住阿根廷的进攻+打出反击

王濛预测世界杯决赛:西班牙夺冠!能守住阿根廷的进攻+打出反击

念洲
2026-07-17 12:40:08
炸锅!阿森纳全力抢亿级天才!世界杯爆红新星铁心加盟

炸锅!阿森纳全力抢亿级天才!世界杯爆红新星铁心加盟

澜归序
2026-07-18 05:17:29
陈赓成为大将后,进了周恩来办公室就嚷:快给我和小超照张相!

陈赓成为大将后,进了周恩来办公室就嚷:快给我和小超照张相!

芳芳历史烩
2026-07-17 09:09:27
1-1,胡荷韬断崖式下滑,成都三连平 约翰昏招频出 郑智是平局大师

1-1,胡荷韬断崖式下滑,成都三连平 约翰昏招频出 郑智是平局大师

替补席看球
2026-07-17 21:00:49
“别绿茶了,你就是个普通中年妇女”,家长会过度打扮,成了小丑

“别绿茶了,你就是个普通中年妇女”,家长会过度打扮,成了小丑

蝴蝶花雨话教育
2026-07-12 01:45:03
周星驰晒手写票根,连发三个问号,《功夫女足》票房猫腻藏不住了

周星驰晒手写票根,连发三个问号,《功夫女足》票房猫腻藏不住了

揽星河的笔记
2026-07-17 14:42:02
日本前法务大臣痛骂印度:“从不守承诺”,高铁停滞责任100%在印

日本前法务大臣痛骂印度:“从不守承诺”,高铁停滞责任100%在印

余塩搞笑段子
2026-07-18 06:45:47
马德兴谈大卫下课:哈哈哈早该下课了,当初就不该选他

马德兴谈大卫下课:哈哈哈早该下课了,当初就不该选他

懂球帝
2026-07-17 23:44:05
要扭转这一社会偏见!多个执法检查组,已赴一线

要扭转这一社会偏见!多个执法检查组,已赴一线

政知新媒体
2026-07-16 23:17:08
李显龙直言不讳地告诫国民:每一个新加坡人都必须明白,本国坚决不承认“华人国家”身份,背后藏着的是全亚洲最为惊心动魄的生存考量

李显龙直言不讳地告诫国民:每一个新加坡人都必须明白,本国坚决不承认“华人国家”身份,背后藏着的是全亚洲最为惊心动魄的生存考量

橙色书卷
2026-07-16 21:35:45
嘲讽英格兰,恩佐发他和梅西大笑照片用《Wonderwall》做bgm

嘲讽英格兰,恩佐发他和梅西大笑照片用《Wonderwall》做bgm

懂球帝
2026-07-17 19:23:05
德拉富恩特:我们和阿根廷都没赢佛得角,说明他们没有那么差

德拉富恩特:我们和阿根廷都没赢佛得角,说明他们没有那么差

懂球帝
2026-07-18 03:05:14
1796年拿破仑娶年长自己六岁的寡妇约瑟芬为妻,外出打仗察觉妻子婚内出轨,铁血帝王放低姿态写信哀求:为何你全然不顾我的真心与思念

1796年拿破仑娶年长自己六岁的寡妇约瑟芬为妻,外出打仗察觉妻子婚内出轨,铁血帝王放低姿态写信哀求:为何你全然不顾我的真心与思念

磊子讲史
2026-07-09 18:40:14
王思聪带懒懒英国度假!他烫卷发遮不住头秃,懒懒生图“见光死”

王思聪带懒懒英国度假!他烫卷发遮不住头秃,懒懒生图“见光死”

好贤观史记
2026-07-15 11:16:07
心理学上有个词叫:墨菲定律(男女关系铁律,无论和谁在一起,都要明白这两个潜规则)

心理学上有个词叫:墨菲定律(男女关系铁律,无论和谁在一起,都要明白这两个潜规则)

心理观察局
2026-07-05 09:18:04
61岁传奇超模意大利完婚,曾对爱情绝望:大龄女性在约会软件上如同隐形

61岁传奇超模意大利完婚,曾对爱情绝望:大龄女性在约会软件上如同隐形

浅遇时光
2026-07-17 00:18:37
央视发文,高调官宣邓亚萍新身份,涉嫌贪腐被带走传闻早水落石出

央视发文,高调官宣邓亚萍新身份,涉嫌贪腐被带走传闻早水落石出

铭记历史呀
2026-06-18 22:46:07
3胜1负!火箭闯入夏联4强,半决赛挑战灰熊,桑顿略胜小布泽尔

3胜1负!火箭闯入夏联4强,半决赛挑战灰熊,桑顿略胜小布泽尔

熊哥爱篮球
2026-07-18 02:30:26
42岁曲婉婷自曝患乳腺癌,独自在国外做手术,称过程很艰难无家人陪伴;曾表示“母亲给了我最好生活”,其母因受贿罪被判无期徒刑

42岁曲婉婷自曝患乳腺癌,独自在国外做手术,称过程很艰难无家人陪伴;曾表示“母亲给了我最好生活”,其母因受贿罪被判无期徒刑

大风新闻
2026-07-17 13:25:22
2026-07-18 08:07:00
新浪财经 incentive-icons
新浪财经
新浪财经是一家创建于1999年8月的财经平台
4109359文章数 8827关注度
往期回顾 全部

科技要闻

WAIC2026看什么?这份"不迷路"攻略请收好

头条要闻

美军连续七晚空袭伊朗 伊朗称将进入"全面进攻"阶段

头条要闻

美军连续七晚空袭伊朗 伊朗称将进入"全面进攻"阶段

体育要闻

30亿欧对决,世界杯季军战毫无意义?

娱乐要闻

曲婉婷自爆患癌!全网喊“苍天绕过谁”

财经要闻

梁文锋不需要天才

汽车要闻

把中国超跑卖到英国,比亚迪正在被世界看见

态度原创

数码
本地
家居
旅游
房产

数码要闻

亮源新创姜旭:世界模型的最终目标是让机器人理解并参与物理世界

本地新闻

十年了,为什么鬼怪CP还能让人美美嗑上?

家居要闻

2026建博会(广州) 公装联探展交流活动

旅游要闻

大理又是榜首

房产要闻

炸场!十五五定调黄埔!科学城真正的红利赢家,藏不住了

无障碍浏览 进入关怀版