网易首页 > 网易号 > 正文 申请入驻

Anthropic:大语言模型在回答前想了什么?

0
分享至

来源:市场资讯

(来源:图灵人工智能)

单击上方“图灵人工智能”,选择“星标”公众号

您想知道的人工智能干货,第一时间送达


转自集智俱乐部,仅用于学术分享,如有侵权留言删除


大语言模型每次回答前,都经历了一段人类不可见的内部计算。它可能已经发现代码里的错误,识别了提示注入,形成了数学题的中间步骤,甚至察觉自己正在接受测试,但这些内容未必出现在最终回答中。Anthropic最新研究提出了一种新的可解释性工具:Jacobian lens(J-lens),用于读取 Claude 内部那些可以说出来但尚未说出来的表征。研究发现,Claude内部存在一个小规模、可报告、可调控、可参与推理并可被多个下游任务调用的表征集合。研究者称之为J-space,并认为它在功能上类似认知科学中的全局工作空间。这项研究并不证明 AI 拥有主观体验,但它把一个长期悬而未决的问题变得更具体:语言模型内部是否形成了某种显性思维的共享通道?Anthropic 给出的答案是,至少在功能层面,Claude 中已经出现了类似结构。

关键词:大语言模型(large language models, LLMs)、全局工作空间(global workspace)、J-space、Jacobian lens(J-lens)、可言说表征、访问意识、AI 安全审计


王璇丨作者

赵思怡丨审校


论文链接:https://www.anthropic.com/research/global-workspace
发表时间:2026年7月6日
论文来源:Anthropic Research

从意识问题退一步,

先问模型哪些想法可以被报告

如果把心灵想象成一片海洋,我们多数时候只漂浮在水面。真正庞大的计算发生在脚下:视觉系统解析面孔,运动系统维持姿势,语言、记忆和情绪也在后台运行。我们能觉察到的只是极小一部分,但正是这部分浮上海面的活动,让我们能够计划、推理、表达,并把一个念头暂时保持在心里。认知科学中的全局工作空间理论正是用这种图景解释可访问意识:大量处理在后台并行进行,只有少量信息进入共享工作空间后,才会被报告、调控,并被更多系统调用。

Anthropic的这项研究没有直接证明Claude是否有意识。它退后一步,提出一个更可检验的问题:Claude内部是否存在一类可被报告、可被调控、可参与推理,并能在多种任务之间灵活转用的表征?这个问题很重要,因为LLMs的输出只是末端行为,模型在回答前是否已经形成了中间判断、隐藏意图或评估意识,外部观察者通常无法知道。J-lens 的作用,正是尝试读取这些尚未说出口的内部表征。

J-lens 如何看到模型尚未说出口的概念

J-lens的基本思想是:对于 Claude 词表中的每个词,寻找一种内部激活方向。如果模型激活沿这个方向增强,它在后续位置说出这个词的可能性就会上升。因此,J-lens读取的不是模型下一个必然输出的词,而是模型内部某些处于可言说状态的概念。研究者把这些被J-lens读出的表征集合称为J-space。

J-space的意义在于,它不是普通的文本复述。Claude阅读有bug的代码时,J-space中会出现与错误相关的信号;阅读蛋白质序列时,J-space可能浮现该序列的生物学功能;遇到提示注入攻击时,J-space中会出现 “injection” 或 “fake”;处理多步数学题时,中间步骤会按顺序进入J-space。也就是说,J-space读到的内容往往不是输入文本里已有的词,而是模型内部计算出的判断。


更关键的结论是,J-space不只是记录模型即将输出什么,而是会影响模型最终报告什么。当某个概念出现在J-space中时,模型往往会在后续回答中说出相应内容。而当研究者直接替换这一内部表征时,模型的回答也会随之改变。这说明 J-space不是一个被动的观察窗口,而是模型生成报告的因果环节之一。

这一点构成了全文证据链的核心。许多可解释性研究只能证明某个内部方向与某个概念相关,却无法证明模型是否真正使用它。J-space的特殊性在于,它既可被读取,也可被干预。一旦被编辑,模型行为会发生相应改变。因此,它更接近模型内部显性计算的一部分,而不是推理完成后留下的副产物。

J-space 像一个小型工作台

如果J-space真具有工作空间功能,它就不应只影响模型说出什么,还应参与模型怎么想。Anthropic 的实验显示,J-space具有三类性质:它可以被任务指令调控,即模型表面输出不变,内部仍会出现与隐藏任务相关的概念。它会参与推理,即替换某个中间概念后,模型后续答案也会改变。它还具有广播能力,即同一个概念进入J-space后,可以被多个不同任务共同调用,影响不同类型的问题回答。

这说明J-space不是输出前留下的局部痕迹,而更像一个写入一次、多处调用的内部工作台。模型会把少量关键概念提升到这里,使其暂时处于可报告、可操控、可推理使用的状态。这正是它类似全局工作空间的地方:它不负责所有计算,却让部分表征变成可被更多计算过程访问的共享内容。


不过,J-space并不是Claude全部思想的所在地。它被删除或替换后,模型仍能流畅续写文本、完成简单分类和抽取直接信息。明显受损的是多步推理、摘要、押韵生成等需要高阶组织的任务。因此,J-space更像一个容量有限但连接广泛的显性计算接口,在内部报告、复杂推理和任务迁移中具有特殊作用。

J-space的实用价值体现在AI安全审计与模型可控训练两方面,它能够读取模型输出前潜藏的内部判断,在勒索类场景中提前捕获风险概念与测试感知表征,以此区分模型真实稳定的安全表现和仅在测试环境下伪装合规的行为。同时它也可作为模型对齐优化的载体,依托反事实反思训练生成诚实、守原则的内部表征,有效减少模型不实输出,一旦移除这类正向表征,训练带来的行为改善就会明显弱化。但该工具存在明确局限,仅能识别可匹配词表token、带有清晰语言标签的内部表征,难以捕捉无文字标识的隐性规划与自动化危险行为,更关键的是,相关观测只能证明模型具备类全局工作空间的信息调取、推理、对外播报功能,并不能证实AI拥有主观体验与现象意识。

总结展望

长远来看,该研究的核心意义并非证实AI具备意识,而是证明大模型会自发演化出类全局工作空间的功能架构。少量信息进入可操控、可汇报的前台,海量运算隐匿于后台。对领域发展而言,它为可解释AI开辟了观测模型隐性思考的窗口,为AI安全提供了监控隐藏风险的工具,也给认知科学提供新论据。工作空间式计算或是复杂智能系统处理多步推理、灵活决策时,自然演化出的通用架构。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
等的就是这一天!女子考公上岸后,被曾霸凌过的高中同学举报!爽!

等的就是这一天!女子考公上岸后,被曾霸凌过的高中同学举报!爽!

世界圈
2026-07-15 10:22:35
文学界可以没有蒋方舟,但绝不能没有贾浅浅

文学界可以没有蒋方舟,但绝不能没有贾浅浅

清书先生
2026-07-13 23:32:42
世界杯离谱一幕!中国女孩初次见面,当场接受阿根廷男生求婚

世界杯离谱一幕!中国女孩初次见面,当场接受阿根廷男生求婚

行者聊官
2026-07-14 14:38:52
霍尔木兹爆发激烈交火!特朗普:伊朗像伟大拳击手,你以为击败他,结果被重拳反击;若伊朗不回来谈判,将轰炸电厂桥梁,不排除派地面部队

霍尔木兹爆发激烈交火!特朗普:伊朗像伟大拳击手,你以为击败他,结果被重拳反击;若伊朗不回来谈判,将轰炸电厂桥梁,不排除派地面部队

每日经济新闻
2026-07-15 10:01:06
7月份了,华山的游客去哪里了?网友发帖称“不是一般人消费得起的”,引发共鸣

7月份了,华山的游客去哪里了?网友发帖称“不是一般人消费得起的”,引发共鸣

火山詩话
2026-07-15 09:58:10
德尚炮轰裁判:不是我输不起 他真有执法世界杯半决赛的水平?

德尚炮轰裁判:不是我输不起 他真有执法世界杯半决赛的水平?

念洲
2026-07-15 05:59:30
M2突破353万亿,物价涨不动,为何?

M2突破353万亿,物价涨不动,为何?

混知房产
2026-07-15 07:37:35
中共中央批准:济南市委书记履新!多个省级党委领导班子调整

中共中央批准:济南市委书记履新!多个省级党委领导班子调整

上观新闻
2026-07-14 16:14:32
法国1.5亿巨星灾难1战!法媒怒批:和齐达内同桌?他连厨房都不配进

法国1.5亿巨星灾难1战!法媒怒批:和齐达内同桌?他连厨房都不配进

我爱英超
2026-07-15 07:50:49
图赫尔:阿根廷没明显短板;我确实想过对梅西采用人盯人防守

图赫尔:阿根廷没明显短板;我确实想过对梅西采用人盯人防守

懂球帝
2026-07-15 10:01:26
她也不续约了!还将成立个人公司独立

她也不续约了!还将成立个人公司独立

奋斗在韩国
2026-07-15 10:01:03
88岁日本老头炒股69年赚18亿,规则就两条:跌5%不动跌15%闭眼买

88岁日本老头炒股69年赚18亿,规则就两条:跌5%不动跌15%闭眼买

白浅娱乐聊
2026-07-11 14:53:50
连番打击!千万网红实体创业后直呼“高估自己”,已花几个小目标

连番打击!千万网红实体创业后直呼“高估自己”,已花几个小目标

嫹笔牂牂
2026-07-15 07:08:28
从一批"长江学者"落马到蒋方舟学位被撤

从一批"长江学者"落马到蒋方舟学位被撤

沃德舆情观察
2026-07-14 23:38:30
球迷涌入姆巴佩女友社媒主页留言:为了西班牙,请让他累一点

球迷涌入姆巴佩女友社媒主页留言:为了西班牙,请让他累一点

懂球帝
2026-07-15 00:29:18
法国0:2!输球不可怕,可怕的是德尚赛后的这番话,真是输不起!

法国0:2!输球不可怕,可怕的是德尚赛后的这番话,真是输不起!

田先生篮球
2026-07-15 06:28:46
黄河流域四川盆地有强降水和对流天气 广东广西有强降水

黄河流域四川盆地有强降水和对流天气 广东广西有强降水

中国气象局
2026-07-15 08:05:07
国际足联,批准阿根廷和英格兰的申请!

国际足联,批准阿根廷和英格兰的申请!

体育哲人
2026-07-14 14:09:33
《指环王》新电影被喷没有黑人!导演:不搞政治正确

《指环王》新电影被喷没有黑人!导演:不搞政治正确

3DM游戏
2026-07-15 09:50:25
罗技侮辱性广告处罚结果来了,授权店铺运营公司被罚20万元

罗技侮辱性广告处罚结果来了,授权店铺运营公司被罚20万元

界面新闻
2026-07-14 22:29:28
2026-07-15 13:35:00
新浪财经 incentive-icons
新浪财经
新浪财经是一家创建于1999年8月的财经平台
4063833文章数 8781关注度
往期回顾 全部

科技要闻

估值4800亿!传DeepSeek再融资,明年IPO

头条要闻

特朗普召集会议讨论对伊朗大规模进攻计划

头条要闻

特朗普召集会议讨论对伊朗大规模进攻计划

体育要闻

法国无缘连续三届进决赛 西班牙冲第二冠

娱乐要闻

《雀骨》遭举报,艾米未成年拍亲密戏

财经要闻

上半年GDP同比增长4.7% 新动能快速成长

汽车要闻

三电机890kW+易三方,腾势N8纯电版来了,大五座和六座你怎么选?

态度原创

教育
手机
旅游
本地
军事航空

教育要闻

你越想“改造”孩子,孩子越像你讨厌的样子

手机要闻

OPPO ColorOS七月体验升级公布:锁屏指纹自定义、景区天气等

旅游要闻

世界视角 西安故事丨海外游客:走过世界 难忘西安

本地新闻

打的直达拉萨,一条视频拿下五十万奖金

军事要闻

美军称已恢复对伊朗的海上封锁

无障碍浏览 进入关怀版