网易首页 > 网易号 > 正文 申请入驻

拆开Claude大脑也没用!AI黑箱真正的钥匙,藏在本体工程

0
分享至


新智元报道


从神经科学到知识论

可解释性的进路之辨

「解释的本质,不在于凝视机器本身,而在于审视机器所凝视的世界」。

2026年7月,Anthropic研究团队发表了《A global workspace in language models》,通过名为J透镜的工具在Claude内部识别出一个可被观测、可被干预且具有因果效力的神经活动区域——J-Space。

这一发现之所以引发广泛关注,在于它使研究者得以窥见模型推理过程中的「内心独白」,标志着可解释性研究从对模型行为的解释迈向了对其内部状态的实时观测。


J-Space以认知神经科学的全局工作空间理论为解释框架,将语言模型的推理活动类比于人类意识层面的信息处理,在方法论和认识论层面都构成了重要推进,也为AI安全提供了全新的监控维度。

然而,正因其影响深远,更有必要审慎检视这一进路的内在局限。J-Space研究的根本取向是内在主义的——它将可解释性的核心问题设定为「理解模型内部发生了什么」,试图像神经科学家用fMRI扫描人脑一样,用J-lens扫描语言模型的神经活动。

这一进路预设了可解释性的答案藏在模型「体内」,然而一个模型的输出是否可被理解,不仅取决于其内部状态的可见性,更取决于这些状态与世界中的事态、语义规范以及使用者的认知框架之间的关系。

仅凭观察神经活动来理解模型的话语,就如同仅凭观察一个人的脑电活动来理解他所说的话——我们或许能捕捉到神经关联,却未曾触及话语的意义本身。


除此之外,J-Space借用了全局工作空间理论这一关于意识的理论来解释语言模型,在移植过程中一种微妙的范畴错误悄然发生:功能层面的同构性被误等同于认识论层面的等价性。

模型没有主观经验,J-Space中的激活模式只是数学运算的产物,而非任何意义上的心灵状态。

更深层的问题在于,J-Space研究本质上是一项工程导向的工作,它将「可解释性」窄化为「可观测性」和「可干预性」,然而在更广泛的知识论传统中,「解释」的含义远比此丰富——它涉及将现象纳入更一般的规律框架,涉及提供理由和依据,还涉及对决策正当性的论证。

J-Space能够告诉我们模型「在想什么」,却无法告诉我们模型为什么以这种方式思考,它所依据的「理由」是什么,这些理由在何种意义上是「好的」理由。这些问题的答案不在神经活动模式之中。

上述局限指向一个共同的症结:J-Space乃至整个以神经网络为焦点的可解释性研究,始终将「模型本身」作为解释的唯一对象,问题的起点和终点都是模型。


本文尝试提出一种不同的视角——将可解释性的追问从模型内部转向模型所处理的信息,从神经科学的内部主义进路转向知识论的「信息本体论」进路。

这一转换基于一个简洁的观察:大型语言模型本质上是信息处理器,其输入和输出均为文本,而文本的意义——即我们真正需要解释的东西——并不存在于神经元的激活值中,而存在于这些符号与世界、与知识、与人类实践之间的关系之中。

当一个模型回答「巴黎是法国的首都」,我们需要解释的不仅是模型内部哪个区域被激活了,更是这个陈述在何种知识体系中成立,它以什么为依据,这些依据的可靠性和正当性如何,这个回答与人类已有的地理知识之间是什么关系——这些问题无一能通过扫描神经活动来回答。

因此,本文主张将可解释性问题的核心从「模型如何思考」转向「模型处理了什么样的信息、这些信息具有怎样的本体论地位」,从而将可解释性的对象从模型本身扩展至模型所嵌入的整个信息生态——包括训练数据的结构、知识的表征方式、推理过程中的信息流转,以及输出与外部知识体系的映射关系。

以J-Space为代表的可解释性研究将神经科学范式引入了人工智能领域,其贡献在于使我们得以窥见模型「内部发生了什么」。然而这一进路的内在主义取向、对功能类比的依赖以及工程化视角对「解释」概念的窄化,共同构成了其认识论上的三重局限。

本文认为,要真正推进大语言模型的可解释性问题,需要超越对模型内部状态的凝视,转而从知识论的视角出发,系统考察模型所处理的信息——其来源、结构、表征方式、流转路径及其与外部知识体系的关系——的本体论基础。正是这一视角的转换,构成了本文研究的出发点。

本体论源起

可解释性的哲学地基

「概念无直观则空,直观无概念则盲」。

先抛出一个古老的哲学追问:人类究竟如何理解世界?康德在《纯粹理性批判》中给出了经典回答:他认为人类心灵并非被动接收外界刺激,而是先天配备了十二种「纯粹知性概念」(「十二范畴」)作为认知的形式框架。

康德从人类逻辑判断的十二种形式中推导出这些范畴,将其分为量、质、关系和模态四组:量涉及「多少」,质涉及「是什么样」,关系涉及事物之间的联系,模态涉及存在的方式。

康德的范畴理论本质上是一种关于「可理解性」的本体论承诺:只有能被纳入这十二种范畴框架之下的东西,才能成为知识对象;超出框架的「物自体」永远不可知。这意味着康德意义上的「本体论」不再追问世界「本身是什么」,而是追问「世界对我们呈现为什么」。


这对于AI可解释性的深层启示在于:当我们解释一个语言模型的输出时,真正「可解释」的不是内部神经元的物理激活,而是信息被范畴化、被结构化为可理解知识的过程。神经激活属于物自体层面,模型输出的话语意义则属于现象界层面,只有被置于某种认知结构框架中才能被理解和评判。

本体是AI可解释性的「钥匙」。在分析层面,它提供了一套完备的概念框架来描述模型所处理信息的结构化形态——我们可以追问一个陈述中是否隐含了「实体与偶性」的归属、「因果性」的判断或「模态」的承诺,从而系统描述模型构建了何种知识结构,而非笼统地说「模型似乎理解了因果关系」。

在规范层面,它为可解释性提供了评判标准:若模型内部表征中确实形成了与本体相对应的结构化模式,其输出就具备被理解的基础;若始终无法映射到这些本体之上,则无论输出多么流畅,在认识论意义上都是不可解释的。

以康德范畴作为可解释性的哲学钥匙,并非主张模型必须「拥有」这些范畴——康德的范畴是主体的先天认知条件,而模型则是功能上的实现问题,它可能通过不同的神经计算路径在功能上等价地区分实体性、因果性或模态差异。

关键在于:可解释性不要求模型内在机制透明到每一个权重的程度,而要求我们能够确认模型在信息处理层面所形成的结构是否映射到了人类用以理解世界的范畴框架之上。

从理论到实践:

本体工程与大语言模型的融合

本体论提供的是关于「可理解的结构应当是什么样」的规范性回答,但这一回答本身并不自动转化为可运行的技术系统。本体论若无本体工程的支撑,便只是悬置在空中的概念游戏。

本体工程作为将哲学范畴实例化为可计算、可维护、可追溯的技术实体的实践领域,构成了从理论到应用的必经桥梁。

在人工智能可解释性问题上,本体论与本体工程的关系尤显根本:前者告诉我们应当追问什么样的知识结构,后者则负责在模型、数据和系统之间实际构建起这样的结构。

大语言模型的出现,使本体工程获得了前所未有的发展动能,也反过来提出了全新的工程挑战。传统本体构建依赖领域专家的人工参与,流程漫长、成本高昂,且难以适应知识更新和领域演变的节奏。

大语言模型凭借其从海量文本中提取语义模式和知识关联的能力,正在从根本上重塑本体工程的实践形态。


在类定义、关系抽取、属性构建等核心本体学习任务中,语言模型能够以远超人工作业的效率完成大规模知识的结构化提取。更为关键的是,语言模型在识别概念之间的层级关系、同义关系和关联关系方面展现出的语义敏感度,使得本体构建从「专家手工编制」演进为「人机协作生产」乃至「自动生成式构建」。

这种转变的意义不仅在于效率提升——它使本体的构建具备了前所未有的可扩展性和领域覆盖度,使得原本只有少数关键领域才能享有本体支持的局面,开始向更多垂直场景和快速变化的知识领域开放。

与此同时,本体工程的反向赋能同样不可忽视。大语言模型固然强大,但其推理过程的不可见性、输出的不可验证性以及对训练数据统计规律的依赖,共同构成了可解释性的根本障碍。

本体在此扮演的工程角色是多重的:它作为结构化的知识供给者,为模型提供经过验证的领域知识底座;作为推理的校验框架,对模型的输出进行一致性约束和逻辑校准;更根本地,作为解释的锚定结构,使模型的每一步推理都能够被映射到明确定义的类、属性和关系之上。

当一个模型的输出可以追溯至其所依赖的本体条目,解释便不再依赖于对神经网络内部状态的猜测,而是建立在对知识结构本身的追溯之上。这正是可解释性从「透视黑箱」向「展示知识结构」转变的工程基础——前者在技术上面临不可逾越的困难,后者则是一个可设计、可优化、可验证的工程问题。

在这一双向融合中,「AI友好的本体框架」成为一个关键的工程命题。传统本体面向描述逻辑推理机设计,其语法、公理和推理机制均围绕确定性符号推演优化;而大语言模型的介入,从根本上改变了本体的消费者形态与使用场景。

这一变化要求本体设计原则做出相应调整——本体应当收敛其职责,专注于清晰定义领域中的对象、关系、行为与规则,即为模型提供推理所依赖的「语义骨架」;而具体的推理过程——规则的选取、组合与应用——则交还给语言模型自身的泛化能力。

职责的重新划分带来了明确的工程收益:本体不必追求逻辑完备性而陷入复杂公理化的泥沼,而是以简洁性和可维护性为前提,为模型输出提供稳定的语义坐标。

在此框架下,本体的构建须面向大语言模型的调用接口进行优化——其类定义与关系描述应便于模型理解与使用,结构化知识应便于模型检索与引用,约束规则应便于模型进行输出验证。这样的本体既非替代模型推理的符号引擎,亦非仅供查阅的静态背景资料,而是嵌入推理链路之中、可被实时调用与追溯的解释性基础设施。

可解释性的未来

解释模型vs解释影响

本文以J-Space为引,经由康德十二范畴的哲学奠基,最终落脚于大语言模型与本体工程的融合实践,完成了一条从神经科学到知识论、再到工程实现的思想线索。

贯穿其中的核心判断是:大语言模型的可解释性困境,并非仅仅源于模型内部机制的不可见性,更源于我们长久以来将「解释」等同于「透视」的思维惯性。著名科幻作家斯坦尼斯瓦夫·莱姆在其著作《索拉里斯星》里描述了一片覆盖整个星球、能读取人类记忆并将其具象化的胶质海洋,堪称「AI黑箱」的终极隐喻。

海洋能处理海量信息、生成超越人类预期的结果,但其底层逻辑对人类而言完全不可解码——它既非善意亦非恶意,只是遵循着人类无法参透的自身规律。

更悲观的是,海洋最终拒绝了人类「驯化」或理解它的一切尝试,暗示认知的终极边界或许客观存在。这一意象恰恰警示我们:即便我们能观测到模型「正在想什么」,也未必能理解它「为什么这样想」。

可解释性问题的真正难点,或许不在于技术手段的不足,而在于问题框架本身的窄化。

突破大语言模型可解释性的可行路径,不应局限于尝试「打开黑盒」这一单一方向,而应同等重视乃至更加重视对模型输出及其现实影响的观察、理解与控制。

本体工程在此提供了关键的实践框架:通过构建AI友好的、可被模型调用和追溯的语义骨架,我们得以将模型的推理锚定在明确定义的知识结构之上,使输出所依赖的类、属性和关系获得可形式化描述与可追溯验证的工程基础。


当模型的每一个陈述都可以被映射到本体所定义的概念框架中时,「解释」便不再是对神经网络权重的解剖,而是对知识结构的展示;当模型输出的依据可以在本体层面被追溯和校验时,「控制」便不再是强行干预内部激活,而是对信息流转路径的规范化管理。

这一视角的转换将可解释性从一项近乎不可能完成的技术挑战,转化为一项可通过工程手段持续逼近的治理目标——它要求我们不再执着于让模型变得完全透明,而是致力于让模型在现实世界中产生的影响变得可理解、可追溯、可问责。

通付盾一直在本文所探讨的本体工程与可解释性框架理念下深耕实践,公司核心产品LegionSpace正是基于上述技术理念构建。作为一个以本体为核的企业级AI基础设施,LegionSpace将模型所处理的信息、所依赖的知识纳入形式化本体工程,使每一次推理与决策都锚定在可解释的知识结构之上。

其愿景是让本体成为AI与人类理解之间的共同语言,使可解释性成为工程化治理现实。

LegionSpace: 本体工程与大语言模型的深度融合

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
顶撞蒋介石不久,韩复榘身中七枪而亡,冯玉祥:人家这一手太狠了

顶撞蒋介石不久,韩复榘身中七枪而亡,冯玉祥:人家这一手太狠了

徐徐道史
2026-07-17 07:39:36
黄晓明和田曦薇的新瓜,太大了!

黄晓明和田曦薇的新瓜,太大了!

美芽
2026-07-15 12:45:23
风向变了!北京房东不卖了改“下蛋”了!280万存银行不如留着收租

风向变了!北京房东不卖了改“下蛋”了!280万存银行不如留着收租

童童聊娱乐啊
2026-07-16 18:54:39
特斯拉突然官宣:7月16日,正式降价

特斯拉突然官宣:7月16日,正式降价

3C毒物
2026-07-17 02:10:18
江苏省无锡市中级人民法院悬赏公告

江苏省无锡市中级人民法院悬赏公告

无锡市中级人民法院
2026-07-16 22:08:18
气象台不敢报40℃?最新回应

气象台不敢报40℃?最新回应

澎湃新闻
2026-07-16 19:06:26
终于有经济学家批评体制内退休金太高、加剧代际矛盾,评论区炸锅

终于有经济学家批评体制内退休金太高、加剧代际矛盾,评论区炸锅

慧翔百科
2026-06-23 08:47:02
北京31岁女程序员相亲饿2小时,怒怼男生“没情商”,网友却力挺男方:人间清醒!

北京31岁女程序员相亲饿2小时,怒怼男生“没情商”,网友却力挺男方:人间清醒!

曹莽看世界
2026-07-15 14:02:20
三大央企启动合并重组!

三大央企启动合并重组!

环球通信
2026-07-16 13:02:27
“萨利机长”确诊阿尔茨海默病,其曾在2009年驾驶客机因撞上大雁迫降哈德逊河,救下155人,该事件被改编成电影

“萨利机长”确诊阿尔茨海默病,其曾在2009年驾驶客机因撞上大雁迫降哈德逊河,救下155人,该事件被改编成电影

大风新闻
2026-07-16 15:21:10
科技大跌 今天有大事发生

科技大跌 今天有大事发生

趋势巡航
2026-07-17 06:57:46
预测票房超40亿,全是五星好评,周星驰的冠军梦要碎了

预测票房超40亿,全是五星好评,周星驰的冠军梦要碎了

影视高原说
2026-07-16 10:57:54
A股又到了憋大招的时候了

A股又到了憋大招的时候了

睿知睿见
2026-07-17 07:18:42
恭喜!香港百亿富三代顺利迎来第一个孩子,曾希望妻子生6个小孩

恭喜!香港百亿富三代顺利迎来第一个孩子,曾希望妻子生6个小孩

小兔子的快乐
2026-07-17 06:17:39
阿森纳消息账号:赖斯将被强制休息四周后再回俱乐部训练

阿森纳消息账号:赖斯将被强制休息四周后再回俱乐部训练

懂球帝
2026-07-17 05:17:21
篮板第2+两双第1!中国女篮15岁1米90新星崛起:联手新版李梦冲四强

篮板第2+两双第1!中国女篮15岁1米90新星崛起:联手新版李梦冲四强

李喜林篮球绝杀
2026-07-17 10:19:48
队报:法国队不想踢季军赛,德尚或让坎特等上场,姆巴佩剑指金靴

队报:法国队不想踢季军赛,德尚或让坎特等上场,姆巴佩剑指金靴

冷桂零落
2026-07-17 10:46:09
夏奇拉携两儿子比弗利山庄夜出聚餐,状态少女感拉满

夏奇拉携两儿子比弗利山庄夜出聚餐,状态少女感拉满

述家娱记
2026-06-21 21:57:51
别骂图赫尔了!英格兰世界杯输球不怪他!阿森纳名宿公开力挺

别骂图赫尔了!英格兰世界杯输球不怪他!阿森纳名宿公开力挺

澜归序
2026-07-17 01:50:55
美军三步布局落地,毁灭性打击待命,看看伊朗这回能硬气多久?

美军三步布局落地,毁灭性打击待命,看看伊朗这回能硬气多久?

壹家言
2026-07-16 13:44:22
2026-07-17 12:16:49
新智元 incentive-icons
新智元
AI产业主平台领航智能+时代
15711文章数 66959关注度
往期回顾 全部

科技要闻

月之暗面发布Kimi K3,参数规模达2.8万亿

头条要闻

特朗普确认出席世界杯决赛 预计将亲自颁发冠军奖杯

头条要闻

特朗普确认出席世界杯决赛 预计将亲自颁发冠军奖杯

体育要闻

逆天6后卫神阵,图赫尔活活坑死英格兰

娱乐要闻

深扒邹市明的情史!爱得太卑微

财经要闻

全球科技股剧烈震荡

汽车要闻

圆滚滚的很可爱 长安启源Q06设计速览

态度原创

家居
时尚
游戏
手机
公开课

家居要闻

2026建博会(广州) 公装联探展交流活动

放暑假的中学生,挤满医院整形科

法老控《京都幻都》幕后:年轻团队打脸折服社长!

手机要闻

Caviar推出世界杯主题限量版手机,梅西C罗定制款售价超万美元

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版