OpenAI稀疏模型突破大模型黑箱困境，首次看清内部推理全过程

（来源：MIT TR）

在大型语言模型推动 AI 加速前行的今天，它们的内部依然是高度不透明的。

我们使用神经网络构建模型，却并不会为它们写下逐条逻辑。模型通过训练自动调整数十亿个权重，直到表现良好。但最终得到的，往往是一个人类难以解读的稠密结构。

在性能迅速演进的同时，“理解模型本身”却几乎没有跟上。而当 AI 已开始影响科学研究、教育、医疗、公共安全等关键领域时，这种理解缺口变得尤其令人不安。

OpenAI 正试图改变这一现状。

近日，OpenAI 研究科学家 Leo Gao 在接受《麻省理工科技评论》的独家采访时透露，他们构建了一种全新的实验性大型语言模型——权重稀疏 Transformer（weight-sparse transformer）。它的性能远不及 GPT-5 或 Claude、Gemini 等主流模型，甚至大致能力仅相当于 OpenAI 于 2018 年推出的 GPT-1（尽管团队尚未做直接对比），但它有一个罕见的特性：可以被人类真正看懂

为什么需要一个能看懂的大模型？

今天的大模型令人着迷，也同样让人不安：它们给出答案，却无法解释为什么；它们可能突然开始幻觉，却没人知道触发因子；它们展现出复杂推理能力，却无人能确定这些能力是否可靠。

主流大模型依赖的是稠密神经网络：每个神经元都和周围层的所有神经元相连。这样的结构很擅长学习，但也把知识打碎在海量连接中，形成一种极难阅读的复杂纠缠。在这种结构中：一个概念会被拆成多个碎片，藏在模型不同角落；一个神经元可能同时负责多个功能；你几乎无法追踪模型完成某个推理的完整路径。正因如此，大模型常被比喻为“让任何人都不敢拆开的飞机引擎”。

OpenAI 的想法是反其道而行，训练一个从一开始就更容易拆解的模型。

OpenAI 选择的方向是机制可解释性（mechanistic interpretability）：不仅要看到模型输出什么，还要逆向工程出模型内部如何得出这个结果。

他们在结构与 GPT-2 非常接近的模型中加入了一个决定性的修改：强制大部分权重为零，让每个神经元只连接极少数其他神经元。这样模型被迫将特征局部化，而不是分散在整个网络中。这种设计的直接效果是：模型速度变慢、模型能力变弱，但模型内部结构变得可读、可追踪、可解释。

这个模型比市面上的任何 LLM 都要慢，但更容易把特定神经元或神经元群组与具体概念和功能对应起来。“模型的可解释性差异非常显著。”Gao 说。

团队用非常简单的任务测试这个新模型，让模型基于 Python 代码判断字符串应以哪种引号闭合。例如：‘hello’必须以单引号结尾，“hello”必须以双引号结尾。模型的算法是：记住开头的引号类型，在结尾复制它。

（来源：OpenAI）

在传统稠密模型中，很难追踪模型如何实现它。但在稀疏模型中，团队清晰看到完整的计算链条：模型将单引号与双引号编码到两个不同通道；MLP 模块将其加工为“是否是引号”与“是哪种引号”；注意力层跳过中间 token，找到开引号的位置；最终复制引号类型作为输出。这是模型内部机制首次以如此清晰的方式呈现。

对于更复杂的任务，例如 Python 代码中的变量绑定，模型内部电路变得难以完全描述。但 OpenAI 仍能够识别出关键路径，例如：一个注意力头将变量名复制到其定义位置；另一个注意力头将类型从定义处复制到变量后续使用处。这种“部分电路”，已经能够预测模型的后续行为。这意味着：即便任务复杂，模型内部的关键机制可能依然是局部结构化的，而非完全混乱的。

能否扩展到 GPT-3 或更大规模？

波士顿学院的数学家 Elisenda Grigsby 对该技术能否扩展到更大的模型持保留意见，因为大型模型必须处理更复杂多样的任务。Gao 和 Mossing 也承认这是当前模型的重大局限，并认为这种方法永远无法达到 GPT-5 那样的性能。但 OpenAI 相信，通过改进技术，未来可能构建出透明度与 GPT-3 相当的模型。

“也许几年内，我们就能拥有一个完全可解释的 GPT-3。你能走进它的每一个部分，理解它如何完成每一项任务。”Gao 说，“如果我们能拥有这样一个系统，我们将学到太多。”

无论能否扩展至超大规模模型，OpenAI 的实验正在推动一个核心问题走向更清晰的未来：我们能否让大模型从“强大但不可控”的黑箱，变成“透明且可信赖”的系统？

机械可解释性研究仍处在开端，但像权重稀疏 Transformer 这样的实验模型，让我们第一次看到了更透明、更安全的 AI 可能是什么样子。

这不是为了建造最强的模型，而是为了回答一个关乎未来 AI 的根本问题：我们能否真正理解正在改变世界的模型？

1.https://www.technologyreview.com/2025/11/13/1127914/openais-new-llm-exposes-the-secrets-of-how-ai-really-works/

2.https://openai.com/index/understanding-neural-networks-through-sparse-circuits/