AI牛顿炮：Succinct Representations for Concepts

https://arxiv.org/pdf/2303.00446

概念的简洁表示

Succinct Representations for Concepts

摘要

诸如ChatGPT之类的基础模型已在各种任务中展现出卓越的性能。然而，面对许多问题时，它们可能会生成看似准确实则错误的答案。我们应如何训练模型以精确理解这些概念？在本文中，我们引入了基于范畴论的概念简洁表示方法。这种表示方法在各种任务下能够产生概念层面的不变性属性，从而衍生出一种全新的学习算法，该算法能够以可证明的方式准确学习复杂概念或纠正错误认知。此外，通过递归展开这些简洁表示，可以生成分层分解结构，并通过逐一审查分解结构中的各个部分来手动验证该概念。

引言

现有的基础模型（如ChatGPT）功能强大，但也面临着一个重大挑战：在不知道正确答案的情况下，它们可能会生成难以察觉的错误表述。理想情况下，模型应当精确理解概念，并诚实地表明其已知与未知的内容，从而使用户能够充满信心地信任其回复。

教导模型掌握某个概念的一种方法是让其通过不同的任务进行学习。例如，如果一个模型能够绘制各种狗的形象、准确区分狗和猫、正确识别狗有四条腿和两只耳朵，并能出色地完成各种其他与狗相关的任务，那么该模型很可能理解了“狗”的概念。然而，这种方法可能并不完备，因为某些重要情况可能未被涵盖。从理论上讲，只有当模型通过了所有可能的任务时，我们才能断定其完美地理解了该概念，而这在学习或评估上通常是计算不可行的。

在本文中，我们证明了为给定概念生成简洁表示是可行的。通过这种方式，我们有效地将“通过所有可能任务”的问题转化为“寻找正确表示”的问题。这种转化保持了概念功能的不变性，即在任何可能的任务中，用其表示替换原概念都会产生等效的输出。基于这一不变性，我们引入了一种全新的学习算法，在给定足够采样任务的前提下，该算法能够以可证明的方式准确学习复杂概念或纠正错误认知。

通过将“评估所有可能任务”转化为“评估其表示”，给定概念的验证过程也能得到显著简化。然而，天下没有免费的午餐。表示虽然简洁，但为了进行准确验证，必须递归地评估表示内部的子概念。这种表示的递归展开具有有限深度，因为并非所有概念都存在简洁表示。例如，什么是“爱”？什么是“时间”？这些基本概念无法进一步分解。换言之，我们将验证复杂概念这一艰巨任务，分解为对一个层次化分解结构的验证，其中基本概念作为叶节点，同样需要接受验证。

然而，值得指出的是，诸如ChatGPT之类的基础模型由于在大规模数据集上进行了预训练，并经历了数十亿次任务的检验，对相对简单的概念已具备准确的理解。因此，当剩余部分看起来显然正确时，给定概念的学习或验证过程可以在层次分解的任意层级提前终止。

形式化地看，什么是概念？给定一个范畴C，将C中的所有对象视为概念似乎是顺理成章的。例如，当C为自然语言范畴时，“墙”和“钟”都是基本概念，而它们的组合“挂钟”同样是一个概念。然而，并非所有概念都是可表示的，或者说，并非所有概念在C中都有正式的名称。相比之下，预层范畴比C大得多，预层能够捕捉那些不可表示的概念。具体而言，预层可以被视为对象的一种自然扩展，因为每个对象X都对应一个预层Hom_C(·, X)（或Hom_C(X, ·)），但反之则不成立。因此，在本文中，概念被定义为一个预层。

我们的概念约简采用了范畴论视角，即若两个事物同构，则视其为等价。以“挂钟”为例，它可以被表示为“可以挂在墙上的钟”。由于“买一个挂钟”等价于（或同构于）“买一个可以挂在墙上的钟”，因此这种表示能够顺利通过在“买一个____”这一句式中被使用的任务。

既然同构意味着等价，那我们为何还要关注任务呢？似乎对于给定概念A，只需找到任意满足X ≃ A的X作为A的表示即可。然而，如果X并非一种分解形式，仅知晓X与A之间的等价关系，并不能为模型关于A的知识储备提供充分信息。此外，即便X ≃ A是一种分解，X中的子概念也必须在所有可能的任务中完美替代A，才能使对A的层次化学习或验证成为可能。因此，除了对象层面的同构外，任务层面的同构同样不可或缺。

为了刻画这些任务层面的同构，我们首先需要定义所有可能任务的集合。在范畴论中，我们关注两类任务：态射和函子。对于给定概念A ∈ C，态射为Hom_C(·, A)或Hom_C(A, ·)，用于捕捉A与C中另一对象之间的关系；而函子F: C → C'则将F(A) ∈ C'作为计算输出。概念A的简洁表示只有在任何任务中用该表示替换A都能产生等效结果时才是有效的。正如我们将要展示的，有两种表示满足这一标准，分别记为“lim→”α和“lim←”β，其中α: I → C，β: I^op → C。尽管这些表示的形式化定义难以直观理解，但我们注意到，它们可以被通俗地视为概念的“定义”与“归纳”——这是人们日常使用的两种便捷工具。给定概念的定义或归纳未必唯一，正如本文中的极限一样。

在范畴论中，极限与概念表示的等价性似乎不过是一个令人惊讶的重言式。然而，当我们聚焦于学习场景时，情况便截然不同。具体而言，我们的目标是利用基础模型f: C → C∧（或C∨）来学习范畴C（参见Yuan, 2022）。在此设定下，态射、函子和极限均是未知的，因此f的输出未必准确。我们假设存在一个极限提取器g，它能为概念A输出极限g(f, A)。此类提取器已内置于诸如ChatGPT之类的基础模型中。当你使用“请定义A”或“你能提供A的典型示例吗？”等提示词时，模型会生成对应于射影极限或归纳极限的高质量（但未必准确）描述。

由于f并非绝对准确，C中固有的不变性便成为了f理想的训练目标与验证标准。我们的核心定理指出：如果通过递归展开（子）概念的简洁表示所获得的A的层次化分解满足不变性，那么f就精确理解了概念A。这一刻画直接推导出了算法2、算法3和算法4，它们能够以可证明的方式为f学习和验证概念。

本文的主要贡献包括：

• 建立了概念学习与范畴论中极限之间的联系。

• 提出了能够以可证明的方式准确学习或验证概念的新算法。

• 将概念验证转化为对相应层次化概念分解的评估，当叶节点被确认为准确时，这一过程对人类而言便具备了可行性。

2 预备知识

范畴论被应用于几乎所有的数学领域。在此，我们仅介绍理解本文结果所必需的基本概念。感兴趣的读者可参阅 Mac Lane (2013)、Riehl (2017) 以及 Adámek 等人 (1990) 的著作，以获取更全面的介绍。

2.1 范畴论基础

2.3 归纳极限与射影极限

3 概念

我们首先给出概念的形式化定义，以及给定概念的有效分解。

3.2 归纳极限与射影极限作为表示

事实证明，前述问题在预层范畴中可以轻松解决。此外，从深度学习的角度来看，使用特征空间而非输入空间进行运算更为便捷。正如 Yuan (2022) 所讨论的，神经网络的特征空间可以被视为预层的经验表示。

引理8直接适用于预层范畴，并表明这些分解在任何函子 F F 下都是有效的。因此，很明显，归纳极限和射影极限是概念的更优表示。我们有以下定义来区分基本概念和复杂概念。

有趣的是，如果一个预层既不可表示，也不同构于任何极限，那么它既不是基本概念也不是复杂概念。我们在本文中不考虑这些情况。因此，当我们在下文讨论一个概念时，我们假设它要么是基本的，要么是复杂的。

3.3 概念迁移

如果概念被定义为极限，我们能否将概念从一个范畴迁移到另一个范畴？这直接关系到函子如何保持或反映极限。

3.4 定义、示例与类比

直观地看，射影极限和归纳极限可以被视为学习新概念的两种方式：通过定义学习和通过示例学习。具体而言，射影极限捕捉了支撑该概念的底层元素，而归纳极限则捕捉了表示中底层示例所共有的相似性。

具备类比能力非常重要。例如，人类可能会向 ChatGPT 提出诸如“如何毁灭世界？”这样的危险问题。我们当然不希望 AI 回答这个问题。研究人员努力过滤这些危险问题，但经验表明，用户有足够的创造力来生成语义不同但本质上相似的问题，从而绕过过滤机制。为了解决这个问题，我们可以阻止 AI 回答任何包含与危险概念相似的概念的问题。另一方面，如果问题包含的概念与任何危险概念都截然不同，那么输出答案应该是安全的。

4 算法

4.1 层次化分解

4.2 分解示例

假设我们想要分解“动态规划”这一概念，它可能同时具有（一个或多个）归纳极限和射影极限。作为射影极限，它意味着“一种将原问题分解为子问题，并递归求解子问题的算法”，由一个图来表示。作为归纳极限，它可能包含不同类型的动态规划，例如一维数组上的动态规划、二维数组上的动态规划、高维数组上的动态规划、图上的动态规划等。

大部分子概念都可以被进一步分解。例如，“子问题递归”这一概念可能具有一个射影极限，用于描述如何递归地执行子问题直至边界情况。在此描述中，可能存在诸如“for循环”之类的子概念，通过图的类比，它与“while循环”这一概念相似。“一维数组上的动态规划”这一概念可能具有一个射影极限，用于描述如何将问题转化为一维数组形式、如何存储最优状态、如何定义递归等。

借助海量的训练数据，基础模型所使用的图可能会包含更多细节，但层次化分解的整体结构应当是相似的。

4.3 主要结果

验证概念有两种算法。算法 3 与算法 2 类似，它通过采样各种任务来验证概念。算法 2 和算法 3 都可以通过调用算法 1 扩展至层次化分解，此处我们省略了具体细节。

5 讨论

现代数学的几乎所有分支都可以用范畴论来描述，而复杂的数学概念是利用不同范畴中对象的极限来定义的。一个定理（或引理）可以被视为两个概念之间的同构。因此，可以设想，在使用我们的算法准确学习这些概念后，人工智能将能够解决数学问题。

此外，还有许多其他的应用。例如，它可以用于编程。程序的每个子程序都具有特定的功能，这对应着一个概念。如果我们能学习到一个将概念从自然语言范畴映射到程序范畴的函子，人工智能将能够根据语言提示自动编写代码。尽管ChatGPT在生成代码方面已经展现出惊人的能力，但在学习这些概念之后，它将能够进行更深层次的思考。

此外，我们将概念表征为预层，这很好地解释了为什么现有的基础模型非常擅长围绕知名人物创作看似合理但纯属虚构的故事。例如，如果我们要求ChatGPT“讲述奥德修斯会对孔子说些什么”，它将根据他们各自的信仰和价值观生成一段长篇对话。这种对话在训练数据中显然从未存在过，但模型通过学习其他相关材料理解了奥德修斯和孔子，并将他们编码为高维向量，以近似他们对应的函子（即预层），从而能够预测他们在所有可能任务（包括一场假设性的对话）中的行为。换言之，当模型看到“奥德修斯”或“孔子”这样的词语时，它看到的不仅仅是这些词语本身，还包括所有的关系和属性，就像我们人类一样。

原文链接：https://arxiv.org/pdf/2303.00446