图式学习和重组作为情境学习和涌现的机制

图式学习和重组作为情境学习和涌现的机制

Schema-learning and rebinding as mechanisms of in-context learning and emergence

https://proceedings.neurips.cc/paper_files/paper/2023/file/5bc3356e0fa1753fff7e8d6628e71b22-Paper-Conference.pdf

摘要

上下文学习（In-context learning, ICL）是基于Transformer的大语言模型（LLMs）中最强大、最出乎意料的能力之一。然而，其背后的机制尚不明确。在本文中，我们展示了类似的ICL能力可以通过另一种序列预测学习方法获得，即克隆结构因果图（clone-structured causal graphs, CSCGs）。CSCG的一个关键特性是，与基于Transformer的LLMs不同，它们是可解释的，这大大简化了解释ICL工作原理的任务。我们证明，CSCG中的ICL结合运用了以下几种机制：(a) 学习用于模式补全的模板（模式）电路，(b) 以上下文敏感的方式检索相关模板，以及(c) 将新出现的标记（token）重新绑定到模板中的适当槽位。我们进一步汇集证据，支持LLMs中的ICL也依赖于类似机制的假设。例如，我们发现，与LLMs一样，在CSCGs中，不同的能力会在不同程度的过参数化（overparameterization）水平上涌现，这表明过参数化有助于学习更复杂的模板（模式）电路。通过展示如何能用小型模型和数据集实现ICL，我们为设计新型架构开辟了道路，并向更普遍地理解这一重要能力背后的机制迈出了关键一步。

1 引言

在预训练的序列模型中，上下文学习（ICL），或称少样本提示（few-shot prompting），是指在推理时从上下文（提示）中呈现的一小组示例中学习新任务的能力。令人惊讶的是，在足够数据上训练的大语言模型（LLMs）展现出了ICL能力，尽管它们仅以预测下一个标记（next token prediction）为训练目标 [1, 2]。当前围绕LLMs的许多兴奋情绪正是源于这种意想不到的能力，因为它极大地扩展了其潜在的应用范围。目前理解这种能力的尝试有多种形式，包括使用贝叶斯推理 [3] 的高级规范性解释，以及涉及隐式梯度下降 [4] 或归纳头（induction heads）[5] 的机制性解释。尽管如此，LLMs中ICL背后的机制仍然有些神秘。

我们采用一种替代方法，研究一种称为克隆结构因果图（CSCG）[6, 7] 的序列学习模型，以揭示驱动ICL的条件。我们证明，ICL可以被解释为以下机制的结合：(a) 学习用于模式补全的模板电路，(b) 以上下文敏感的方式检索相关模板，以及(c) 将新出现的标记重新绑定到模板中的适当槽位 [8]。与n-gram模型不同，CSCGs允许在潜在空间中进行传递性泛化：它们为训练期间从未见过的序列赋予语义上合理的非零概率，从而确保用于检索的上下文（提示）并非纯粹的机械记忆。此外，将新标记绑定到已学习模板的槽位中，允许将相同的结构知识应用于全新的输入。我们假设类似的机制可能存在于基于Transformer的LLMs中。通过阐明支撑ICL机制的原理，我们希望为设计用于抽象和泛化的新型架构铺平道路，同时我们识别出的这些构建模块将引导在Transformer中寻找机制上可解释 [9] 和可编辑 [10] 的电路 [11]。

2 克隆结构因果图的再绑定算法

2.1 克隆结构因果图（CSCGs）背景

2.2 CSCG中的再绑定

2.2.1 通过关注惊异实现快速再绑定

通常，环境变化是局部的，这意味着大部分潜在结构和观测映射得以保留，仅少数观测需要被再绑定：例如，仅更换房间内的地毯而墙面颜色保持不变，或者在熟悉的语境中接触到一个新词。这一洞见可被用来推导出一种算法，该算法将发射矩阵的更新仅聚焦于那些被现有模型发现为惊异（surprising）的观测上。

再绑定完成后，我们通过在再绑定后的CSCG中，以所提供的提示为条件执行最大后验概率（MAP）推理来完成提示。我们运行前向的最大乘积算法 [19]（后向消息均为均匀分布），从而为提示之后的标记生成一系列MAP观测值。一旦生成分隔符标记，我们就停止。详见附录B中的算法2。

3 使用CSCG的总体论证框架

3.1 上下文相关的潜在表示与传递性泛化

CSCG的克隆结构允许在语言建模中基于上下文进行分离和适当的混合。例如，单词"bank"在"bank robber"（银行劫匪）中的含义与在"river bank"（河岸）中的含义不同。CSCG学习通过在潜在空间中将它们连接到不同的克隆来消除这些上下文的歧义，从而提高预测准确性。在图2A中，句子"river bank resort"和"one bank robber"使用了"bank"的不同克隆。序列可以具有概率分支："one bank robber"可能以"\n"结束，也可能继续到"eating at river bank resort"或"eating bread and honey"，或者"eating bread and butter at river bank resort"（图2B）。CSCG还允许合并导致传递性泛化的上下文：即使训练数据仅有序列"bread and butter"和"milk and honey"，如果它们经过相同的克隆状态"and"，模型将泛化到"bread and honey"和"milk and butter"，赋予这些序列非零概率。由于上下文相关的分离和传递性的结合，相关的主题、概念和算法被聚类成通过相同克隆的子网络。一个提示的上下文将激活其子网络，而传递性泛化允许处理并非完全机械记忆的提示。正如我们在第4节中展示的，关于ICL的贝叶斯推理视角 [3] 仅对应于这种上下文敏感且具有传递性泛化的存储与检索，不足以解释我们在后续章节中考虑的ICL特性。

3.2 学习灵活的模式（模板电路）与再绑定

就像学习房间布局一样，CSCG可以学习用于序列到序列（seq2seq）算法的自动机电路 [20]。参见图2中用于计算奇偶性、复制序列以及逆转多种长度序列的CSCG电路。图2E中的列表逆转电路绑定到了训练中使用的特定符号A、B、C、D、E。为了用作模板，此图中的槽位必须能够在测试时适当地绑定到上下文中出现的内容（任意符号）[8, 21]。再绑定机制（在算法1中形式化）可以直观地理解为基于预测误差运行——当潜在上下文强烈预测对应于某个时刻的潜在状态，但实际观测不匹配时，再绑定调整发射矩阵，将该潜在状态的所有克隆连接到令人惊异的观测。这种将先前知识与新内容混合及门控的机制，使得训练期间学到的电路能够成为灵活的模板，其槽位可以根据需要动态绑定到新输入。例如，在图2F的列表逆转模式中，标记"["和"]"是用于检测列表开始和结束的先前内容——它们充当将该模式锚定在观测中的锚点。基于列表结束标记"]"的概率分支允许长度泛化，而将与A、B、C、D、E对应的槽位吸收任意符号，则允许算法泛化到新的符号。图2G展示了此再绑定机制的结果，其中发射A、B、C、D、E的槽位分别被重新绑定到输入提示中的符号K、M、N、P、R。类似地，在句子"I wrote in a notebook using a dax"中，再绑定可以通过将新词"dax"绑定到对应于"pencil"或"pen"的克隆上，将其吸收到上下文中，并在那些上下文中使用这个新词。

3.3 基于指令或内容的检索与任务完成

基于内容的零样本任务识别与再绑定：许多引人注目的零样本学习示例涉及从提示中识别任务，并将其应用于新输入。例如，给定一个提示："Input: [p, q, r, s] Output: [p, p, q, q, r, r, s, s]; Input: [l, m, n, o] Output: [l, l, m, m, n, n, o, o]"，大语言模型（LLM）能够推断出任务是将序列元素重复，并应用该规则来完成一个新输入提示的输出，即使与此任务相关的标记"p, q, r, s, l, m, n, o"在训练中未曾见过。再绑定机制为此提供了自然的解释。给定提示后，期望最大化（EM）算法[18]会同时评估针对多个潜在算法模式的不同再绑定方案，以推断出最佳绑定，然后将其应用于完成查询提示。

基于指令的检索：当算法使用预定义的语言指令进行训练时，CSCG会学习到指令子网络，这些子网络直接指向代表算法的电路（见第4.2节）。由于传递性泛化和再绑定，即使使用的语言提示与训练指令有显著差异，也能通过直接提示来检索到相应算法。

3.4 涌现现象

我们假设并在第4节中通过实证表明，涌现现象可以解释为上述特性（上下文分离、传递性泛化、模式形成和再绑定）、模型容量以及数据模式共同作用的结果。在更大的数据集上进行训练，会诱导出更多在较小数据集中可能不存在的模板。学习更复杂算法或数据中更多模式的示意图电路需要更大的模型容量，因为过参数化有助于优化过程。

4 结果

我们通过在三个数据集上的实证结果来论证上述观点：(a) 文献 [3] 中提出的 GINC 基准测试，(b) 我们在 LIALT 数据集中引入的一系列算法学习任务，以及 (c) 在 CSCG 语言模型上的零样本词汇用法归纳任务。

由于词汇表在不同潜在概念间是共享的，GINC 中的观测值像自然语言一样存在混淆，解决该任务需要模型区分混淆的观测值以正确推断潜在概念。

结果：CSCG 学会了对应于 GINC 数据集中五个潜在概念的不同潜在子网络（图 3A），并且对提供的提示进行推理时，能够检索到正确的潜在子网络（图 3C）。增加提示长度可以改善子网络以及子网络内特定状态的定位。图 3C 可视化了在零样本设置（ n = 0
）下，对于一个示例提示解码出的潜在状态分布。解码开始时是不确定的，随着提示变长而改善。这种（在图上的）定位导致了有效的模式检索，从而实现了准确的提示补全。图 3B[左] 报告了 GINC 测试集中每个 ( k , n )
对的上下文内准确率——定义为正确预测的平均比率。CSCG 的上下文内准确率与 [3] 中 LSTM 和 transformer 表现出的模式相匹配，同时性能略有提升。图 3B 还显示，容量更大的 CSCG（即每个词元有 50 个克隆）能更好地分离潜在概念，并且显著优于每个词元只有 10 个克隆的 CSCG。附录 C 中的图 9[左] 展示了 CSCG 的上下文内置信度：对于更大的上下文，CSCG 能更好地消除混淆，平均预测概率更高。最后，图 9[右] 显示，与 [3] 中的 transformer 和 LSTM 类似，当测试提示从未在训练中出现过的概念中采样时，CSCG 的 ICL 会失败。GINC 的结果与第 3.1 节中基于上下文检索的论点相符：此设置下的 ICL 是在提示和模型之间检索共享的潜在概念。通过利用训练文档中概念的远距离一致性，模型学会了将不同概念分离到不同的潜在表示中。尽管训练集和提示的分布存在不匹配 [3]，但由于表示允许传递性混合，CSCG 仍然成功地完成了提示补全。

4.2 学习 seq2seq 算法的模式并通过再绑定实现泛化

训练数据集：为了测试 CSCG 学习能够泛化到训练中未见的新输入上的算法的能力，我们构建了语言指令算法学习任务（LIALT）数据集。LIALT 训练集包含图 4A[左上] 中展示的 13 种列表和矩阵算法的演示。一次演示包含一个由多个词组成的语言指令——每种算法有五个不同的指令——后跟该算法的 10 个输入-输出示例。使用的完整指令列表见附录 D.1 中的表 2 和表 3。对于每条指令，数据集中包含 20 个演示。在一个演示中，语言指令和示例之间由“/”分隔符隔开。不同的演示之间由“\n”分隔符隔开。输入列表和矩阵的值是通过从由大写字母随机配对创建的 676 个词元的词汇表中均匀采样生成的。列表操作的示例长度从 3 到 6 不等，矩阵操作的规模为 2×2 或 3×3。图 4A[左下] 展示了训练数据格式。

测试数据集：ILIAT 包含两个测试数据集，分别包含：(a) 基于指令的检索提示，和 (b) 基于示例的检索提示。基于指令的检索测试提示由一个自然语言指令后跟单个输入组成。基于示例的检索测试提示由一个算法的首个输入-输出示例（不含任何自然语言指令）后跟第二个输入组成。两个测试数据集中的所有列表和矩阵都包含新颖的词元。对于这两种类型的提示，上下文内任务都是预测将算法应用于（最后一个）输入时的输出。请注意，对于基于示例的提示，CSCG 必须从第一个示例推断所使用的算法。每个测试集包含 100 个提示，通过均匀采样指令以及列表或矩阵词元构建而成。图 4A [右]展示了这两个测试集的格式。

学习到的 CSCG（以过分配率 3 初始化）使用堆叠克隆的方式在附录图 10 中进行了可视化。图 6A 展示了使用 Kamada-Kawai 算法 [24] 得到的转移图。它揭示了十三个松散连接的聚类，对应于 LIALT 数据集中存在的十三种算法。图 6B 展示了再绑定过程，针对两个不同的基于示例的提示，给出了学习到的 CSCG 模型在潜在状态上的解码分布。即使在任何再绑定之前，锚点和槽位的识别已经将解码限制在与提示结构兼容的模式上——在此例中是基于括号和分隔符。然而，这种结构不足以完全区分兼容的模式（对应于逆转、循环前移和循环后移的列表操作），两个选定的提示导致了相同的潜在状态分布。因此，第一个 E 步之后的解码分布定位到了这三个兼容的模式上。在随后的 M 步中，所有三个模式中的槽位都将针对此提示进行再绑定。在第一次 EM 迭代结束时，鉴于一致证据，正确模式中槽位的新绑定将具有很高的确定性，而不一致证据将导致其他模式中槽位的绑定不确定。在第二次迭代的 E 步中，绑定中各自的确定性水平随后有助于将正确的算法模式提升为最可能的解码——从而适当地完成提示。注意，在这些示例中，单次 EM 步就足以推导出正确的再绑定。比较图 5 和图 11，以及附录 D.3 节中的表格，可以看出再绑定过程中第一个 EM 步之后的上下文内补全性能与 EM 收敛结束时的性能非常相似。

LIALT 的结果证实了我们在第 3.2 和 3.3 节中提出的论点。基于长期一致性的潜在上下文贝叶斯推理（足以解释第 4.1 节中的 GINC 结果）并不能解释为了在 LIALT 算法上泛化所需的将潜在表示重新映射到全新词元的过程。如果没有再绑定，即使提示包含一个算法的完整长度示例但带有新颖词元，也无法仅基于潜在状态推理来检索到正确的算法模式或产生正确的补全（图 6B，第一行）。相比之下，同时推断再绑定和潜在状态则能准确检索算法模式并正确完成提示（图 6B，第二行）。因此，CSCG 能够学习 seq2seq 算法，并通过再绑定将这些算法泛化到新颖词元上。

涌现：CSCG 在 LIALT 数据集上的 ICL 性能展现了归因于涌现的特性。上下文内准确率明显依赖于 CSCG 的过参数化水平，这为我们在第 3.4 节中的假设提供了支持证据。

5 相关工作

上下文学习：类似于人类通过类比学习的方式 [27] 以及突触可塑性使大脑能够快速适应新任务 [28]，上下文学习（ICL）能力 [1] 使得预训练模型能够在仅给定少量示例的情况下学习新任务。[29, 30] 展示了明确指导推理过程的演示如何提高 Transformer 在新复杂任务上的 ICL 性能。下面我们澄清一些不应与 ICL 混淆的概念，然后讨论一些旨在理解 ICL 及其影响因素的工作。

监督学习（SL）和少样本学习（FSL）：监督学习方法学习一个映射，以最小化训练数据上的损失：梯度方法是一种流行的范式 [31, 32, 33]。在少样本学习中，模型学习从有限数量的监督示例中快速适应新任务 [34, 35, 36]，并在推理时执行此相同任务。相比之下，ICL 任务仅在推理时揭示。[37, 38] 表明，在 ICL 指令上微调 Transformer 可以提高其 ICL 性能。

元学习：元学习范式旨在通过利用多次学习经验，学习仅用少量示例适应新任务 [39, 40, 41]。相比之下，ICL 直接从预训练模型中涌现。[42, 43] 提出了一个用于 ICL 的元学习框架，其中模型经过微调：它学习利用少样本示例并在推理时适应新任务。

ICL 的工作原理：[3] 将 ICL 解释为隐式贝叶斯推理，并构建了 GINC 数据集（见第 4.1 节）来演示 ICL。[44] 将 ICL 抽象为一个算法学习问题，发现 Transformer 可以隐式推断一个假设函数。类似地，[45] 表明，Transformer 可以被训练来对未见过的线性函数执行 ICL，其性能与最优最小二乘估计器相当。[46] 表明，在线性情况下，Transformer 隐式地实现了梯度下降，并在 ICL 示例上训练了一个隐式线性模型。[4] 提出了 Transformer 注意力与梯度方法之间的对偶性，并建议将预训练模型视为元优化器。他们将 ICL 呈现为隐式微调，其中对演示示例的前向传播会产生元梯度。最后，[5] 展示了 Transformer 中存在“归纳头”，它们在训练过程中涌现，复制先前的模式，并驱动 ICL 能力。

影响 ICL 的因素：[1, 47] 指出，LLM 的 ICL 性能会“涌现”，然后在模型规模增大时持续改进。[48] 提出了位置编码的替代方案，并展示了 Transformer 如何学习算法任务的模式，并泛化到比训练期间见过的任何序列都更长的测试序列上。一些工作强调了训练数据在 ICL 中的作用。[49] 表明，当训练数据包含大量稀有类别且示例以聚类形式出现时，ICL 会涌现。而 [50] 证明，当模型在多个语料库的组合上进行训练时，ICL 会涌现，并且低困惑度与 ICL 性能并不总是相关。[51, 52] 发现 ICL 高度不稳定，并受到提示模板、上下文示例的选择以及示例顺序的影响。[53] 表明，ICL 性能受标签空间的暴露、输入分布以及序列的整体格式驱动。类似地，[54] 发现选择与 ICL 测试样本嵌入更接近的 ICL 示例可以提高 ICL 性能，[55] 表明在上下文中添加解释可以提高性能。最后，[56] 最近声称，在更大模型中 ICL 的急剧涌现可能是指标的假象，而非模型的基本属性。

6 讨论

随着将 ICL 解构为模式学习、模式检索和槽位再绑定，未来一个有趣的研究方向将是探究各种序列模型中这些组件各自表现的稳健性——甚至围绕这些原则构建新模型。在此，我们考虑这个框架如何可能映射到最初观察到 ICL 现象的 Transformer 上。

与 CSCG 不同，Transformer 会缓存输入并将位置表示为位置编码，这使得注意力能够根据提示的结构以及内容进行门控。先前的解释 [3, 4] 并未区分序列位置相对于内容的作用；我们认为相关理论可能需要强调这种区分（见图 8A），以充分理解 ICL 背后的归纳偏差。

我们推测（见图 8B），Transformer 的多个层实现了位置和内容的多种混合模板，这些模板在提示的不同偏移量上进行评估。能够自回归匹配提示的模板组合将在竞争中胜出，从而对内容进行门控。再绑定机制仅需要对发射矩阵进行少量迭代的稀疏更新，并且可以在时间上“展开”为前向传播，从而允许在权重固定的情况下实现 ICL 行为，因为槽位分配过程存在于激活空间中。

回到 CSCG 本身，其实现可以通过利用稀疏性和并行化 EM 步骤中的计算来扩展到更大的模型和数据集。允许使用分解的潜在空间并添加跳跃连接，也将在实现可扩展性的同时支持组合性。此外，虽然我们在此阐述了将新符号附加到现有槽位的再绑定概念，但“跨时间”的再绑定也可以针对克隆之间的连接，从而在上下文内实现组合行为。我们将这些探索留给未来的研究。我们这里的目标一直是利用 CSCG 的可解释性来阐明 ICL 行为的一般框架。我们希望这能通过类比的方式，揭开在 LLM 中观察到的 ICL 行为的神秘面纱，展示进一步研究 ICL 能力的途径，并为可解释方法提供广泛动力。

原文链接：https://proceedings.neurips.cc/paper_files/paper/2023/file/5bc3356e0fa1753fff7e8d6628e71b22-Paper-Conference.pdf