神经-符号相结合的认知网络模型简介

认知模型既包括模拟人脑神经元工作的亚符号模型，也包括着眼于抽象心智能力的符号模型。而符号模型正是由计算机科学中的知识推理系统演化而来的。在面向认知的预训练框架中，如何将知识这种符号信息与神经网络结合是一个重要的研究课题，也就是所谓的神经-符号结合模型。
ERNIE
预训练语言模型是典型的数据驱动模型，通过在大规模数据上进行学习，该类模型在许多自然语言处理任务上取得了十分优秀的成绩。数据、算法、算力、知识是组成人工智能的四大基础，现有的数据驱动模型在未来的发展当中需要将知识考虑进来，使数据驱动和知识驱动结合起来，做到更有深度的语义理解与推理。
清华大学自然语言处理与社会人文计算实验室在该方向上已作出一系列具有影响力工作。针对预训练语言模型对低频实体建模能力不佳的问题，有研究者提出了使用信息实体增强的语言表示模型（Enhanced Language Representation with Informative Entities，ERNIE），通过引入外部的知识信息：知识图谱（Knowledge Graph，KG）来改善预训练模型。

例如，“鲍勃·迪伦写了《在风中飘》，并写了《摇滚记》”，在这一句话里有两个“写”的描述，但从字面上来看无法了解到“写”的真正意思。在得知“在风中飘”是指一首歌“，摇滚记”是指一本书之后，人们才能知道第一个“写”的意思是写歌，第二个“写”的意思是写书。理解两个“写”的意思可以帮助模型进行关系分类和实体分类：对于关系分类来说，在第一句中人们可以得出“鲍勃·迪伦”和“在风中飘”的关系是作曲者，在第二句中人们可以得出“鲍勃·迪伦”和“摇滚记”的关系是作者；对于实体分类来说，人们可以得出第一句中“鲍勃·迪伦”是一名作曲家，在第二句中“鲍勃·迪伦”是一名作家。由上述例子可以得出外部知识确实能有效地帮助模型对句子的建模，其具体的优势如下：首先，在文本中存在着一些低资源的实体，利用外部的知识图谱可以准确地将其识别；其次，知识图谱可以帮助引入句子相关的额外事实，帮助原文本的理解。
为了抽取和编码知识信息，ERNIE首先在给定的文本中识别出命名实体的对应词汇，然后将这些出现的实体词汇与知识图谱中的实体构建对应关系。考虑到模型不方便直接使用图结构的知识图谱信息，ERNIE选用了知识表示的算法（如TransE）对知识图谱编码，获得实体的表示和关系的表示，然后将实体的表示作为ERNIE的输入。在这里，假设实体的表示携带了知识图谱中相关的事实信息，可以有效增强模型的语言建模能力。通过构建文本和知识图谱之间的对齐关系，ERNIE将知识信息整合入预训练语言模型的语义模型当中。
与BERT类似，ERNIE采用了遮蔽语言模型（Masked Language Model），将下句预测任务作为ERNIE的预训练任务。除此之外，为了能够更好地融合文本特征和知识特征，我们设计了一个新的预训练任务——降噪实体自编码机。实体自编码机首先输入实体的序列，在输出的时候使用词的向量将输入的实体序列还原出来，在自编码机的训练过程中将实体的信息融合到词的向量当中。除此之外，考虑到下游的实体链接结果来自其他模型，可能会存在一些错误，ERNIE在输入的实体序列中随机加入了一些噪声，目的是增强自编码机的鲁棒性。与仅利用上下文来预测单词的现有预训练语言表示模型不同，ERNIE需要融合上下文的信息以及相关的事实信息，以获得一个融合知识的语言表示模型。

KEPLER
从文本中识别出相关实体需要额外的开销，并且存在一定的噪声。研究者们设想如果模型能够同时对文本进行语言模型训练并对符号化知识图谱进行学习，便可以有效学习文本中可能出现的相关图谱知识，因此提出了知识嵌入（Knowledge Embedding，KE）的统一模型和预训练的语言表示（KEPLER），它不仅可以将事实知识更好地整合到预训练语言模型中，而且还可以通过丰富的知识有效地学习KE文字信息。与现有方法相比，作为预训练语言模型，KEPLER具有以下优势：（1）能有效地将事实知识整合到预训练语言模型中；（2）从遮蔽语言模型学习中具备强大的语言理解能力；（3）加入KE的学习目标，增强了KEPLER从文本中获取知识的能力。作为KE模型，KEPLER的优势在于：（1）可以更好地利用来自实体描述的丰富信息；（2）可以对未见过的实体产生表示。
KEPLER是一个联合知识嵌入和文本预训练的模型，它将将事实知识和语言理解结合到一个模型中，使用遮蔽语言模型和图谱表示模型两个训练目标进行联合训练。KEPLER主要针对如何使用预训练模型进行知识表示学习进行了适配。它将实体描述输入文本编码器，得到对应实体的表示向量，再根据知识图谱中的实体三元组（头实体，关系，尾实体），使用文本实体表示和对应的关系表示向量，计算知识嵌入的训练目标函数。如何进一步构建文本和图谱的联系，推动知识在认知计算中的发展仍是一个重要的研究方向。
CorefBERT
人类总结的抽象知识也可以用于指导模型的预训练。语言学家认为指代消解是长文本处理的重要问题，然而现有的模型没有显式地考虑指代信息，使得它们在一些指代相关的任务中表现不佳。为此，有研究者提出CorefBERT，在预训练阶段引入指代消解知识的学习。在自然语言文本中，存在许多由实体重复出现而产生的指代。研究者认为一个实体在一段文本第二次出现时，大概率地与它第一次出现时指代的是同一个事物。基于这个远程监督的假设，研究者进而提出了提及指代预测任务（Mention Reference Prediction，MRP），遮盖重复出现名词的其中一个出现位置，并通过基于拷贝机制的损失函数显式地建立它与其他出现位置的指代联系。使用一个基于拷贝机制的损失函数建立其词与上下文之间的联系，更容易对指代关系进行建模。此外，与遮盖语言建模任务相比，提及指代预测训练任务更鼓励模型建立长距离的指代联系，使模型更好地理解全文。