MoE再下一城！港大提出AnyGraph：首次开启「图大模型」Scaling Law之路

新智元报道

编辑：LRST

【新智元导读】AnyGraph聚焦于解决图数据的核心难题，跨越多种场景、特征和数据集进行预训练。其采用混合专家模型和特征统一方法处理结构和特征异质性，通过轻量化路由机制和高效设计提升快速适应能力，且在泛化能力上符合Scaling Law。

图数据，作为一种不可或缺的数据表现形式，广泛渗透于社交网络、学术科研网络、交通管理系统及生物信息网络等诸多领域。作为最广泛应用的图学习范式，图表征学习致力于学习图中节点的表示向量，融合结构特性与节点特征，以实现精准的预测与分析。

近年来涌现出了大量的图学习方法，包括图神经网络、图自监督学习、图预训练和微调方法、以及图大语言模型。这些方法不断精进图学习模型的建模能力和预测精度，近年的一些方法探索了增强图模型泛化能力的途径。

然而，当前方法普遍依赖于复杂的调优流程，难以灵活应对实际图数据复杂多变的结构与特征特性。当图数据涉及多个领域，且模型在训练阶段未曾见过时，当前模型难以处理，体现了现有方法在跨领域的零样本预测任务上泛化性能的不足。

为了解决这一问题，香港大学的研究人员提出AnyGraph这一图基础模型。

论文链接：https://arxiv.org/pdf/2408.10700

项目地址：https://github.com/HKUDS/AnyGraph

基于图数据的独特性质，AnyGraph聚焦于攻克一下几个方面的核心难题，模型预训练跨越了8种场景、10类特征、以及38个数据集, 以实现搭建图基础模型的目标：

结构和特征异质性

不同应用场景下的图数据，其结构形态千差万别，包括节点连接密度、密集子图分布、数据噪声与缺失情况等。现有的方法，例如图神经网络，往往被训练用于预测一类具有固定特点的图数据，其模型本身的容纳能力，也无法处理真实世界中跨场景的复杂多样数据。

此外，不同数据集往往存在严重的特征异质性。节点特征是图数据的核心组成部分之一，但在不同数据集中展现出极大的差异性。从离散类别到连续数值，从文本嵌入到图统计特征，乃至特征向量的维度都各不相同。如何在零样本场景下处理这些多样化的特征，成为图基础模型必须跨越的障碍。

为了应对结构和特征的异质性挑战，AnyGraph采用混合专家模型（MoE）架构，在模型中集成了同构但参数不同、互不耦合的多个专家图模型。基于一种高效且强大的专家路由算法，将不同的输入数据分配给适合的专家模型进行学习和预测。通过这种方式，AnyGraph可以轻松集成针对不同图数据特点的专家模型，从而达到更强的模型鲁棒性。

另一方面，AnyGraph的每个专家模型都采用了统一的结构和特征统一方法，基于特征值分解方法，专家模型将具有不同维度、不同语义的邻接矩阵数据和节点特征数据，都映射为具有统一长度和相近语义的统一表征。在这一基础上，即使不同数据的表征仍存在一些差异，也可以轻易被专家集成的MoE架构解决。

快速适应能力

一个高效的图基础模型应具备快速适应新数据集和领域的能力，能够在不依赖大量重新训练或微调的情况下，迅速调整其参数和学习策略，以应对未知图数据的挑战。然而，现有的图基础模型通常基于大规模的预训练语言模型，难以进行快速的模型调整。这种对新图域的低效适应性，成为限制图学习技术广泛应用的瓶颈。

针对这一问题，AnyGraph设计了轻量化的图专家路由机制，使用自监督任务来快速评测多个专家任务对输入数据的预测准确性。在不引入额外标签数据的情况下，这一方法可以准确找到最优的专家模型，在仅使用单个专家模型、极少数模型参数的情况下，达到优于与大规模预训练模型的效果。

下图展示了AnyGraph专家路由机制的分配结果，可以看到，同源（例如ML1M和ML10M）以及使用相同特征构建方法（例如YelpT, SteamT, AmazT）的数据集，被分到了同样的专家模型。

此外，AnyGraph的专家模型采用一种简单高效的设计，数据集的大部分信息可以预处理成高度有效的初始表征，而专家模型仅需要采用多层感知机模型，就能通过专家集成达到大规模模型的效果，从而减少模型前向和反向传播的开销。

下图展示了AnyGraph在限定训练步数上花费的计算时间，以及在fine-tune情况下的效果曲线，均展示了AnyGraph在快速适应能力上的优势。

Scaling Law

在视觉和文本领域，大规模基础模型的一个标志性现象是Scaling Law，即随着模型参数量和训练数据量的增加，模型效果不断提升。本文探索了图基础模型是否存在这样的特点。

本文对AnyGraph的多个模型大小影响参数，以及训练数据量进行了调整，以测试模型性能随着这些因素的变化情况。结果如下所示：

可以看到，在零样本预测能力上，AnyGraph保持了随参数量和数据量增长而不断上升的趋势，这一现象在训练数据集上未能观测到。这展示了AnyGraph在泛化能力上符合Scaling Law。这同时也说明，这种突破性的模型性能增长应该在更具挑战性的任务上寻找，例如跨领域的零样本预测。

这种不断增长的突破性模型性能，来源于AnyGraph通用的模型设计，以及其在大量跨领域数据上的充分训练。

参考资料：

https://arxiv.org/pdf/2408.10700