HyperNATE：基于注意力的张量超图神经网络规模化

HyperNATE：基于注意力的张量超图神经网络规模化

HyperNATE: Scaling Tensor-Based Hypergraph Neural Networks Through Attention

http://10.1016/j.neunet.2026.109139

Highlights（亮点）

• HyperNATE 解耦了基于张量的消息传递，以实现可扩展的超图处理。
• 重新设计的注意力机制缓解了过平滑（oversmoothing）现象，并能处理异配（heterophilic）超边。
• 高通滤波改善了异配超图数据集中的特征传播。
• 超边采样降低了熵，增强了在大型异构（heterogeneous）超图上的性能。
• 实证结果表明 HyperNATE 速度快 10-100 倍，且达到了具有竞争力的准确率。

摘要：

超图对于建模复杂系统中普遍存在的高阶交互至关重要，因而需要专门的神经网络架构。超图神经网络（HGNNs）虽已广泛流行，但仍面临关键性局限。基于张量的超图神经网络（t-HGNNs）虽能通过张量表示捕捉丰富的多路依赖关系，却因其消息传递机制带来高昂的计算成本，严重阻碍了可扩展性。此外，许多超图神经网络隐含地依赖于同配性（homophily）假设，限制了其在呈现异配性（heterophily）的数据集上的有效性——在这些数据集中，相连节点具有不相似的特征。为克服上述挑战，我们提出了超图邻域聚合变换器编码器（Hypergraph Neighborhood Aggregation Transformer Encoder, HyperNATE），一种新型神经网络架构。HyperNATE 通过预计算，将计算密集的基于张量的消息聚合过程从主训练循环中解耦。该架构采用变换器编码器设计，利用自注意力机制实现并行化的多跳邻域聚合。关键在于，HyperNATE 在邻域聚合过程中引入了高通滤波器，从而增强了其在异配性场景下捕捉判别性特征的能力，并缓解过平滑（oversmoothing）现象。在节点分类基准任务上的实证评估表明，HyperNATE 的训练速度比基于张量的超图神经网络快 10–100 倍，同时达到了最先进的性能表现。值得注意的是，该模型在大型超图及具有异配性特征的数据集上展现出强劲的能力。

关键词 超图；神经网络；信号处理；节点分类；Transformer

引言

建模复杂系统通常需要捕捉超出简单成对关系的交互作用。超图为这种高阶依赖关系提供了一个自然的数学框架，能够同时表示涉及多个实体的群体交互 Bretto (2013); Juul 等 (2024); Veldt 等 (2023)。跨领域超图结构数据的日益丰富——从分子化学 Chen 和 Schwaller (2024) 和神经科学 Xiao 等 (2019)，到基因组学 Vinas 等 (2023) 和推荐系统 Gatta 等 (2023)——推动了专门的超图神经网络（HGNNs）的发展 Feng 等 (2019)。这些架构通常将图神经网络（GNNs）所普及的消息传递范式 Gilmer 等 (2017) 进行扩展，以在超图结构上运行。

然而，设计有效的HGNNs面临显著困难。在捕捉超图独有的高阶结构信息与保持计算效率之间存在核心张力。许多现有的HGNNs通过简化超图来实现可扩展性，通常通过团扩展（clique expansion）等方法将其映射为标准图 Dong 等 (2020)。尽管计算成本更低，但这种简化可能会丢弃使超图具有强大能力的高阶依赖关系 Wang (2025)。相反，基于张量的HGNNs（t-HGNNs）Wang 等 (2025) 直接利用邻接张量来保留这些多路交互，展现出强大的表达能力。然而，这是有代价的：其基于张量的消息传递（t-MP）涉及复杂且昂贵的操作，导致计算需求高得令人望而却步，尤其在大型超图上更是如此 Wang 等 (2025)。例如，考虑一个超边最大基数为10且包含6个节点的超边的超图，对于单个节点和单个特征，t-消息传递（t-MP）需要经过3003次排列的循环并计算1261次浮点运算。这一瓶颈严重限制了它们的实际应用能力。

除了表达能力与可扩展性之间的权衡外，HGNNs还面临进一步挑战，这些挑战通常继承自其GNN前身。其一是过平滑（oversmoothing）现象，即重复的消息传递导致节点表示变得越来越相似，从而丧失判别力 Chen 等 (2022a)。由于标准消息传递通常充当图信号的低通滤波器，这一问题尤为突出。另一挑战源于普遍存在的同配性（homophily）假设，即相连节点往往相似。许多现实世界的超图违反了这一假设，表现出显著的异配性（heterophily），即连接往往链接不相似的节点 Luan 等 (2022); Telyatnikov 等 (2023)。隐式或显式针对同配性设计的HGNN架构可能在这些常见的异配性场景中表现不佳。

GNNs的最新进展，特别是Transformer架构的使用 Vaswani 等 (2017) 以及类似Hop2Token的邻域聚合策略 Chen 等 (2022b)，提供了潜在的解决方案。这些方法通过将消息传递与主训练循环解耦并利用自注意力机制，可以提高可扩展性并建模长程依赖关系。尽管前景广阔，但直接将这些基于图的方法迁移到超图上是不足够的。后一种方法还会放大GNN中的过平滑问题。具体而言，所实现的消息传递可被视为应用于图信号的一系列低通滤波器 Ortega (2022)。因此，通过聚合越来越平滑的信号，最终的节点表示仅结合了低频谱分量，限制了模型保留高频判别性特征的能力。

这一背景引出了关键问题：首先，我们能否设计一种HGNN架构，使其既能受益于张量表示的表达能力，又无需承担其高昂的计算成本？其次，我们如何缓解此类模型中的过平滑问题？第三，我们能否有效处理异配性超边？

在本文中，我们提出了超图邻域聚合Transformer编码器（Hypergraph Neighborhood Aggregation Transformer Encoder, HyperNATE）以解决这些问题。如图1所示，HyperNATE引入了多项架构创新。首先，它通过将邻域聚合概念 Chen 等 (2022b) 适配于超图来解决可扩展性问题，离线预计算基于张量的消息传递（t-MP）以生成后续Transformer编码器的输入序列（token）。这将昂贵的t-MP与训练循环解耦。其次，为了对抗过平滑并提升在异配性数据上的性能，HyperNATE在预计算阶段引入了高通滤波器，并采用了一种具有单调注意力约束的重新设计的读出（readout）机制。该滤波器保留了区分节点至关重要的信号高频分量，尤其在异配性场景中，而单调注意力则优先关注局部信息。第三，认识到稀疏的输入特征会阻碍有效的t-MP（由于其乘法特性），我们引入了一个独立于图结构训练的特征表示学习模块，以便在邻域聚合之前生成密集且信息丰富的节点嵌入。

本文的主要贡献如下：

• 我们提出了HyperNATE，一种新型的HGNN架构，它将用于表达能力的基于张量的消息传递与用于有效聚合的Transformer编码器相结合，同时通过预计算解耦t-MP来实现可扩展性。

• 我们在邻域聚合过程中引入了高通滤波机制，专门设计用于缓解过平滑并提升在呈现异配性的超图上的性能。

• 我们重新设计了具有单调性约束的Transformer读出注意力，以平衡局部与全局信息的聚合。

• 我们证明了在预计算期间的超边采样可以降低熵，并提升在大型异构超边上的性能。

• 我们通过实证表明，与t-HGNNs相比，HyperNATE显著加快了训练速度（10-100倍），同时在节点分类任务上达到了具有竞争力或最先进的性能。

原文链接： http://10.1016/j.neunet.2026.109139