GHI：面向方面级情感分析的条件超图关联Graphormer模型

GHI: Graphormer over Conditioned Hypergraph Incidence forAspect-Based Sentiment Analysis

GHI：面向方面级情感分析的条件超图关联Graphormer模型

https://arxiv.org/pdf/2605.22228

摘要：

方面级情感分析（ABSA）要求模型将情感证据绑定到正确的方面上，这使其成为细粒度结构推理的自然试验台。我们引入了GHI，这是一个基于条件超图关联的Graphormer框架，它被设计为一个建立在二分拓扑结构之上的、基于关联的结构推理层。GHI将多样的语言和语义证据表示为词元-超边（token-hyperedge）关联关系，允许通过统一的接口整合不同的结构信号。在六个标准ABSA基准上的广泛实验表明，GHI在SemEval领域上优于所有基线模型，并且多随机种子评估显示，相较于强大的DeBERTa模型，GHI取得了稳定的提升。进一步的实验表明，仅使用2.47亿（247M）个参数，GHI在ISE基准上的性能便接近了基于110亿（11B）参数的Flan-T5方法。此外，它在具有挑战性的ARTS数据集上展现了强大的鲁棒性，在传统模型性能下降的情况下仍能保持极具竞争力的表现。这些结果表明，对于细粒度任务而言，紧凑的结构推理仍然是规模驱动方法的一种有价值的替代方案。

1 引言

方面级情感分析（ABSA）旨在预测针对给定方面词或目标实体的情感极性（Zhang等，2023）。与句子级情感分类不同，ABSA是一项细粒度的证据绑定任务，要求模型分离同一句子中的不同观点线索。例如，如图1所示，该句子对“GPU”表达了积极的情感“great（很棒）”，同时对“price（价格）”表达了消极的情感“expensive（昂贵）”，这要求模型将每个观点线索绑定到正确的方面上。更根本地说，为了进一步区分不同的证据绑定模式，ABSA需要来自不同方向的多样化复杂结构表示。在局部上下文方向上，Zeng等（2019）将注意力限制在以方面为中心的窗口内，使模型专注于附近的观点词。最近的基于融合的模型进一步将语义注意力与句法结构相结合，例如，Jin等（2025）使用Aspect-NA和自适应分层交叉注意力来整合语义和依赖感知特征。另一个方向主要关注图结构。具体而言，Yin和Zhong（2024）将图视角的消息传递与序列视角的Transformer建模相结合，共同捕获句法连通性和语义交互。

纵观现有方法，引入高阶关系或注入复杂结构的ABSA方法可以被视为有助于模型识别和组织与方面相关的证据。此外，它们中的大多数都在孤立的视角中设计每种证据来源。这一观察结果引发了一个普遍的问题：ABSA能否从一个通用的结构框架中受益，通过该框架，多样化的证据可以被表示、扩展和推理？

为了使这一图景更加清晰，我们需要一种既具备多重表示能力又具备可扩展性的结构。出于这个原因，超图提供了一个自然的候选方案（Feng等，2019）。如图2所示，它们的超边设计使得异质的词元组能够在共享的证据单元下连接起来，并且从图继承的结构特性使它们能够扩展到新的来源。同时，最近的研究尝试构建词级关系超图来为ABSA建模高阶关系，进一步展示了它们在高阶推理方面的潜力（Ouyang等，2024a；Ju等，2025；Kashyap等，2025）。

然而，为了对这种复杂的结构进行建模，目前仍缺乏整合多级信息的有效方法。另一个直接的挑战是，当试图融入新知识时，通常很难修改图结构。幸运的是，先前的工作已经证明了全局注意力和动态可扩展性在复杂图结构上的潜力。例如，Ying等（2021）提出了Graphormer，它利用节点之间的最短路径距离（SPD）来实现对复杂图结构的全局注意力。并行地，在计算机视觉领域，Lei等（2025）引入了HyperACE的概念。这项工作展示了自适应超边机制在实践中是如何运作的，为超图的可扩展性提供了新的见解。

基于这些进展，我们提出了GHI，这是一个用于ABSA的基于超图关联的Graphormer（Graphormer-over-Hypergraph-Incidence）框架。GHI将多种证据表示为词元-超边关联关系，以便不同的结构信号可以通过统一的接口被整合进来，同时保持下游推理层不变。在我们的ABSA实例化中，GHI使用了一组规范的ABSA先验知识，包括方面跨度、方面相对局部区域和依赖邻域，并用上下文条件化的自适应超边对特定样本的潜在证据进行补充。此外，通过将超边提升为显式节点，GHI在二分星型展开的词元-超边图上执行Graphormer风格的推理。

总而言之，我们工作的主要贡献如下：

• 我们提出了GHI，这是一个用于ABSA的基于关联的结构推理框架。GHI将语言和语义证据表示为词元-超边关联关系，提供了一个统一的接口，可以自然地容纳不同的结构信号，而无需特定来源的推理分支。

• 我们引入了一种建立在静态-自适应超图设计之上的二分星型展开的Graphormer。通过将多样化的证据提升为显式的推理节点，GHI将词元-超边关联关系转化为二分拓扑结构，并对其应用Graphormer风格的全局注意力。

• 我们在标准ABSA基准、隐式情感评估（ISE）和对抗鲁棒性测试（ARTS）上进行了全面的评估。结果表明，GHI在表现出对复杂语言变化的鲁棒性能的同时，优于强大的基线模型。

2 方法

2.1 概述

我们提出了GHI，这是一个用于ABSA的基于条件化超图关联的Graphormer框架。GHI将结构先验和自适应语义聚类提升为显式节点，从而形成一个用于全局Graphormer注意力的二分星型展开图（由紫色箭头指示）。如图3所示，该框架作为一个统一的关联级路由层运行，其中不同的颜色用于区分不同的证据来源。

具体而言，GHI为确定性的语言证据构建静态超边，并构建以上下文锚点为条件的自适应超边。结合软关联和硬Top-K关联视图，软关联支持可微的词元-超边传播，而硬Top-K关联则实例化了一个稀疏的星型展开拓扑，用于进行带有结构偏置的Graphormer推理。

2.2 任务形式化与编码

2.3 条件化超图关联

2.4 GHI推理层

GHI在条件化关联结构上堆叠了 L L 个推理层。逐层计算流程见附录 B.2。通过将词元和超边都视为显式推理节点，每一层耦合了词元-超边推理的两种互补视图：软关联视图支持在分级词元-超边成员关系上的可微传播，而硬关联视图实例化了一个稀疏的词元-超边二分拓扑。这种星型展开图允许 Graphormer 风格的注意力机制在共享的结构空间内对词元-词元、词元-超边和超边-超边的交互进行建模。

遵循 Graphormer 的设计（Ying 等人，2021），我们从展开图中提取结构编码，包括拓扑连通性和成对关系类型，并将它们作为 Graphormer 结构偏置注入到多头自注意力中。通过这种方式，全局注意力能够感知二分拓扑内的词元-词元、词元-超边以及超边-超边关系。全局更新通过层归一化（LN）简洁地表示为：

2.5 预测与训练

3 实验

我们在统一的评估协议下进行实验。除非另有说明，我们使用标准的训练/测试集划分，并报告准确率（Accuracy）和宏平均F1（Macro-F1）。我们还在附录C中进行了超参数敏感性分析。所有实验细节均在附录A中提供。

3.1 主要结果

表1报告了GHI与先前最先进模型在六个基准数据集上的整体性能。GHI在SemEval领域上尤其优于所有基线模型。在DeBERTa编码器（He等，2020）的驱动下，该框架在Restaurant14上取得了90.97% / 86.40%的准确率 / 宏平均F1，在Laptop上取得了86.08% / 83.74%。值得注意的是，GHI优于知识增强的基线模型（如AGCL（Jian等，2025）），这表明基于关联的结构建模也能提供与外部增强相补充的收益。此外，GHI在多领域数据集上保持了具有竞争力的性能，包括Twitter和具有挑战性的MAMS基准。总体而言，GHI在SemEval领域上展现出显著的性能提升，并且在Twitter和MAMS上仍与强大的基线模型相当。

3.2 受控编码器对比

先前的研究强调了ABSA评估中的可重复性问题和评估不稳定性，表明随机种子、编码器能力和实现细节会显著影响报告的性能（Dai等，2021；Mukherjee等，2021；Yang等，2023）。为了解决这些问题，我们在相同的BERT-base和DeBERTa-base编码器下，跨多个随机种子将GHI与代表性的结构模型一起进行评估，旨在将结构收益与编码器能力和训练方差区分开来。

表2展示了受控评估的结果。我们严格遵循原始论文推荐的超参数配置，并使用多种子设置来观察在相同编码器约束下的相对提升。在这些条件下，GHI产生了稳定且显著的提升。具体而言，与强大的原始DeBERTa基线相比，它在Restaurant14上的准确率/宏平均F1提高了1.00% / 1.91%，在Laptop上提高了1.39% / 1.85%。此外，在相同的编码器约束下，与其他最先进模型相比，GHI保持了具有竞争力的性能。这些结果证实，GHI的提升不仅仅归因于编码器能力或训练方差，而是与其基于关联的推理设计所带来的优势相一致的。

3.3 消融实验

表3展示了GHI的消融实验结果。在SemEval-2014领域上，无关联注意力（w/o Incidence Attention）或无超边节点（w/o Hyperedge Nodes）导致了最严重的性能下降。具体而言，无关联注意力在两个数据集上引起了最大的准确率下降，并在Restaurant14上将Macro-F1降低了2.68%。同时，无超边节点被证明对Laptop数据集的危害最大，使其Macro-F1降低了3.35%。这些结果表明，词元-超边关系不应仅仅被视为临时聚合路径。关联注意力提供了关系感知的词元-超边路由，使模型能够区分确定性的句法链接与较柔和的语义隶属关系。同时，移除超边节点导致的性能下降支持了将结构先验提升为显式推理节点的动机，在这些节点上可以直接对词元-超边和超边-超边的交互进行建模。

在Twitter数据集上，性能下降模式发生了显著变化。与正式的SemEval领域不同，Twitter文本通常较短、高度非正式且句法噪声大，这严重降低了基于解析器派生的固定依赖先验的可靠性。在这种情况下，移除自适应超边（Adaptive Hyperedges）会导致最大的性能惩罚。这表明，当显式句法规律较弱时，从词元和锚点状态动态诱导出的特定样本的语义聚类成为决定性因素。

3.4 隐式情感评估

表4在隐式情感评估（ISE）基准（Li等，2021b）上评估了GHI，这是一个出了名的困难设置，其中句子缺乏显式的观点词（例如，“电池只能续航2小时。”）。仅使用2.47亿（247M）个参数，基于DeBERTa的GHI在Restaurant14上取得了79.64%的F1分数，在Laptop上取得了81.96%，非常接近拥有110亿（11B）参数的Flan-T5+THOR（Fei等，2023），这是一种专门为多步思维链推理而提示的方法。此外，GHI优于其他重量级基线模型，包括GPT3+THOR和标准的Flan-T5提示。这些结果表明，所提出的基于关联的推理在不依赖大型提示语言模型的情况下，提供了具有竞争力的隐式情感建模。

3.5 方面鲁棒性测试

为了评估GHI在面对文本对抗攻击时的鲁棒性，我们使用了现有的对抗攻击数据集，特别是Laptop14-ARTS和Restaurant14-ARTS（Xing等，2020）。表5展示了在ARTS基准上的结果。GHI在两个数据集上取得了最佳的Macro-F1，分别比强大的LSAE（Yang和Li，2024）提高了3.32%和4.33%，突显了GHI在挑战性设置下的鲁棒性。

3.6 分析与可视化

图4总结了由自适应Top-K关联所保留的词元的相对位置。这四个区间分别表示位于方面跨度内、1-2个词元内、3-5个词元内以及超过5个词元的词元。保留的词元主要集中在方面跨度及其邻近上下文周围，而Laptop数据集比Restaurant14保留了更多的中长程词元。这一结果表明，在相同的自适应拓扑结构下，自适应超边在不同数据集中选择了不同的证据范围。

图5展示了两个示例性案例，以说明GHI如何组织与方面相关的证据。橙色方框表示为稀疏自适应拓扑所保留的硬Top-K词元。在这两个例子中，GHI都赋予了信息丰富的证据区域更高的权重。值得注意的是，在第一个案例中，针对"food（食物）"的自适应关联赋予了诸如"simple（简单）"和"satisfying（令人满意）"等远距离观点证据较高的权重，这表明自适应超边可以通过学习到的关联模式在更广泛的上下文中聚合与方面相关的证据。此外，在第二个案例中，对于方面"Startup times（启动时间）"，GHI并未依赖显式的修饰词"long（长）"，而是赋予了具体的时间证据"two minutes（两分钟）"更强的权重。这表明学习到的关联能够捕捉针对目标方面的多词元甚至隐式证据表达。

4 相关工作

结构建模对于方面级情感分析（ABSA）仍然至关重要，在ABSA中，模型必须将情感证据绑定到正确的方面。最近的方法从不同的角度完善了句法、语义和特定方面的结构。

这一方向的早期努力，如Zeng等人（2019），通过LCF机制开创了局部注意力方法。在此基础上，认识到情感推理不能仅仅依赖于狭窄的局部窗口，Jin等人（2025）通过以方面为中心和分层注意力融合语义和句法信息，扩展了这一机制。

超越了仅限于局部窗口等纯序列文本方法的优化，基于图的建模已成为结构表示的主流范式。为了有效地将局部机制整合到图结构中，Wang等人（2024）使用基于距离的句法权重和方面融合注意力来过滤噪声依赖边。为了将这些图结构与强大的全局注意力联系起来，Yin和Zhong（2024）将基于图神经网络（GNN）的图视图与基于Transformer的序列视图相结合。

虽然传统图能有效地捕获成对句法，但基于超图的ABSA进一步探索了超越成对依赖边的高阶关系。Ouyang等人（2024a）从句法和语义关系构建词级关系超图，并应用特定方面的超图注意力，而Kashyap等人（2025）通过特定样本的层次聚类诱导动态方面-观点超边。这些工作表明，超边适合表示多词元情感证据。

将范围从ABSA特定架构扩展开来，图表示学习继续超越局部消息传递而发展。Graphormer表明，结构编码可以注入到Transformer注意力中，从而允许超越局部消息传递的全局图感知交互（Ying等人，2021）。一旦将超边提升为节点，词元-词元、词元-超边和超边-超边关系就可以在同一个注意力空间中进行建模。自然语言处理（NLP）之外的最近自适应超图设计，如YOLOv13中的HyperACE，也突显了动态诱导高阶相关性的潜力（Lei等人，2025）。

为了严格测试这些不同的建模方法，最近的研究为情感推理引入了更具挑战性的评估设置。Fei等人（2023）通过对隐式方面、观点和极性进行多跳推理来研究隐式情感。Yang和Li（2024）在ARTS（Xing等人，2020）上评估鲁棒性，其中分散注意力的情感词和方面-观点不匹配暴露了模型对全局情感捷径的依赖。这些基准测试了模型是否能在隐式、噪声或对抗条件下可靠地绑定证据，因此对于评估基于关联的结构推理的可靠性非常有用。

5 结论

在本文中，我们提出了GHI，这是一个用于ABSA的基于条件化超图关联的Graphormer框架。GHI将异构的语言和语义证据转化为词元-超边关联关系，在保留显式结构控制的同时，避免了特定来源的推理分支。通过软关联传播以及硬关联二分星型展开的Graphormer注意力机制，该框架在一个共享空间中对多样化的证据进行联合推理。综合数据集上的结果证明了这种以关联为中心的设计的有效性。

局限性

GHI目前专注于方面词情感分类，其中目标方面是预先给定的。它不直接处理方面提取、观点提取或端到端的方面-观点对发现。将关联公式扩展到完整的ABSA流水线将需要额外的解码机制或监督来诱导方面、观点及其情感关系。

其次，GHI的有效性仍然可能受到结构先验的质量和受限的超边预算的影响。基于依赖的超边可能会继承来自解析器输出或预处理瑕疵的噪声，而固定数量的自适应超边和Top-K硬关联视图可能会错过高度复杂句子中较弱但有用的关联。

最后，当前的星型展开Graphormer在展开的词元-超边图上使用密集注意力。尽管受限的超边预算使短ABSA文本的计算开销保持可控，但将相同的设计应用于长评论、文档或对话级情感分析可能需要稀疏注意力或分层关联构建。

原文链接：https://arxiv.org/pdf/2605.22228