KDD 2022 | 中科院计算所提出STABLE：一种无监督高鲁棒性图结构学习框架

近年来，得益于消息传递机制，图神经网络（GNN）在大量基于图数据的任务上取得了卓越的成效，尤其是半监督节点分类任务。 然而，最新的研究表明，GNN在对抗攻击面前是极为脆弱的，尤其是结构扰动。 攻击者只需要对图结构进行微小的篡改就能使的模型分类性能大大下降。

论文链接： https://arxiv.org/abs/2207.00012

一、研究动机

模型的对抗鲁棒性（Adversarial Robustness）在一些security-critical的任务上至关重要，例如欺诈交易检测，欺诈者可以在金融交易图中，通过刻意的和普通用户建立交易关系，来隐藏自己的真实意图。

最直观的提高GNN鲁棒性的方法是对干扰连边进行侦测，找出潜在的扰动并将其删除或者降低对模型的影响。其中一种代表性方法是基于一个pair-wise function 计算任意两个节点 之间的权值，进而给整个邻接矩阵计算出一个权重矩阵（Weights Matrix），最终基于这个Matrix决定一条边在图中的去留，达到优化图结构的目的。

先前的pair-wise function的方法更多的关注如何设计一个巧妙的function来得到一个更准确地Weights Matrix，总体上可以分为两类：

• 
  

  Feature-based：这类方法用节点的原始特征去计算 ，代表方法有GCN-Jaccard，GNNGuard等

  
  

• 
  

  Representation-based：这类方法用基于监督信号获取的representation去计算 ，代表方法有GRCN等

  
  

但这两类方法一定的缺陷，下面是一个在Cora数据集上用MetaAttack进行不同扰动率下攻击的结果。feature-based的方法在扰动率较低的时候，表现甚至不如Vanilla GCN，表现出了明显的performance和robustness的trade-off，这是由于基于特征优化图结构丢失了图中的拓扑信息，在扰动率较低的时候，基于特征删除的正常连边的负面影响大于了删除干扰边的正面影响，从而出现了这个trade-off；另一方面，基于监督信号获取的representation的方法在扰动率较高的时候性能下降明显，这是因为分类器直接受到攻击算法攻击，可以认为基于下游任务学到的representation的治疗和下游任务的表现强相关，在扰动较高的时候质量较低，用于低质量表征优化结构自然很难得到高质量的图结构。

因此，我们认为这类方法的关键也许不在function的设计，而在于得到一个在对抗攻击场景下可靠的表征用于优化结构，我们定义可靠的表征应有以下特点：

• 携带特征信息的同时，包含尽可能多的正确的结构信息

• 与下游任务无关，并对结构扰动不敏感

基于此我们提出了一套无监督的pipeline-STABLE，用于结构优化。

二、方法

2.1 Representation Learning

解决该问题的关键是得到可靠的表征，我们采用了对比学习作为这部分的backbone。一方面对比学习在图上的无监督表示学习问题上的高效性已经得到了充分验证，另一方面，对比学习中的Augmentation策略和Graph Attack有着天然的联系，例如一种常用的生成Augmentation views的方法是对图结构进行随机的扰动，而这也可以看作是在对图做随机攻击（Random Attack），基于这个特性我们可以设计一些更贴近攻防场景的增强策略。

我们设计了两种针对对抗鲁棒性场景的改进策略，训练前的Preprocess和生成Augmentation Views的Recovery。在图上进行对比学习训练之前，我们首先基于简单的相似度策略进行粗略剪枝：

计算任意两个相连节点的相似度，剪去低于一定阈值的那些边。这一步可以对图进行粗略的净化，删除那些容易被侦测出来的干扰边。

第二步生成多个views，将第一步preprocess中删除的边，进行小部分随机恢复来得到一个view。同时对比学习训练中需要有负样本来构成负样本对，我们沿用DGI中随机扰动特征矩阵的方法来获取负样本，训练的目标函数是：

我们采用了全局局部的对比模式，而没有用常见的局部局部。因为攻击者在对图结构进行扰动的时候需要保持unnoticeable，即全局的一个不显明性，这也就决定了攻击对某些节点的局部修改很大，但对全局的影响是比较小的。因此，采用global-local的对比范式，也是在用受影响较小的全局表征对局部表征进行校准。

那么为什么Preprocess和Recover这两个操作可以使得我们得到满足我们要求的表征呢？第一个要求，我们希望包含特征信息以及尽可能多的正确的结构信息，而预处理的粗剪枝和对比学习在图表示学习上的高效性满足了这个要求。第二个要求，我们希望表征对结构扰动不敏感，recovery这个操作本质上可以看作是在对预处理后的图 进行微小的攻击，因为预处理删除的大部分是易察觉的干扰边，那么恢复的也大概率是干扰边，因此可以看作是在以攻击算法的攻击方式生成Augmentation Views。对比学习训练的过程会使得各个view和原图的表征想接近，也就对每个view包含的微小攻击不敏感，从而满足了我们的第二个需求。

2.2 Graph Refining

当得到了高质量表征之后，优化结构就非常简单了，我们只需要基于简单的相似度度量对图进行加边减边，剪去相似度低于阈值的边，并为每个节点连上 个与其最相似的节点。

2.3 Classifier

当结构优化完成了，理论上可以接上任意的下游分类器进行下游任务，这部分以往的方法有许多采用了Vanilla GCN，例如SimpGCN、GCN-Jaccard，而我们发现，GCN的renormalization trick会加重GCN的结构脆弱性。

以往的研究发现，攻击算法更倾向于攻击低度节点，但这只关注了干扰边的一侧的特点，忽视了什么样的节点会被用作fake neighbor，我们定义边的度为两个相连节点的度的和，将图中干扰边和普通边的度分布画了出来：

可以发现干扰边度都较低，也就是说攻击算法会给低度节点连上一个低度邻居，再看一下GCN的renormalization trick：

GCN会给低度邻居分配更高的权重，低度节点的邻居较少，加上一个fake neighbor的影响较大，分配跟高的权重进一步扩大了干扰带来的负面影响。我们的解决方法也非常直观，反其道而行之给高度节点和节点自身特征更高的权重：

对比发现，这个改动能大大增强GCN的鲁棒性：

三、实验结果

我们在四个Benchmark数据集上验证了STABLE的鲁棒性，对比了与其他7种Robust GNN在3种攻击算法下的性能表现。

可以看出STABLE在不同数据集、攻击算法、各种扰动率性能具有一致的优越性。

上图是将三种算法总体剪边数量调整到1000左右，STABLE移除的干扰边最多，准确率最高，具有更准确的结构学习能力。

上图为参数敏感性实验以及在不同扰动率下取得最佳表现的具体参数值，其中 为加邻居数量， 为分类器为邻居节点分配权重的幂值，越高代表给高度节点越高的权重，可以看出随着扰动率的上升，我们应该给节点更多的相似邻居，应该更多的在消息传递的过程中采用高度邻居的信息。

上图为Ablation Study，几种变体含义分别为：

• STABLE-P：没有Preprocess

• STABLE-A：没有Augmentation策略

• STABLE-Ran：采用随机扰动生成Views

• STABLE-K：没有top-k加邻居策略

• STABLE-GCN：下游分类器采用普通GCN

值得注意的是STABLE-A和STABLE-Ran的线条几乎重合，也就是说随机的增强策略和无增强效果接近，表明Recovery的策略切实有效。

四、结论

我们提出了STABLE，一套无监督的结构学习框架。本作的重点是我们认为计算边的权重矩阵的关键不在于function的设计，而在于一个可靠的表征，基于此我们设计了面向对抗鲁棒性的对比学习模型来获取高质量表征，在多个数据集上抵御多种攻击均显著超过了以往的方法。

作者：李宽

Illustration b y Victoriya Belinio from icon s8

-The End-

扫码观看！

本周上新！

“AI技术流”原创投稿计划

TechBeat是由将门创投建立的AI学习社区（www.techbeat.net）。社区上线330+期talk视频，900+篇技术干货文章，方向覆盖CV/NLP/ML/Robotis等；每月定期举办顶会及其他线上交流活动，不定期举办技术人线下聚会交流活动。我们正在努力成为AI人才喜爱的高质量、知识型交流平台，希望为AI人才打造更专业的服务和体验，加速并陪伴其成长。

投稿内容

// 最新技术解读/系统性知识分享 //

// 前沿资讯解说/心得经历讲述 //

投稿须知

稿件需要为原创文章，并标明作者信息。

我们会选择部分在深度技术解析及科研心得方向，对用户启发更大的文章，做原创性内容奖励

投稿方式

发送邮件到

chenhongyuan@thejiangmen.com

或添加工作人员微信（chemn493）投稿，沟通投稿详情；还可以关注“将门创投”公众号，后台回复“投稿”二字，获得投稿说明。

>> 投稿请添加工作人员微信！

关于我“门”

将门是一家以专注于发掘、加速及投资技术驱动型创业公司的新型创投机构，旗下涵盖将门创新服务、将门技术社群以及将门创投基金。

将门成立于2015年底，创始团队由微软创投在中国的创始团队原班人马构建而成，曾为微软优选和深度孵化了126家创新的技术型创业公司。

如果您是技术领域的初创企业，不仅想获得投资，还希望获得一系列持续性、有价值的投后服务，欢迎发送或者推荐项目给我“门”:

bp@thejiangmen.com

点击右上角，把文章分享到朋友圈

⤵一键送你进入TechBeat快乐星球