北京
在这项研究中，我们深入探讨了异构图上的少样本提示学习的挑战。我们引入了HGPrompt，旨在统一同质和异构图之间。具体而言，我们提出了双模板技术，以统一下游任务与预训练。接着我们提出了双提示技术，以缩小由特征和任务间异质性差异所造成的差距。在三个基准数据集上的全面评估进一步展示了HGPrompt的优势，它在性能上一致超越了现有的基线模型。
论文题目： HGPROMPT: Bridging Homogeneous and Heterogeneous Graphs for Few-shot Prompt Learning 论文链接： https://arxiv.org/pdf/2312.01878.pdf 代码链接： https://github.com/Starlien95/HGPrompt 作者主页： https://xingtongyu.netlify.app/一、摘要
图神经网络和异质图神经网络是图学习的重要技术，然而它们基于端到端监督框架，其性能极大地依赖于特定任务的监督信息的可用性。为了降低对有标记数据的依赖，基于无监督的预训练已成为一种流行的范式，但预训练和下游任务之间往往存在差距，这源于它们训练目标的不同。为了弥合这一差距，提示学习已成为一个有前景的方向，特别是在少量样本的场景下中，无需微调预训练模型。
尽管已经有一些图上的提示学习工作，但它们只处理同质图，忽视了下游应用中普遍存在的异质图。在本文中，我们提出HGPROMPT，一种新颖的预训练和提示学习框架，不仅统一了预训练和下游任务，还通过双模板设计统一了同质和异质图。
此外，我们在HGPROMPT中提出双提示，以帮助下游任务获取最相关的预训练知识，以弥合不仅由特征变化，还有任务间异质性差异引起的差距。最后，我们通过在三个公共数据集上的广泛实验，全面评估和分析了HGPROMPT的性能。
二、方法
2.1 双模板统一图形式和任务形式
首先我们介绍统一预训练和下游任务的基础：双模板设计——图模板和任务模板。
2.1.1 图模板
我们提出通过图模板统一输入图的异质性。我们的策略是根据节点类型将异质图 转换为多个同质图。具体来说，给定一个节点类型 ，我们可以从 中提取一个同质子图 ，使得：
通过这种方式，异质图 可以被转换成一组同质图 ，这组图保留了不同图之间的异质性。为了同时保留不同类型间的相互作用，我们进一步考虑一个同质图 ，即它保留了 的完整拓扑结构，但它不区分异质类型。我们称将一个异质图转换成 个同质图的过程为应用图模板，记为 ：
总结来说，图模板统一了下游异质图和预训练中的同质图统一为了同样的形式。同样的，当在预训练中使用异质图时，相同的图模板也可以应用于它们。
2.1.2 任务模板
接下来，为了统一不同任务，我们主要遵循GraphPrompt的方法，通过将不同的任务实例转换为子图，并使用子图相似性计算作为通用的任务模板。然而，在我们的双模板设计中，我们还需要考虑图模板在子图及其相似性计算的形成中的作用。
首先，对于包括链接预测和节点分类在内的节点级任务，我们可以实例化每个节点 涉及的子图 。一个常见的策略是使用广度优先搜索来提取以 为中心的多跳子图。对于图分类任务，因为它的实例已经是图形式，对于图实例 , 。
下一步，我们需要获得子图 的特征表示。如果 是同质的，我们可以使用直接读出。如果 是异质的，图模板被应用来得到一组同质图 ，这些图被单独读出然后聚合他们的特征表示得到 的特征表示。也就是说，
其中子图 ( S ) 的读出层进一步定义为对 ( S ) 中节点特征的聚合：
这里 表示节点 在读出层之前的嵌入。因此，这些任务可以被重新表述为预测（子）图实例之间的相似性。
2.2 预训练
我们采用链接预测任务进行预训练，利用大规模图数据中链接的丰富性作为自监督信息。如图2(b)所示，考虑一个三元组 (0, 1, 2)，其中 (0, 1) 是一条边，而 (0, 2) 不是。它可以用来指导子图相似性的计算，使得
遵循我们的任务模板。通常，我们从预训练图中收集许多这样的三元组作为自监督信息 。然后，预训练损失定义为 ：
预训练阶段输出训练好的模型权重，即 ，这些权重将被直接应用于在接下来将要讨论的下游任务中。
2.3 双提示学习引导下游任务
我们利用基于链接预测的预训练模型来解决下游的节点分类和图分类任务。由于预训练和下游任务的目标不同，我们使用提示学习的范式来弥合差距。不同的下游任务会关注输入图的不同特征，或者不同的异质性信息。因此，我们提出了如图2(c,d)所示的双提示，包括一个特征提示来处理特征变化，以及一个异质性提示来处理不同任务之间的异质性差异。
2.3.1 特征提示
在自然语言领域中，提示基于特定的下游任务，重新构造下游任务的输入，以更好地将下游任务与预训练模型对齐。同样，在图上，一种策略是使用提示修改输入到预训练模型的节点特征，或者是预训练模型的隐藏层或者输出层。
在这里，我们遵循GraphPrompt中的在读出层之前修改节点特征，这使不同的下游任务能够获得与其相关的不同的特征集合上。具体来说，在给定任务上，让 成为一个任务特定的可学习向量，用作该任务的特征提示。在特征提示下，某个子图 的读出层变为：
换句话说，特征提示根据任务的特定需要修改特征的重要性。
2.3.2 异质性提示
异质性提示。当处理一个异质（子）图 的下游任务时，我们需要应用图模板，这需要使用一个额外的层来聚合来自每个同质子图的读出输出。由于存在不同的异质性信息（如不同节点/边类型所示），为了在不同任务中区分不同异质性信息的重要性，我们提出一个异质性提示来修改到聚合层的输入。
具体来说，让
作为特定任务的异质性提示的任务特定可学习向量。注意异质性提示向量具有 维度, 每个维度 都旨在为来自图模板 的第 个子图权重。在提示下, 对于某个子图 , 应用图模板后的聚合层变为：
这给出了子图 的特征表示。因此，提示能够调整子图 基于任务性质所包含的异质信息的重要性。
2.3.3 提示微调
为了对下游任务训练双提示，我们基于子图相似性采用了一种损失函数，其形式与预训练的损失函数一致。考虑一个带标签训练集
其中每个 是一个节点或图， 是 的类 别标签，来自一组类别 。基于此，提示调优的损失定义为
子图和类原型的特征表示 和 是基于提示向量 生成的。在提示微调期间，只需要调整参数量很少的提示向量，而预训练的参数 被冻结，无需任何微调。这种高效的参数调优适用于少量样本学习，即 仅包含少数训练样本。
三、实验结果
在实验部分中，我们命名了两个我们的模型分别为HGPrompt和HGPrompt+：其中HGPrompt用于处理预训练是同质图，但下游任务是异质图的场景；HGPrompt+则用于处理预训练和下游任务都在异质图上进行的场景。
3.1 少样本节点分类及图分类任务
我们沿用GraphPrompt的实验设置，在3个公开异质图数据集(ACM,DBLP,Freebase)上进行了节点分类和图分类任务,并与多个常用的基线模型进行了比较。
实验结果证明，HGPrompt的表现优于所有基线模型，证明HGPrompt能有效统一预训练中的同质图和下游任务中的异质图，从而将预训练知识释放到下游任务上。同时，HGPrompt+取得了比HGPrompt更好的效果，进一步说明了使用图模板来统一异质性信息的有效性。
3.2 样本数目改变时的表现
HGPrompt在我们所关注的少样本场景下，始终表现出优于所有基线模型的性能。随着样本数的增加，一些微调模型的性能超过了HGPrompt，这与提示学习和微调学习各自的优势一致。而HGPrompt+因为在预训练阶段利用了异质性信息，则始终表现出优于所有基线模型的性能。
3.3 消融实验
我们进一步进行了消融实验来分析是否我们的设计是有效的。实验结果证明，我们的双模板和双提示设计都起到了重要作用。
四、结论
在这项研究中，我们深入探讨了异构图上的少样本提示学习的挑战。我们引入了HGPrompt，旨在统一同质和异构图之间。具体而言，我们提出了双模板技术，以统一下游任务与预训练。接着我们提出了双提示技术，以缩小由特征和任务间异质性差异所造成的差距。在三个基准数据集上的全面评估进一步展示了HGPrompt的优势，它在性能上一致超越了现有的基线模型。
Illustration From IconScout By Pixel True
-The End-
扫码观看！
本周上新！
“AI技术流”原创投稿计划
TechBeat是由将门创投建立的AI学习社区（www.techbeat.net）。社区上线500+期talk视频，3000+篇技术干货文章，方向覆盖CV/NLP/ML/Robotis等；每月定期举办顶会及其他线上交流活动，不定期举办技术人线下聚会交流活动。我们正在努力成为AI人才喜爱的高质量、知识型交流平台，希望为AI人才打造更专业的服务和体验，加速并陪伴其成长。
投稿内容
// 最新技术解读/系统性知识分享 //
// 前沿资讯解说/心得经历讲述 //
投稿须知
稿件需要为原创文章，并标明作者信息。
我们会选择部分在深度技术解析及科研心得方向，对用户启发更大的文章，做原创性内容奖励
投稿方式
发送邮件到
chenhongyuan@thejiangmen.com
或添加工作人员微信（chemn493）投稿，沟通投稿详情；还可以关注“将门创投”公众号，后台回复“投稿”二字，获得投稿说明。
关于我“门”
将门是一家以专注于数智核心科技领域的新型创投机构，也是北京市标杆型孵化器。 公司致力于通过连接技术与商业，发掘和培育具有全球影响力的科技创新企业，推动企业创新发展与产业升级。
将门成立于2015年底，创始团队由微软创投在中国的创始团队原班人马构建而成，曾为微软优选和深度孵化了126家创新的技术型创业公司。
如果您是技术领域的初创企业，不仅想获得投资，还希望获得一系列持续性、有价值的投后服务，欢迎发送或者推荐项目给我“门”:
bp@thejiangmen.com
点击右上角，把文章分享到朋友圈
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
