中国科学技术大学团队提出了一种名为 MultiGPrompt 的多任务预训练与提示学习组合的框架,它通过图上多个预训练任务和提示学习,缓解了不同任务间的相互干扰,同时高效地将在预训练阶段学到的多任务知识,迁移到不同的下游任务。与大语言模型中泛用的预训练任务完形填空作为通用预训练范式相比,图具有复杂的结构,难以用单一预训练任务来获得广泛的知识,而多任务预训练框架能够统一地协作不同预训练任务,并在不同下游任务上表现出更好的泛化能力。因此,这种新型框架有望成为通往图大模型的路径之一。
多任务预训练框架具有以下一些优势:
- 知识融合:能够整合不同预训练任务的知识,使模型获得更全面的理解能力。
- 泛化能力强:通过协作不同任务,提升了模型在各种下游任务上的泛化性能。
- 适应性好:可以灵活适应不同的任务需求,提高模型的通用性。
- 效率高:有效利用预训练阶段的学习成果,减少重复训练,提高效率。
- 更好地挖掘图结构信息:针对图结构的特点,更充分地利用图上的信息,提升模型性能。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.