ICLR 2024 | BioBridge：通过知识图谱桥接生物医学基础模型

在生物医学领域，基础模型 (FM) 可以从大量未标记的科学文献、蛋白序列、SMILES等数据中学习，在各种单模态任务中展现出了卓越的性能。在训练中引入多模态数据，联合优化单模态编码器能够进一步提高FM的性能。然而，当扩展到三种以上模态时，这种方法会遇到计算成本、数据稀缺等问题。

生物医学知识图谱包含由头、尾生物医学实体以及关系表示的三元组结构信息，涵盖了蛋白质、分子和疾病等丰富的模式，使得全面的生物医学分析和机器学习成为可能。因此作者提出了BioBRIDGE方法，保持所有单模态模型固定，从生物医学知识图谱中学习跨模态转换。

论文标题： BioBridge: Bridging Biomedical Foundation Models via Knowledge Graphs 论文链接： https://arxiv.org/pdf/2310.03320

一、贡献

本文的主要贡献有：

（1）创建一种通用桥接机制BioBRIDGE，能够有效连接任何模态对的表示，桥梁模块由知识图谱中丰富的结构信息进行监督，而单模态FM的参数保持冻结以提高计算效率。

（2）桥接单模态FM的方法在多种跨模态预测任务中具有竞争力，可以外推到训练知识图谱中不存在的节点，其性能与监督基线相当，并泛化到训练图谱中不存在的关系，通过进一步训练来提高性能。

二、方法

与对比学习、中心模态对齐等方法不同，BioBRIDGE 保持所有单模态基础模型的参数固定，学习如何在单模态FM中进行转换的桥接模块，方法对比如图1所示：

图1 BioBRIDGE与其他方法对比

该方法的具体流程如下：

（1）在训练阶段，从PrimeKG中采样三元组，保持单模态FM参数冻结，获得头尾实体的原始嵌入。训练一个桥接模块，将头节点嵌入转换到尾节点空间，使用InfoNCE损失进行对比学习，损失函数如下：

其中 是经桥接模块转换后的嵌入， 是目标尾实体的原始嵌入， 是采样的负样本数量， 是温度参数。

（2）在预测阶段，BioBRIDGE并不使用KG进行推理，而是通过单模态模型和桥接模块组合获得实体在目标空间的嵌入，通过矩阵内积等相似性计算方法进行搜索，实现跨模态预测。

（3）在生成任务中，桥接模块支持检索增强生成的多模态提示，检索识别输入分子的潜在蛋白质靶标、分子的疾病适应症、蛋白质的相关疾病、基因本体中的相关术语等，丰富语言模型或其他下游生成模型的输入。

图2 BioBRIDGE整体流程图三、实验

在跨模态预测任务中，研究者设计了域内实体+域内关系、域内实体+域外关系、域外实体+域内关系三组实验来测试 BioBRIDGE 的预测能力。

域内实体+域内关系实验中，输入实体的类型和输入关系都存在于训练知识图谱中。以图3跨模态检索为例，在七个任务中，BioBRIDGE超过了所有的KGE方法，这是因为专门的 KGE 算法完全基于知识图谱从头开始学习节点和关系嵌入，而BioBRIDGE建立在已经拥有丰富先验知识的预训练基础模型之上，能够以更加数据高效的方式桥接模式。此外，BioBRIDGE 在 KG 中三元组较少的任务，如Protein→MF上比基线获得了更高的提升。

图3 跨模态检索任务

在域内实体+域外关系实验中，作者选择了蛋白质-蛋白质相互作用（PPI）预测任务，该任务旨在对一组蛋白质的7种相互作用类型进行分类，其中除binding外的6种类型都不包含在训练图谱中。如图4所示，BioBRIDGE在大多数情况下都显示出相对于基线的一致改进，并且在 SHS27K 等样本较少的数据集上表现出更大的优势。

图4 PPI任务

在域外实体+域内关系实验中，作者设计了跨物种蛋白质表型匹配任务来测试 BioBRIDGE的跨模态转换能力。从小鼠基因组信息学 (MGI) 资源构建小鼠蛋白质和相关小鼠表型的数据集，充当域外实体；将编码的小鼠蛋白质嵌入转换为具有“关联”关系的“疾病”空间；使用Recall@K、Precision@K、nDCG@K一套排名指标来评估匹配性能。

由图5所示，BioBRIDGE 显示出比微调模型的性能提升，无需进一步训练即可转移到新领域。在小鼠蛋白质与人类表型匹配任务中，BioBRIDGE 利用了基础 FM 关于蛋白质和人类疾病的先验知识，远超微调模型表现，展示了该方法在新型生物信息分析的潜力。

图5 跨物种蛋白质表型匹配任务

在多模态生成任务中，BioBRIDGE可以实现跨模态问答增强和跨模态生成增强。以问答为例，输入一个分子/蛋白质和一个问题，BioBRIDGE可以充当跨模式检索器，检索识别输入分子的潜在蛋白质靶标、分子的疾病适应症、蛋白质的相关疾病、基因本体中的相关术语等，作为上下文丰富并提示LLM回答。

图6 BioBRIDGE多模态问答增强四、总结

本文提出了利用知识图谱桥接单模态生物医学基础模型实现多模态任务的的BioBRIDGE方法。由生物医学知识图谱的关系信息进行监督，BioBRIDGE 可以有效地将嵌入转换为目标模态，并且只需要训练桥接模块，具有很高的参数效率。BioBRIDGE 可以通过推断域内/域外实体和关系来处理各种跨模式预测任务，还支持具有多模式输入的生成任务，所产生的性能与有监督的专家模型相当，展现了知识图谱和基础模型相结合的范式在跨模态任务中的巨大潜力。

作者：李晓彤 来源：公众号【开放知识图谱】

llustration From IconScout By IconScout Store

-The End-

扫码观看！

本周上新！

“AI技术流”原创投稿计划

TechBeat是由将门创投建立的AI学习社区（

www.techbeat.net

投稿内容

// 最新技术解读/系统性知识分享 //

// 前沿资讯解说/心得经历讲述 //

投稿须知

稿件需要为原创文章，并标明作者信息。

我们会选择部分在深度技术解析及科研心得方向，对用户启发更大的文章，做原创性内容奖励

投稿方式

发送邮件到

melodybai@thejiangmen.com

或添加工作人员微信（yellowsubbj）投稿，沟通投稿详情；还可以关注“将门创投”公众号，后台回复“投稿”二字，获得投稿说明。

关于我“门”

将门是一家以专注于数智核心科技领域的新型创投机构，也是北京市标杆型孵化器。 公司致力于通过连接技术与商业，发掘和培育具有全球影响力的科技创新企业，推动企业创新发展与产业升级。

将门成立于2015年底，创始团队由微软创投在中国的创始团队原班人马构建而成，曾为微软优选和深度孵化了126家创新的技术型创业公司。

如果您是技术领域的初创企业，不仅想获得投资，还希望获得一系列持续性、有价值的投后服务，欢迎发送或者推荐项目给我“门”:

bp@thejiangmen.com

点击右上角，把文章分享到朋友圈