网易首页 > 网易号 > 正文 申请入驻

AlphaFold2原理:注意力机制取代卷积网络,预测准确性提升超30%

0
分享至

明敏 发自 凹非寺
量子位 报道 | 公众号 QbitAI

最近,DeepMind开源AlphaFold2,让学术圈再一次沸腾了。

这意味着,对于普通研究人员而言曾需要花几年时间才能破解的蛋白质结构,现在用AlphaFold2几小时就能算出来了!

那么,如此厉害的AlphaFold2究竟如何做到的呢?

DeepMind团队已经将它的详细信息在《Nature》上公开发表。

现在,就让我们来看看AlphaFold2的魔法是怎么实现的吧。

卷积消失了,Attention来了

论文中,研究人员强调AlphaFold2是一个完全不同于AlphaFold的新模型。

的确,它们使用的模型框架都不一样,这也是AlphaFold2准确性能够突飞猛进的主要原因。

此前AlphaFold中所有的卷积神经网络,现在都被替换成了Attention

为什么要这样做呢?

我们首先要了解一下AlphaFold的工作原理:

它主要是通过预测蛋白质中每对氨基酸之间的距离分布,以及连接它们的化学键之间的角度,然后将所有氨基酸对的测量结果汇总成2D的距离直方图。

然后让卷积神经网络对这些图片进行学习,从而构建出蛋白质的3D结构。

△AlphaFold主要架构

但这是一种从局部开始进行预测的方式,很有可能会忽略蛋白质结构信息的长距离依赖性

而Attention的特点刚好可以弥补这一缺陷,它是一种模仿人类注意力的网络架构,可以同时聚焦多个细节部分

这样可以使得框架预测的结果更加全面、准确。

在CASP13中,AlphaFold预测的准确性还只有不到60分。

但是在CASP14中AlphaFold2就将准确性直接拔高到了92.4/100。

图网络+Attention

具体来看,AlphaFold2主要利用多序列比对(MSA),把蛋白质的结构和生物信息整合到了深度学习算法中。

它主要包括两个部分:神经网络EvoFormer结构模块(Structure module)。

在EvoFormer中,主要是将图网络 (Graph networks)和多序列比对 (MSA)结合完成结构预测。

图网络可以很好表示事物之间的相关性,在这里,它可以将蛋白质的相关信息构建出一个图表,以此表示不同氨基酸之间的距离。

研究人员用Attention机制构建出一个特殊的“三重自注意力机制(Triangular self-attention)”,来处理计算氨基酸之间的关系图。

△三重自注意力机制(Triangular self-attention)

然后,他们将这一步得到的信息与多序列比对结合。

多序列比对主要是使相同残基的位点位于同一列,暴露出不同序列之间的相似部分,从而推断出不同蛋白质在结构和功能上的相似关系。

计算出的氨基酸关系与MSA进行信息交换,能直接推理出空间和进化关系的配对表征。

预测所有原子的3D结构

架构的第二部分是一个结构模块 (Structure Module),它的主要工作是将EvoFormer得到的信息转换为蛋白质的3D结构。

△结构模块(Structure module)

在这里,研究人员同样使用了Attention机制,它可以单独计算蛋白质的各个部分,称为“不变点注意力(invariant point attention)”机制。

它以某个原子为原点,构建出一个3D参考场,根据预测信息进行旋转和平移,得到一个结构框架。

△不变点注意力(invariant point attention)

然后Attention机制会对所有原子都进行预测,最终汇总得出一个高度准确的蛋白质结构。

此外,研究人员还强调AlphaFold2是一个“端到端”的神经网络。

他们会反复把最终损失应用于输出结果,然后再对输出结果进行递归,不断逼近正确结果。

这样做既能减少额外的训练,还能大幅提高预测结构的准确性。

为破解蛋白质折叠谜题带来希望

Alphafold2的出现,能更好地预判蛋白质与分子结合的概率,从而极大地加速新药研发的效率。

此次Alphafold2开源,将进一步推动科学界前进。

据了解,目前DeepMind已经与瑞士的一些研究团队合作,通过预测蛋白质结构开展药物方面的研究。

事实上,研究Alphafold2预测程序本身,也为探索蛋白质结构折叠原理带来了希望。

芝加哥大学的计算生物学家Jinbo Xu就表示:

这些工具的开源,意味着科学界能够在此基础上开发出更加强大的软件。

论文地址:
https://www.nature.com/articles/s41586-021-03819-2_reference.pdf

补充材料:
https://static-content.springer.com/esm/art%3A10.1038%2Fs41586-021-03819-2/MediaObjects/41586_2021_3819_MOESM1_ESM.pdf*

参考链接:
https://www.zdnet.com/article/deepminds-alphafold-2-reveal-what-we-learned-and-didnt-learn/

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
核打击前最后警告!俄军发射"全球禁止"导弹:乌军关键大鱼被歼灭

核打击前最后警告!俄军发射"全球禁止"导弹:乌军关键大鱼被歼灭

芳芳历史烩
2025-11-03 16:50:33
这下瞒不住了!屠洪刚在大湾区晚会上,唱到一半直接把耳返摘了!

这下瞒不住了!屠洪刚在大湾区晚会上,唱到一半直接把耳返摘了!

小娱乐悠悠
2025-10-01 14:25:29
49岁李湘和16岁女儿,登杂志封面!王诗龄四肢纤细,二人又瘦又美

49岁李湘和16岁女儿,登杂志封面!王诗龄四肢纤细,二人又瘦又美

鑫鑫说说
2025-10-31 10:04:30
红薯正上市,医生提醒:万不可与4样食物一起吃,吃红薯也有禁忌

红薯正上市,医生提醒:万不可与4样食物一起吃,吃红薯也有禁忌

小茉莉美食记
2025-10-24 06:10:03
0-2与2-3落后逆转!王艺迪领奖与小莫开心大笑 世排反超蒯曼升第4

0-2与2-3落后逆转!王艺迪领奖与小莫开心大笑 世排反超蒯曼升第4

颜小白的篮球梦
2025-11-03 04:43:45
仅剩2000万人?比乌克兰投降更可怕的事情是,再打可能亡国灭种了

仅剩2000万人?比乌克兰投降更可怕的事情是,再打可能亡国灭种了

第一心理
2025-11-03 21:30:07
瞿颖没想到,30年被自己拒绝3次的胡兵,如今却给她这么大的回报

瞿颖没想到,30年被自己拒绝3次的胡兵,如今却给她这么大的回报

草莓解说体育
2025-11-04 01:35:46
他中断工作多年,任海军政委,再三考虑:难完成重托,请分配副职

他中断工作多年,任海军政委,再三考虑:难完成重托,请分配副职

雍亲王府
2025-11-03 23:20:03
阿斯麦向美国承诺:只要解放军攻台,立刻远程瘫痪台积电光刻机

阿斯麦向美国承诺:只要解放军攻台,立刻远程瘫痪台积电光刻机

文史旺旺旺
2025-10-27 19:58:04
辛纳重返世界第一无悬念?网友点出阿利西姆难阻意大利人夺冠原因

辛纳重返世界第一无悬念?网友点出阿利西姆难阻意大利人夺冠原因

网球之家
2025-11-02 21:57:42
恭喜!F1车手勒克莱尔官宣与女友订婚 神仙颜值获赞体坛最美眷侣

恭喜!F1车手勒克莱尔官宣与女友订婚 神仙颜值获赞体坛最美眷侣

醉卧浮生
2025-11-03 08:51:25
过年我妈来住9天,丈夫甩了9天脸,婆婆要来,我的话让他哑口无言

过年我妈来住9天,丈夫甩了9天脸,婆婆要来,我的话让他哑口无言

诡谲怪谈
2025-10-23 16:14:01
印度开始围猎江浙沪独生女?有机构研究如何0成本拿下她们背后家产

印度开始围猎江浙沪独生女?有机构研究如何0成本拿下她们背后家产

趣笔谈
2025-09-29 16:51:57
美最高法院将听取关税合法性辩论!特朗普:美国史上最重要案件之一,不会出席

美最高法院将听取关税合法性辩论!特朗普:美国史上最重要案件之一,不会出席

极目新闻
2025-11-03 14:45:34
曝RTX 6090性能碾压5090!AMD新旗舰显卡也要对标

曝RTX 6090性能碾压5090!AMD新旗舰显卡也要对标

游民星空
2025-11-02 10:07:11
八字“七杀”为攻身之物,它对日主身体的破坏性是如何体现的?

八字“七杀”为攻身之物,它对日主身体的破坏性是如何体现的?

酉印文化
2025-09-05 15:19:03
炮王2年约300名女孩,聊天记录不堪入目:“年轻女孩,真好睡!”

炮王2年约300名女孩,聊天记录不堪入目:“年轻女孩,真好睡!”

书画艺术收藏
2025-07-13 19:30:03
心痛!3岁女孩在幼儿园15天被虐待上千次,父亲:不要赔偿

心痛!3岁女孩在幼儿园15天被虐待上千次,父亲:不要赔偿

木言观
2025-10-19 13:49:18
上个月去了趟辽宁锦州,说实话,锦州人的素质让我眼界大开!

上个月去了趟辽宁锦州,说实话,锦州人的素质让我眼界大开!

今日搞笑分享
2025-11-03 11:27:29
王毅应约同德国外长瓦德富尔通电话

王毅应约同德国外长瓦德富尔通电话

新京报
2025-11-03 20:47:05
2025-11-04 03:15:00
量子位 incentive-icons
量子位
追踪人工智能动态
11620文章数 176322关注度
往期回顾 全部

科技要闻

余承东内部信:鸿蒙下一步要实现上亿覆盖

头条要闻

日本组建特种作战旅 主要面向海外作战

头条要闻

日本组建特种作战旅 主要面向海外作战

体育要闻

开拓者官宣召回杨瀚森 队记解析核心原因

娱乐要闻

男导演曝丑闻 蒋欣的含金量还在上升

财经要闻

最新省市GDP:谁在飙升,谁掉队了?

汽车要闻

环比增长28.7% 方程豹品牌10月销量31052辆

态度原创

教育
游戏
房产
本地
家居

教育要闻

康熙身边的洋顾问

小岛秀夫谈最喜欢的死亡搁浅2角色:可惜不能复活他

房产要闻

信达·繁花里 | 老照片征集活动 温情启幕

本地新闻

全网围观,到底多少人被这个野人大学生笑疯了

家居要闻

岁月柔情 现代品质轻奢

无障碍浏览 进入关怀版