Nature公布21世纪高被引论文，何恺明的ResNet登顶

智东西
编译 陈家阳
编辑 漠影

智东西4月17日报道，近日，Nature杂志对21世纪以来引用次数最多的25篇论文进行了分析，揭示出一个有趣的现象：在科学界，讲述方法和软件的论文比著名的科学发现更常被引用，这些论文主要集中在人工智能（AI）、研究方法或综述、癌症统计和软件研究等领域。

特别值得关注的是，于2016年发表的《应用于图像识别中的深度残差学习（Deep Residual Learning for Image Recognition）》成为21世纪被引用次数最多的论文，何恺明是该文第一作者，当时正在北京的微软亚洲研究院工作。

此外，Nature在这篇分析中还讨论了其他高被引论文，包括改进的图像处理网络架构“U-net”，开源的“随机森林”（random forest）机器学习算法，谷歌研究人员发表的有关Transformer模型的论文等。

▲Nature统计的21世纪10篇被引用量最高的论文

一、ResNet研究位居榜首，何恺明是第一作者

作为计算机视觉和AI领域的顶级科学家，何恺明在学术生涯早期便展现出了非凡的研究才能，在微软亚洲研究院工作期间，因提出深度残差网络（ResNet）而名声大噪。

ResNet解决了深度神经网络训练中的梯度消失问题（即随着网络层数的增加，网络的性能反而可能下降），使得研究人员能够训练约150层的神经网络，比以往使用的神经网络层数多5 倍以上。

该论文在2015年底作为预印本发布，2016年正式发表，随后于ImageNet竞赛中得到验证，并促进各种图像识别任务取得了突破性进展。

ResNet的影响力不仅限于计算机视觉领域，其思想也被广泛应用于现代深度学习模型中。能够下棋的AlphaGo、预测蛋白质结构的AlphaFold以及大语言模型GPT等AI工具的出现，都离不开ResNet，它使神经网络能够达到前所未有的深度，重新定义了深度学习的潜力边界。

“在ResNet之前，‘深度学习’并没有那么深入，”目前在麻省理工学院工作的何恺明说。

作为“深度学习三巨头”之一的杨立昆，曾在采访中对ResNet研究取得的成就表示赞赏，“这显示了全球范围内都存在着杰出的科学家，并且创新的灵感可以源自世界的任何一个角落。”

二、21世纪，AI领域论文的黄金时代

“AI教父”杰弗里·辛顿（Geoff Hinton）表示，AI领域的论文在引用方面具有天然优势，这些领域的论文与许多学科相关，特别是在21世纪AI行业实现快速发展。

不少人把深度学习革命归功于辛顿在2012年合著的一篇论文，其中提到的名为“AlexNet”的网络，在识别和标记图像时以压倒性优势击败了其他方法。这篇论文在此次排名中位列第八，而辛顿另一篇关于深度学习的综述论文排名第十六。

在提出AlexNet三年后，一篇有影响力的论文介绍了名为“U-net”的网络，可以用更少的训练数据来处理图像。该论文现在排名第十二位。其合著者之一奥拉夫·伦内伯格（Olaf Ronneberger）因该论文被DeepMind招募。

2017年，谷歌研究人员在发表的《“注意力就是你所需要的（Attension is All You Need）”》 一文中首次提出了Transformer神经网络架构，通过自注意力机制（self-attention）来提升大型语言模型的性能。这篇论文在本世纪高被引论文中排名第七。

在机器学习领域，许多早期的学术论文是开源的，这也提高了其引用次数。《随机森林（Random forest）》得益于提出开源、免费且易于使用的机器学习算法，而引用量激增，在此次排名中位列第六。

结语：科学方法与软件是影响论文引用量的重要因素

引用，是作者在文献中核实知识来源的方式，是衡量论文影响力的重要标准之一。

Nature通过研究分析表明，被引用次数最多的论文，通常不是介绍著名的科学发现，而是倾向于描述科学方法或软件，即科学家所依赖的基础工具。

“科学家们说他们重视方法、理论和经验发现，但实际上方法被引用得更多，”密歇根大学安娜堡分校的社会学家米沙·特普利茨基（Misha Teplitskiy）指出。这些高引用论文，不仅展示了它们在学术界的影响力，也反映了科学界对方法的广泛认可和应用。

来源：Nature、澎湃新闻