2024 ACM计算奖出炉！ETU教授、超算架构革命者获奖，贡献加速ChatGPT诞生

新智元报道

编辑：编辑部 ZKY

【新智元导读】就在刚刚，2024 ACM计算奖出炉！苏黎世联邦理工学院Torsten Hoefler教授获奖，理由是对高性能计算HPC及持续推进的AI革命的贡献。在20多岁时，他就完成了许多重要工作，这证明年龄绝非在CS取得突破的障碍。

2024 ACM计算奖揭晓了！

当地时间26日，美国计算机协会正式公布「ACM计算奖」，颁给了苏黎世联邦理工学院Torsten Hoefler教授。

获奖原因，因对高性能计算HPC及持续推进的AI革命做出了基础性的贡献。

Hoefler的工作使得如今的深度学习工作负载加速了10到1000倍，惠及了数十万名AI和HPC程序员，由此受益的总人数可达数百万。

ACM计算奖旨在表彰职业生涯早期至中期的科学家，其研究成果不仅具有开创性，更对计算机领域产生了深远广泛的影响。

历届获奖者包括谷歌AI掌门人Jeff Dean、AlphaGo之父David Silver等领军人物。

本年度奖项奖金高达25万美元。

超算架构革命者，开创分布式计算基石

从MPI 3到3D并行性，再到高性能网络设计，Torsten Hoefler用他的智慧和创新，重新定义了超级计算机的能力边界。

ACM主席Yannis Ioannidis对其评价道，「Hoefler在学生时代，便提出了多项关键创新，这些创新至今仍是大规模并行系统编程的标杆，赋予了这些系统的卓越能力，从而推动了AI、自然科学及其他诸多领域的显著进步」。

Infosys首席执行官Salil Parekh表示，「Torsten Hoefler在推动高性能计算方面做出了重要贡献，这一进展也极大地促进了当前AI革命的到来。Hoefler的许多重要工作是在他20多岁时完成的，这充分证明了年龄绝非在计算领域取得突破的障碍」。

高性能计算AI

他的贡献构成了现代高性能AI系统的核心部分，用于训练大语言模型等。

Hoefler的工作惠及了数十万名AI和HPC程序员，从这些技术和社会变革中受益的总人数高达数百万。

Hoefler教授不仅开发了现代超级计算机的许多核心功能，还定义了在这些计算机上分发AI模型的关键算法。

从此，大型系统的能力被彻底革新，AI算法可以在数十万个节点（计算机或服务器）上进行处理。

在整个超算系统层面，他都做出了诸多创新，为大规模并行集群的使用开辟了新局面，突破了并行系统设计的边界，显著提升了超算的性能和可扩展性。

这些创新，已被纳入当前最大、最强大的超级计算机中。

3D并行性

他是最早发现并推广「3D并行性」这一现象的学者之一，这一概念已成为整个AI行业基础设施设计的驱动力。

图1：具有32个worker的3D并行性示例。

他和他的合作者继续开发了更多创新技术，如高效流水线、稀疏通信、模型稀疏性和量化等。

这些算法贡献使得如今的深度学习工作负载加速了10到1000倍。

同样值得注意的是Hoefler教授在基准测试和可重复性方面的奉献。

他在建立基准测试和可重复性的最佳实践方面的开创性工作，为高性能计算（HPC）研究的严格性和透明性设立了黄金标准。

路由协议和网络拓扑

Hoefler教授在超级计算机的可扩展网络设计方面的贡献，彻底改变了大型系统的能力，使其能够扩展到成千上万的节点。

他在互联网络方面的专业知识，包括他早期在InfiniBand优化方面的工作以及在消息传递接口（MPI）发展中的重要角色，为大规模并行集群的使用提供了全新的可能。

此外，他在新型网络拓扑、路由、拥塞避免和性能等方面的诸多创新——

包括对Slim Fly、PERCS和HammingMesh的关键贡献——

不仅推动了网络设计的边界，还转化为超级计算机性能和可扩展性的显著提升，现已被当今最大的机器广泛采用。

这些贡献构成了现代高性能AI系统的核心部分，这些系统被用于训练大模型，如ChatGPT。

他和团队为InfiniBand开发的低级网络路由协议，支撑着数千台AI和高性能计算（HPC）超级计算机。

InfiniBand系统结构图

高性能计算MPI

Hoefler教授是MPI 3规范的主要贡献者之一。

在MPI-3标准的制定过程中，他曾主持「过程拓扑」和「集体操作」工作组。

MPI作为一种行业中的非正式标准，主要用于高性能计算网络中独立节点之间的信息交换。

Hoefler主导的MPI-3标准于2012年正式实施，近几年在模拟与AI应用领域取得的许多关键计算突破，都是奠基于这项标准之上。

他开发的非阻塞集体操作(Nonblocking Collective Operations)，如Iallreduce、Iallgather和Ibcast，以及它们在各类集体通信库中的相应版本，已被广泛纳入各类集合通信库中，甚至超出了MPI-3的应用范围。

现在，这项操作已经成为了分布式深度学习的核心力量。

链接：https://www.mpi-forum.org/docs/mpi-3.0/mpi30-report.pdf

得主简介

Torsten Hoefler教授，目前是瑞士苏黎世联邦理工学院计算机科学教授，现任可扩展并行计算实验室主任。他还是瑞士国家超级计算中心（CSCS）的人工智能与机器学习首席架构师。

Hoefler教授在Chemnitz大学获得计算机科学硕士学位，并在印第安纳大学获得计算机科学博士学位。

Torsten Hoefler是ACM Fellow、IEEE Fellow，并且是欧洲科学院（Academia Europaea）成员。

他于2019年获得了ACM Gordon Bell奖。他是IEEE Sidney Fernbach奖的最年轻获得者，该奖项是高性能计算领域历史最久的职业奖项。

他还于2023年成为ISC Jack Dongarra奖的首位得主。

Hoefler教授还获得了许多其他职业奖项，包括2015年苏黎世联邦理工学院的Latsis奖、2012年SIAM SIAG/超级计算年轻科学家奖、2005年化学大学技术学院的最佳学生奖、2013年IEEE TCSC可扩展计算领域年轻成就奖、2019年IEEE TCSC卓越奖，以及印第安纳大学颁发的2014年年轻校友奖和2023年杰出校友奖。

他还获得了德国的Max Planck-Humboldt奖章。

最后，附上一段Torsten Hoefler教授最新获奖感言的视频。

参考资料：

https://awards.acm.org/about/2024-acm-prize

https://awards.acm.org/award-recipients/hoefler_4381890