刚刚，Geoffrey Hinton成为第二位引用量破百万的科学家

来源：市场资讯

（来源：机器之心）

编辑｜Panda

刚刚，Geoffrey Hinton 正式成为历史上第二位 Google Scholar 引用量突破 100 万大关的计算机科学家。

在他之前，只有他的老搭档、另一位「深度学习教父」Yoshua Bengio 达成了这一成就。目前，Hinton 的引用量仍在以惊人的速度增长，每一次引用都代表着他对人工智能领域不可磨灭的贡献。从反向传播算法的推广到 AlexNet 的惊艳问世，从获得图灵奖到斩获 2024 年诺贝尔物理学奖，Hinton 的职业生涯几乎就是一部现代 AI 的发展史。

这一数字不仅是学术影响力的量化，更是对这位 78 岁长者一生执着探索的最高致敬。

Geoffrey Hinton：来自学术世家的「教父」

童年

Geoffrey Everest Hinton，1947 年 12 月 6 日出生于英国伦敦的一个学术世家。他的中间名「Everest」来自他的叔祖父，也就是以其名字命名珠穆朗玛峰英文名的 George Everest。他的家族星光熠熠，曾祖父是布尔逻辑的创始人 George Boole，表姑是参与曼哈顿计划的核物理学家 Joan Hinton（寒春）。

生在这样的家庭，压力与荣耀并存。Hinton 的母亲曾给他下过一道温和却严厉的「最后通牒」：「要么做个学者，要么就是个失败者（Be an academic or be a failure）」。这种高期待或许解释了他日后对学术的极致追求。

他的童年充满了像电影《天才一族》般古怪而硬核的色彩。家里养过猫鼬，车库的坑里甚至养着毒蛇。8 岁那年，Hinton 曾挥舞着手帕逗弄坑里的毒蛇，结果一条蛇猛地扑向他的手，仅差一英寸就咬中了他，差点让他丧命。

8 岁的 Hinton 搂着一条蟒蛇

家族的轶事甚至还涉及到了加拿大政坛。1961 年，他的父亲访华时带回了一打中国乌龟。在旅途中，老 Hinton 与未来的加拿大总理皮埃尔・特鲁多（Pierre Trudeau）住同一间酒店房间。据说老 Hinton 把乌龟都养在了浴缸里，导致特鲁多根本没法洗澡。

求学之路

然而，这位天才的学术之路并非一片坦途，但他对世界本质的好奇心早在 4 岁时就已萌芽。

那时，他在一辆乡村巴士上发现了一个奇怪的现象：当巴士急刹车时，座位上的硬币并没有顺着惯性向前滑，而是反直觉地向后移动。这个违反物理常识的现象困扰了他整整十年，直到后来他才明白这是座位绒毛角度与振动共同作用的结果。对此，他曾说道：「有些人可以接受自己不理解的事物，但我不行。我无法接受有什么东西违反了我对世界的认知模型。」

这种对「理解世界运作方式」的执念贯穿了他的求学生涯。在剑桥大学国王学院期间，他曾在物理学、哲学和心理学之间反复横跳。毕业后，在迷茫中他甚至曾短暂地做过一段时间的木匠。在攻读博士学位期间，由于神经网络在当时不被看好，他一度陷入抑郁和自我怀疑。

在一个类似心理治疗的研讨会上，当其他人都在大喊「我想要被爱」来释放情感时，Hinton 憋了半天，最终吼出了心底最深层的渴望：「我真正想要的是一个博士学位！（What I really want is a PhD!）」。带着这股执拗，他在爱丁堡大学获得了人工智能博士学位，正式开启了他在神经网络荒原上的长征。

31 岁的 Hinton 与他的博士后同学 Chris Riesbeck

北上加拿大

在 70 年代和 80 年代，当 AI 领域被符号主义主导时，Hinton 就像一个孤独的异类。由于对罗纳德・里根时代美国国防部主导的军事资助感到失望，他做出了一个改变人生轨迹的决定：离开美国，北上加拿大。

除了政治原因，这背后还有一个鲜为人知的温情理由：当时他和妻子计划收养一对来自南美洲的儿女。他不希望在一个当时正暴力干涉拉美事务的国家抚养这些孩子。于是，他在多伦多大学扎根，在那里数十年如一日地在神经网络的「荒原」上耕耘，这也为后来加拿大成为全球 AI 重镇埋下了伏笔。

学术成就

Geoffrey Hinton 最著名的成就之一是与 David Rumelhart 和 Ronald Williams 共同发表了关于反向传播（Backpropagation）的论文，解决了多层神经网络的训练难题，为后来深度学习的爆发埋下了伏笔。

但他的贡献远不止于此：

• 玻尔兹曼机（Boltzmann Machine）与受限玻尔兹曼机（RBM）：为无监督学习和特征表示学习奠定了基础，可用于生成模型和预训练神经网络。

• 深度信念网络（DBN）：在 2006 年提出，通过逐层贪心训练方法有效训练深度神经网络，点燃了深度学习复兴的火种。

• Dropout：一种简单而高效的正则化技术，通过随机「丢弃」神经元防止过拟合，成为大型神经网络训练的标准做法。

• t-SNE：一种高维数据可视化技术，用于将复杂数据嵌入低维空间，广泛用于理解深度学习特征表示。

• 分布式表示（Distributed Representations）：强调分布式特征编码在学习系统中的重要性。

• 胶囊网络（Capsule Networks）：提出对卷积神经网络中空间关系处理不足的问题的一种改进，通过「胶囊」表示和动态路由机制增强特征层次感知。

• 混合专家模型（MoE）：通过多个子网络（专家）协同工作并由路由器选择性激活，提高模型容量与计算效率，成为大规模模型的重要设计思路。

• 知识蒸馏（Knowledge Distillation）：提出将大型复杂模型（教师模型）的知识迁移到小型模型（学生模型），在保证性能的同时降低计算成本。

• 层归一化（Layer Normalization）：改进深度网络训练稳定性和收敛速度的技术，对自然语言处理模型尤其重要。

• 深度生成模型与概率图模型：在生成模型领域提出了多种创新方法，为后续的变分自编码器（VAE）和生成对抗网络（GAN）奠定了理论基础。

• AlexNet 与 ImageNet 变革： 他与学生 Alex Krizhevsky、Ilya Sutskever 共同推出了 AlexNet，在 ImageNet 竞赛中以绝对优势夺冠。这被公认为深度学习时代的「大爆炸」时刻，证明了深层卷积神经网络在海量数据和 GPU 算力下的统治力。

• Forward-Forward Algorithm（前向 - 前向算法，2022）： 这是他在职业生涯后期对反向传播生物学合理性的反思与挑战，提出了一种更接近人脑运作机制的学习替代方案。

2018 年，他与 Yoshua Bengio 和 Yann LeCun 共同获得了计算机领域的最高荣誉：图灵奖。这三人也常被称为「深度学习三巨头」。

值得注意的是，这三位图灵奖得主也是 Hinton 引用量第二高的论文《Deep learning》的共同作者。该论文于 2015 年 5 月发表于 Nature，十年时间已经收获了超过 10 万引用量。其中系统总结了深度学习的发展历程、基本原理、关键算法（例如多层表征学习、反向传播、卷积神经网络和循环神经网络）以及其在语音识别、视觉识别、目标检测、基因组学等领域的广泛应用，标志着深度学习从学术探索迈向应用驱动的成熟阶段，被公认为推动该领域走向主流的里程碑性工作。

2024 年，Hinton 与 John Hopfield 共同获得了诺贝尔物理学奖，以表彰他们「实现了利用人工神经网络进行机器学习的奠基性发现和发明」。参阅报道《刚刚，2024 诺贝尔物理学奖授予 Geoffrey Hinton、John Hopfield》。

冷静的警示者

然而，这位「AI 教父」在晚年却不仅是一位技术布道者，更成为了一位冷静的警示者。

2023 年 5 月，他从工作了十年的谷歌离职，只为能「自由地谈论 AI 的风险」。他曾表示：「我想我现在对自己毕生的工作有一部分感到后悔。」他担忧数字智能可能会演变成一种比人类更优越的智能形式，并可能因缺乏控制而对人类构成生存威胁。他警告说：「如果你想知道不再是处于食物链顶端的智慧生物是什么感觉，去问问鸡就知道了。」

Alex Krizhevsky 与 Ilya Sutskever

在 Hinton 浩如烟海的著作中，引用量最高的一篇无疑是 2012 年发表在 NeurIPS 上的奠基之作：《ImageNet classification with deep convolutional neural networks》。这篇论文目前的引用量已超过 18 万次（可能仅次于引用量近 30 万的 ResNet 论文和引用量超过 20 万的 Transformer 论文），它不仅标志着深度学习时代的正式开启，也让两位共同作者的名字响彻云霄：Alex Krizhevsky 和 Ilya Sutskever。

作为 Hinton 的两名得意门生，他们在那间多伦多大学的实验室里，共同推开了 AI 新世界的大门。

Alex Krizhevsky 与 Ilya Sutskever 是 Geoffrey Hinton 引用量最高的论文的第一和第二作者。

Alex Krizhevsky：低调的隐士天才

作为那篇传奇论文的第一作者，Alex Krizhevsky 是 AlexNet 的主要构建者。正是他编写了关键的 CUDA 代码，让神经网络得以在两块 GeForce GPU 上高效训练，从而在 2012 年的 ImageNet 挑战赛上以惊人的 10.8% 优势碾压第二名，一举震惊世界。

然而，与他在学术界的赫赫声名形成鲜明对比的是他极度低调的性格。Alex 出生于乌克兰，成长于加拿大。他被很多同行描述为一位「纯粹的工程师」，拥有极深的技术洞察力。在谷歌工作了数年后，他于 2017 年离职，理由是「对工作失去了兴趣」。

此后，他加入了初创公司 Dessa，随后又逐渐淡出公众视野。据悉，他目前可能已处于半退休状态，享受着徒步旅行的乐趣。在科技圈追逐名利的热潮中，Alex Krizhevsky 就像一位事了拂衣去的隐士。尽管 AlexNet 如今在技术上已被更新的模型取代，但正如一位评论者所言：「没有他，就没有今天的 ChatGPT，没有便捷的 3A 大作，也没有先进的医学影像分析。」

Ilya Sutskever：执着的 AI 愿景者

如果说 Alex 是低调的技术天才，那么该论文的第二作者 Ilya Sutskever 则是充满使命感的 AI 领袖。

Ilya 同样出生于前苏联（俄罗斯），并在以色列和加拿大长大。在多伦多大学期间，他与 Hinton 和 Alex 共同缔造了 AlexNet 的辉煌。随后，他在 Google Brain 参与了序列到序列（Seq2Seq）学习算法和 TensorFlow 的开发，并是 AlphaGo 论文的众多作者之一。

2015 年，Ilya 离开谷歌，作为联合创始人兼首席科学家创办了 OpenAI。他是 ChatGPT 和 GPT-4 诞生的关键人物，被誉为能够「通过直觉看到深度学习未来」的人。然而，他对 AI 安全的关注也日益加深。2023 年，他曾主导了 OpenAI 董事会罢免 Sam Altman 的风波，理由是「沟通不坦诚」，尽管后来 Altman 复职，Ilya 对 AI 对齐（Alignment）和安全超级智能（SSI）的执着从未改变。

2024 年，Ilya 成立了新公司 Safe Superintelligence Inc. (SSI)，并为其筹集了 10 亿美元资金。与商业化气息浓厚的硅谷公司不同，SSI 宣称其「第一个产品将是安全的超级智能，在此之前不会做任何其他事情」。

结语

Geoffrey Hinton 引用量突破百万，不仅是他个人学术生涯的高光时刻，也是 Alex Krizhevsky 和 Ilya Sutskever 等一代 AI 杰出人才共同奋斗的缩影。

从 Alex 编写的那行 CUDA 代码，到 Ilya 对通用人工智能（AGI）的深邃构想，再到 Hinton 对神经网络半个世纪的坚守与晚年的忧思，这一里程碑背后，是人类探索智能本质的波澜壮阔的历史。

今天，我们致敬 Hinton，也致敬所有为这一刻铺路的研究者。

https://scholar.google.com/citations?user=JicYPdAAAAAJ&hl=en

https://www.youtube.com/watch?v=giT0ytynSqg

https://www.britannica.com/biography/Geoffrey-Hinton

https://www.nobelprize.org/prizes/physics/2024/hinton/podcast/

https://torontolife.com/life/ai-superstars-google-facebook-apple-studied-guy/

https://yiqinfu.github.io/posts/hinton-intellectual-dynasty/