一篇让你了解人工智能四巨头的学术成就

GPT4V里面有一个非常有意思的实验，上面标明了“人工智能四巨头”。除了NG之外，Yoshua Bengio、Geoffrey Hinton和Yann LeCun都是 2018 年 ACM AM 图灵奖，Bengio 是蒙特利尔大学教授，也是魁北克省 Mila 人工智能研究所的科学主任；Hinton 是前谷歌副总裁兼工程院士目前在创业、Vector 研究所首席科学顾问、多伦多大学名誉教授；LeCun 是纽约大学教授、Facebook 副总裁兼首席人工智能科学家。吴恩达是MIT计算机科学和电气工程系的教授。他曾担任斯坦福人工智能实验室（SAIL）主任。

我上一次参加了一个闭门会，发现在很多同学对这几位大神都是只知道皮毛，为什么他们会成为“四巨头”没有一个明确的认知。我今天花了点时间，整理了各位大神的学术成就，作为一个索引资料，似乎wiki上面也没有按照学术的顺序去整理这群大神的学术生涯。

Geoffrey Hinton 教授

1985年 - Hinton 提出了一种新的 Boltzmann 机器的学习算法。这是他在神经网络研究领域的早期贡献之一。

论文标题：A Learning Algorithm for Boltzmann Machines

论文地址：https://doi.org/10.1207/s15516709cog0901_7

1986年 - Hinton 发明了 Boltzmann 机器，并被认为是反向传播算法的共同发明人之一。这两项工作对于神经网络的发展起到了关键性的作用。

论文标题：Learning representations by back-propagating errors

论文地址：https://www.nature.com/articles/323533a0

1991年 - Hinton 发明了“专家混合”（Mixture of Experts）模型，这是一种结合多个模型或算法来提高总体性能的方法。据说就是GPT4使用的方法。

论文标题：Adaptive Mixtures of Local Experts

论文地址：https://doi.org/10.1162/neco.1991.3.1.79

2006年 - 他提出了训练深度信念网络的算法。这篇文章促进了“深度学习”这一术语的普及。同年，他还展示了如何用神经网络构建自编码器。

论文标题：A Fast Learning Algorithm for Deep Belief Nets

论文地址：https://doi.org/10.1162/neco.2006.18.7.1527

2008年 - Hinton 发明了 t-SNE，这是一种新的降维技术。

论文标题：Visualizing Data using t-SNE

论文地址：http://jmlr.org/papers/v9/vandermaaten08a.html

2009年 - Hinton 展示了训练深度 Boltzmann 机器的算法，并使用 CIFAR-10 数据集训练限制性 Boltzmann 机器和深度信念网络。

论文标题：Deep Boltzmann Machines

论文地址：https://www.utstat.toronto.edu/~rsalakhu/papers/dbm.pdf

2010年 - 他展示了使用 ReLU 改善限制性 Boltzmann 机器性能的方法。

论文标题：Rectified linear units improve restricted boltzmann machines

论文地址：https://dl.acm.org/doi/10.5555/3104322.3104425

2011年 - Hinton 展示了如何使用循环神经网络构建生成性文本模型。

2012年 - 在一次课程讲座中，他发明了 RMSprop，提出了特征丢失技术以改善网络，并建议使用小批量梯度下降。此外，他在深度学习用于语音识别方面做出了贡献。

2014年 - Hinton 的研究团队推出了 AlexNet，这是他职业生涯中被引用最多的论文，彻底改变了计算机视觉领域。同年，他还提出了 Dropout 技术以减少过拟合。

2015年 - 他发明了蒸馏网络，旨在减小模型的大小。

2016年 - Hinton 发明了层标准化技术，这在每个 Transformer 架构中都被采用。

2017年 - 他提出了 CapsNets，即胶囊网络，旨在克服卷积神经网络的某些限制，尤其是在理解图像中对象及其部分之间的层次关系方面。

2022年 - Hinton 提出了反向传播算法的一种新替代方法：前向-前向算法。

个人认为：AlexNet，这在计算机视觉领域里，就像是用望远镜第一次看到了地平线以外的世界。虽然这个是hinton教授的最被接受的研究成果，但是仔细看每一个研究，都成为了后续很多牛X产品的奠基。HINTON教授是这个领域里面的地位毫无疑问。

Yann LeCun 教授

1989年 - 将反向传播算法应用于手写邮政编码识别学习任务。

论文标题：Backpropagation Applied to Handwritten Zip Code Recognition

论文地址：https://doi.org/10.1162/neco.1989.1.4.541

1990年 - 提出“最佳大脑损伤”方法，通过移除网络中最不重要的权重来确定最优网络架构。

论文标题：Optimal Brain Damage

论文地址：https://papers.nips.cc/paper/250-optimal-brain-damage

1993年 - 发明了用于签名验证的孪生神经网络架构。

论文标题：Signature Verification using a "Siamese" Time Delay Neural Network

论文地址：https://proceedings.neurips.cc/paper/1993/hash/288cc0ff022877bd31c98fe77c398ec0-Abstract.html

1995年 - 将卷积神经网络应用于语音和时间序列学习任务。卷积神经网络的创始人~

论文标题：Convolutional networks for images, speech, and time-series

论文地址：https://nyuscholars.nyu.edu/en/publications/convolutional-networks-for-images-speech-and-time-series

1998年 - 提出了新的 CNN 架构（LeNet - 图形变换网络）用于文档识别学习任务。

论文标题：Gradient-based learning applied to document recognition

论文地址：https://api.semanticscholar.org/CorpusID:1637239

1998年 - 创建了手写数字的 MNIST 数据库。

论文标题：MNIST handwritten digit database

论文地址：http://yann.lecun.com/exdb/mnist/

2002年 - 提出了许多常用技巧以改善神经网络训练。

论文标题：Efficient backprop

论文地址：https://nyuscholars.nyu.edu/en/publications/efficient-backprop

2005年 - 提出对比学习用于面部验证。

2006年 - 提出了新的降维技术（DrLIM）。

2009年 - 提出了新的多阶段 CNN 架构。

2010年 - 使 MNIST 数据库公开可用。

2013年 - 展示了深度学习在标记和图像领域的强大能力。

2013年 - 发明了新的正则化技术：DropConnect。

2014年 - 提出了使用卷积网络进行综合识别、定位和检测框架。

2014年 - 为图结构数据引入了一种新颖的深度学习应用方法。

2015年 - 提出在 CNN 中使用字符级嵌入进行文本分类。

2017年 - 引入了新的数学工具，用于定义图上的卷积和池化操作。

Yoshua Bengio 教授

1989年 与Yann LeCun共同发表《Backpropagation Applied to Handwritten Zip Code Recognition》，这是一篇关于手写数字识别的开创性论文。

1990年 参与发表了《Optimal Brain Damage》，这篇论文介绍了通过移除神经网络中最不重要的权重来确定最优网络架构的方法。

序列的概率模型： Bengio 将神经网络与序列的概率模型（例如隐马尔可夫模型）相结合。这些想法被纳入 AT&T/NCR 用于读取手写支票的系统中，被认为是 20 世纪 90 年代神经网络研究的顶峰，而现代深度学习语音识别系统正在扩展这些概念。

1994年 与 Pascal Vincent 共同提出了非线性因子分析，这是一种使用神经网络进行数据降维和特征提取的技术。

1998年 "高质量文档图像压缩" (High Quality Document Image Compression with DjVu) - 与 Léon Bottou, Patrick Haffner, Paul G. Howard, Patrice Simard 和 Yann LeCun 合著，这篇论文介绍了 DjVu 格式，用于高效的文档图像压缩。

2000 年 高维词嵌入和注意力（High-dimensional word embeddings and attention），Bengio 撰写了具有里程碑意义的论文“神经概率语言模型”，介绍了高维词嵌入作为词义的表示。Bengio 的见解对自然语言处理任务（包括语言翻译、问答和视觉问答）产生了巨大而持久的影响。他的团队还引入了一种注意力机制，该机制带来了机器翻译的突破，并形成了深度学习顺序处理的关键组成部分。

2009年 "神经信息处理系统进展 22" (Advances in Neural Information Processing Systems 22) - 作为编辑之一，这部作品集汇集了多篇关于神经信息处理系统的前沿研究论文。

2010 年 生成对抗网络（Generative adversarial networks: ） ，Bengio 关于生成深度学习的论文，特别是与 Ian Goodfellow 开发的生成对抗网络（GAN），引发了计算机视觉和计算机图形学领域的一场革命。在这项工作的一个令人着迷的应用中，计算机实际上可以创建原始图像，让人想起被认为是人类智力标志的创造力。

2014年 "联合学习对齐与翻译的神经机器翻译" (Neural Machine Translation by Jointly Learning to Align and Translate) - 与 Dzmitry Bahdanau 和 Kyunghyun Cho 合著，论文提出了一种新的神经机器翻译方法，通过联合学习对齐和翻译过程来改善翻译质量。

2016年 "深度学习" (Deep Learning) - 与 Ian Goodfellow 和 Aaron Courville 合著，这本书全面介绍了深度学习的理论和实践，是该领域的重要参考书籍。

2016年 "朝向生物合理的深度学习" (Towards Biologically Plausible Deep Learning) - 探讨了使深度学习模型更接近生物学上可信的方法。

2018年 - "智能建筑师：从构建人工智能的人那里了解人工智能的真相" (Architects of Intelligence: The Truth About AI from the People Building it) - 对这本书贡献了一章，书中收录了多位人工智能领域专家的观点和洞见。

吴恩达 Andrew Yan-Tak Ng

相比上面的大佬NG的个人宣传做的好的多，他有自己的网站，其实也更被中国人了解。

https://www.andrewng.org/

基本上上面涵盖了他的所有的期刊发表的内容。NG的学术成就比起AI的推动上来说，要差一些，但是在需要布道师的今天，NG的贡献绝对是无与伦比的。

2003年： 共同撰写了有关潜在狄利克雷分配（LDA）的有影响力的论文。

论文名称： Latent Dirichlet Allocation

论文地址：https://www.andrewng.org/publications/latent-dirichlet-allocation-2/

2008年： 倡导在深度学习中使用GPU ，这是该领域开创性且有影响力的决定。

2011-2012： 创立并指导Google Brain深度学习项目。

2012年： 共同创立Coursera，这是领先的大规模开放在线课程（MOOC）平台。

2014年： 加入百度担任首席科学家，领导大数据和人工智能研究。

2018 年： 推出 AI 基金，这是一个针对 AI 初创公司的 1.75 亿美元投资基金。

四巨头真的配的上这个称号，也比较感慨，无论是学术还是工程，四巨头总能找到相关的商业支持和理想的结合。国内的学术环境和投资环境，真的可以看看发展的历史，着眼于未来。

既然来了，没关注的同学关注一下再走呗

老于的技术文章推荐阅读：

老于的公号大部分以技术、产业为主，喜欢老于别控制，戳一下：