这个改变人类命运的软件，终于开源了！

几乎每一门编程语言，都有一个数据类型叫做Boolean，它只有两个值：真和假。

这是为了纪念发明布尔代数的数学家乔治·布尔。

乔治·布尔英年早逝，他绝对想不到，他的小女儿艾捷尔·丽莲·伏尼契写了一本著名的小说《牛虻》。

他更不可能想到，他还有一位玄孙：Geoffrey E. Hinton（辛顿），将家族的荣耀推向了巅峰，辛顿不但成了深度学习之父，还获得了图灵奖和诺贝尔奖。

0 1

算法的积累

辛顿出生于1947年，先在剑桥大学获得了实验心理学学士，然后跑到爱丁堡大学拿到了博士学位，他的论文是《放松及其在视觉中的作用》。

这听起来和计算机毫无关系，辛顿为啥会进入到人工智能领域呢？

因为当时的人工智能和计算机科学、心理学和神经科学“纠缠不清”，每个学科都试图按照自己的领域来描绘技术的前景。

比如早在1958年，在海军的资助下，康奈尔大学教授弗兰克·罗森布拉特发明了一个模仿人脑的数学系统：感知机。

感知机有 400 个光传感器，它们一起充当视网膜，将信息传送给大约 1,000 个“神经元”，这些神经元进行处理并产生单一输出。

用一系列的打孔卡训练以后，感知机居然自己学会了识别卡片上的标记是在左侧还是右侧，这事儿轰动一时，媒体甚至报道“海军设计了一个会思考的科学怪物”！

我们现在知道，这就是第一个神经网络。

不过，这个神经网络只有一层自适应的权重，想要完成复杂的任务，需要建立一个多层的，每一层都向下一层提供信息，这样就可以学习感知机无法学习的复杂图形。

但是研究人员找不到很好的方法来训练它们，人工智能进入了第一个寒冬。

1978年，辛顿来到加州大学圣地亚哥分校做博士后研究，在这里他和David Rumelhart和Ronald Williams合作，重新“发现”了用于训练神经网络的反向传播算法，特别是证明了该算法可以使多层神经网络调整自身的权重，从而学习多层特征，完成语言和视觉的任务。

这是一个极其重要的突破，反向传播成为当今深度学习的基础。

1987年，出于对里根政府的不满，辛顿来到了加拿大，加入了多伦多大学。

虽然辛顿远离了传统的人工智能中心，但是牛人在哪里，哪里就是中心。

辛顿培养了很多著名的学生，其中一位就是来自法国的博士后杨立昆。

杨立昆把反向传播算法应用到了卷积神经网络（CNN）上，他开发的LeNet在识别手写数字方面非常出色，在当时的技术条件下就能取得低于1%的错误率。

LeNet后来成功商业化，被金融用来识别支票上的数字。

2019年，杨立昆和辛顿一起获得了计算机界最高奖：图灵奖。

虽然卷积神经网络在识别数字方面表现优秀，但是在处理图像方面就力不从心了，因为图像识别需要更多、更深的网络隐藏层，当时计算机的计算能力是远远不够的。

神经网络还需要人工智能之外的两项技术来铺平道路：

1.大量的训练数据

2.足够的算力。神经网络训练涉及大量重复的矩阵乘法，最好是并行完成。

0 2

数据和算力

在过去的20年，一切都发生了重大变化。

互联网蓬勃发展，数据变得无处不在，尤其是智能手机的出现，让文本、图像、视频变得唾手可得。

而算力的解决竟然来自于游戏行业，游戏中的图像渲染需要繁重的处理，Nvidia 等公司 开发了图形处理单元 ( GPU)芯片，游戏开发人员使用 GPU进行复杂的着色和几何变换。

那些渴望强大计算能力的计算机科学家立刻意识到，他们可以“欺骗”GPU 执行其他任务，例如训练神经网络。

Nvidia 注意到了这一趋势，它创建了CUDA，让研究人员可以轻松使用GPU进行通用数据处理。

从 2006 年开始，李飞飞计划建立一个图像数据集，涵盖英语中所有名词，用于训练人工智能。

她和她的研究生开始在互联网上收集图像，并使用WordNet对它们进行分类。

由于任务极其艰巨，李飞飞和她的合作者最终使用亚马逊的 Mechanical Turk 平台将标记图像的任务众包给了零工。

2009 年ImageNet正式完工，比之前的任何图像数据集都大几个数量级。

李飞飞希望它的出现能帮助AI实现新的突破，并于 2010 年发起了一场竞赛，激励研究团队改进他们的图像识别算法。

现在我们有了神经网络和算法，训练数据集，以及GPU算力，就差一个人把它们都结合起来，震撼世界了。

0 3

AlexNet

当辛顿的博士生Ilya Sutskever 看到ImageNet时，立刻想起了Alex Krizhevsky。

（左护法Illya，右护法Alex)

Alex是一位GPU编程大师，擅长从一个装有GPU的电脑中压榨出最后一点性能。

Ilya说服Alex，开始一个新项目，针对ImageNet训练一个卷积神经网络，参加ImageNet训练。

辛顿也加入了这个项目，担任首席研究员。

Alex和自己的父母住在一起，他用自己卧室的一台电脑来训练神经网络，电脑上只有两张Nvidia 显卡。

在一年的时间内，Alex不断地调整神经网络的参数，重新进行训练，直到2012年，这个名叫AlexNet的神经网络在竞赛中以15%的错误率大幅领先第二名的26%，以压倒性的优势赢得竞赛，一鸣惊人。

看到AlexNet的论文，纽约大学杨立昆实验室的学生们感受到了巨大的失落和遗憾。

因为AlexNet使用卷积神经网络，正是杨立昆80年代最拿手的工作。

经过30年的奋斗，他们跌跌撞撞地走到了最后一关，却眼看着别人破门而入。

杨立昆在当晚讨论AlexNet论文的时候，说到：“多伦多大学的学生比纽约大学的学生行动更快。”

当其他资深研究员对AlexNet存在怀疑，认为它无法应用到真实世界的数据集上时，杨立昆旗帜鲜明地支持了自己老师的项目：这就是人工智能的转折点！

杨立昆是对的，随后几年的ImageNet竞赛中，几乎每个项目都使用了神经网络，到2017年许多参赛者的错误率已经降至5%，主办方随即结束了竞赛。

神经网络在接下来的十年迅速发展，AlphaGo击败了围棋世界冠军，AI可以合成逼真的语音，创建图像。

最终，Ilya Sutskever共同创办的公司OpenAI发布了ChatGPT。

AlexNet是点燃深度学习的燎原之火，它不但开启了技术革新，还促进了产业重构，甚至引发了社会变革，开启人类深度科技化，说它是改变人类命运的软件是不为过的。

0 4

结语

百度认识到了AlexNet的潜力，微软，Google也认识到了，电子邮件纷至沓来，他们都力邀辛顿团队加盟，百度甚至为三人开出了1200万美元的超高价码。

但是Ilya和Alex主张成立一个公司，辛顿采纳了学生的意见，创建了DNNresearch公司，以对外拍卖的方式来实现价值最大化。

经过激烈的竞争，Google以4400万美元的价格，将这个只有三名员工、没有产品也没有历史的初创公司收入囊中，百度错失了AI教父辛顿。

辛顿坚持三人平分这笔钱，但是Ilya和Alex坚持老师应该拿到更大的份额：40%。辛顿说：“这体现了他们是什么样的人，但没有体现出我是什么样的人。”

2020年，美国的计算机历史博物馆和Google联系，想收录Alex这个改变人类世界的软件，经过5年的协商，原汁原味的AlexNet终于在GitHub上开源发布：

纵观AlexNet的出现过程，真是一代又一代人的不断努力，不断接力的结果。如果辛顿的团队没做出来，杨立昆的团队，或者别的团队也能完成临门一脚，在当时的条件下，真是万事俱备，只欠东风了。

至于AlexNet开启的道路是不是通向通用人工智能之路，我们只有拭目以待了。

全文完，如果觉得不错的话点个赞或者在看吧。