从“弃婴”到“大神”，坐30年冷板凳，神经网络之父的传奇人生

深度学习的开山鼻祖Geoffrey Hinton。

Geoffrey Hinton：“我非常兴奋，我们发现一种可以使神经网络变得更好的方法，尤其是这种方法能够揭示大脑是如何工作的时候”。

Geoffrey Hinton，被称为“神经网络之父”、“深度学习鼻祖”，他曾获得爱丁堡大学人工智能的博士学位，并且为多伦多大学的特聘教授。在2012年，Hinton还获得了加拿大基廉奖(Killam Prizes，有“加拿大诺贝尔奖”之称的国家最高科学奖)。2013年，Hinton 加入谷歌并带领一个AI团队，他将神经网络带入到研究与应用的热潮，将“深度学习”从边缘课题变成了谷歌等互联网巨头仰赖的核心技术，并将HintonBack Propagation(反向传播)算法应用到神经网络与深度学习。

从外貌上看，Hinton教授有着所有英国学者的典型特征：一头蓬乱的头发，皱巴巴的衬衫，衬衫前口袋里还插着一排圆珠笔，守着一个巨大且脏乱的白板，白板上写满了各种复杂难解的方程式。他的办公室里根本没有座椅，69岁的Hinton教授喜欢一直站着。

虽然他看起来可能有些古怪，但对他办公室外的那些年轻的人事物而言，Hinton是一种类似于神级的存在：他被人们誉为“人工智能（AI）教父”，而这项已经引发全球性变革的新技术背后，与其聪明才智密不可分。

（1）要么成为一名学者，要么就做个失败者

在Hinton成长的过程中，他的母亲给了他两种选择：“要么成为一名学者，要么就做个失败者。”Hinton家族的家谱上，科学家占了很大的比例。他的高祖父是布尔逻辑创始人乔治·布尔（George Boole），任何用过“布尔检索”的人都很熟悉他。乔治布尔的女婿之一Charles Howard Hinton是Hinton的曾祖父，是一位数学家和科幻作家，他创造了“超立方体（tesseract）”的概念（一个可以在三维世界中看到的四维物体——所有熟知著名儿童小说《时间的皱纹》的人都听过这个概念），Charles生活在维多利亚时代的英国，由于重婚罪而逃到了美国。Charles的儿子，也就是Hinton的祖父，定居在墨西哥，所以Hinton家族在墨西哥也有分支。Geoffrey Hinton的中间名是Everest，这个名字来源于他高祖母的叔叔、地理学家Everest，珠穆朗玛峰就是以他的名字命名的；而寒春（Joan Hinton）是Hinton父亲的表亲，她是一位核物理学家，曾经参与曼哈顿计划，在上个世纪60年代居住在中国。她的父亲发明了儿童攀玩架jungle gym。

Hinton于1947年出生在英国温布尔顿，他的父亲Howard Hinton是一名昆虫学家，母亲Margaret Clark是一名教师。Hinton所描述的自己的童年时期，就好像拿着显微镜的丹尼尔·韩德勒（Lemony Snicket，美国作家及编剧）、哈克贝利·费恩和美国喜剧电影《天才一族》（The Royal Tenenbaums）的综合体。

他和他的三个兄弟姐妹在一间住满各种动物的大房子里长大。他家里有一只猫鼬，占了很大的空间，车库的洞坑里还养了毒蛇。小时候的Hinton曾经在坑边挥动手帕吸引那些毒蛇的注意，其中一条蛇差点咬到了他的手，Hinton险些因此丧命。1961年，他的父亲去中国的巡回演讲时带回来了十几只中国海龟，Hinton曾经帮忙照顾它们。虽然当时的中国实际上不对外国游客开放，但当时前加拿大总理皮埃尔·杜鲁多（Pierre Trudeau）也到访中国，当时他和Hinton的父亲住在同一家酒店，共用一个卫生间。根据Hinton家族的传说，当时Hinton的爸爸把这些海龟养在浴缸里，至少有一次打破了特鲁多洗澡的计划。

（2）“AI之路”走的并不平坦，从“弃儿”到“大神“，30年冷板凳，Geoffery Hinton 等人亲手缔造了深度学习的复兴。

二十世纪70年代 人工智能“萧条期”。由于受到数学家詹姆斯·莱特希尔（James Lighthill）对人工智能行业进展做出的批评报告的部分影响，美国和英国政府纷纷撤回了对人工智能研发的资助资金。这是人工智能的第一个主要“寒冬”，而到了二十世纪80年代末，由于个人电脑的繁荣发展势不可挡，第二个AI寒冬到来了。我们可以看到AI这个词从文献研究中消失了数年，取而代之的是“机器学习”和“信息学”。

早在1960年代，Hinton的高中时期，就有一个朋友告诉他，人脑的工作原理就像全息图一样。创建一个3D全息图，需要大量的记录入射光被物体多次反射的结果，然后将这些信息存储进一个庞大的数据库中。大脑储存信息的方式居然与全息图如此类似，大脑并非将记忆储存在一个特定的地方，而是在整个神经网络里传播。Hinton为此深深的着迷。对Hinton来说，这是他人生的关键，也是他成功的起点。

在之后的二十几年，虽然还是有一些研究人员坚持人工神经网络的研究，但整个学术界关于人工神经网络的研究基本都陷入了停滞，研究人员拿到不到相关的科研基金，与人工神经网络有关的优质论文发表量极少。连著名的学术会议NIPS（Advances in Neural Information Processing Systems，神经信息处理系统进展大会）都变成基本与神经网络无关的会议。

Hinton的学术生涯也像人工神经网络一样起起伏伏，所幸的是他一直没有放弃人工神经网络的研究。他们为实现自己的想法，定期聚集在一起召开研讨会，构建了更强大的深度学习算法，操作更大的数据集。

然而学术圈依旧对神经网络的研究不感兴趣，他们的研究也很难申请到科研经费。学术圈的冷落其实不无理由，人工神经网络的很多成果，很难用数学予以解释或者证明，大家只是在不断调整参数，改善算法，以得到更好的结果。

事情的转机出现在2006年左右，Hilton和他的学生发明了用GPU来优化深度神经网络的工程方法，并发表在《Science》和相关期刊上发表了论文，首次提出了“深度信念网络”的概念。他给多层神经网络相关的学习方法赋予了一个新名词–“深度学习”。

随后深度学习的研究大放异彩，广泛应用在了图像处理和语音识别领域。比如Hinton的学生就用深度学习算法赢得2012年的ImageNet。

互联网的巨头开始注意到他们，这个领域才开始火热起来，深度学习领域也涌现出以Hinton、吴恩达等为首的四大深度学(tiao)习(can)天王。

谷歌为了他，花几千万美元专门买了一个公司。2013年，Google收购了多伦多大学的一家初创公司DNNResearch，实际上，这家公司只有三个成员，Geoffrey Hinton和他的两个刚毕业的的学生——Alex Krizhevsky 和 Ilya Sutskever。我们可以理解为，Google为了让Geoffrey Hinton为他们工作，专门收购了这家公司，有人调侃到Google花了几千万美元买了几篇论文。