AI教父40年的坚持：冷板凳坐穿研究神经网络

来源：知识分子

作者：张天蓉

图源：pixabay

他曾花了小半个世纪的时间开发神经网络，让机器拥有了深度学习的能力，如今，他的愿望实现了：人工智能之浪潮汹涌澎湃滚滚而来。然而，这位AI大神却退缩了，他对他教会它学习的机器产生了怀疑，甚至愤怒。他担心他毕生的工作可能导致人类的终结，他认为他的最终使命是警告世界！

他，就是如今被誉为“AI教父”的杰佛瑞·埃佛勒斯·辛顿（Geoffrey Everest Hinton，1947－）[1]。

家族传奇

辛顿可以算是学界少有的传奇人物，其传奇之一，是他显赫的家庭背景。我们从他的一位“玄祖父”布尔说起……

英国数学家乔治·布尔（George Boole，1815年—1864），无疑是计算机科学的前辈之一，一位大师级人物。大家都知道的布尔代数、布尔逻辑，便是以他命名的。布尔出生贫困，但他的整个后代，以及连带的3个家族可了不得，每一个都值得惊叹一声：好一个“科学世家”！

布尔的夫人玛丽是一位女权主义哲学家，也是自学成才的数学爱好者，特别喜欢代数。玛丽夫人的娘家姓氏（Everest）中，也出了好几位科学名人，实际上，Everest是西方对珠穆朗玛峰的称呼，这来源于玛丽的叔叔乔治·埃佛勒斯（George Everest），他勘察印度时发现了这座山，珠穆朗玛峰便以他的名字命名。而且，杰佛瑞·辛顿的中间名便取为Everest，即珠穆朗玛峰的英文名。

布尔和玛丽，这对珠联璧合的伉俪育有五个女儿，她们本人、配偶及后代，都有不凡的成就。非常有趣的是，布尔女儿中的老大和老小，都与中国有渊源。所以，首先简要介绍中间3个女儿：老二嫁给了艺术家爱德华·泰勒，他们的儿子杰弗里·泰勒，是著名物理学家和数学家，二战时曼哈顿计划的核心成员之一；三女儿继承了父亲的数学天赋，对四维几何深感兴趣独立钻研，颇有成果；四女儿是英国史上第一位研究药学的女性和女化学教授。

布尔第五个女儿，艾捷尔·丽莲·伏尼契，为中国人所熟悉是因为她是《牛虻》一书的作者。

布尔的大女儿玛丽，嫁给了数学家和作家查理斯·辛顿，生了四个儿子。其中小儿子的孙辈中，韩丁是“中国人民的好朋友”，写了一本有关中国土地改革的长篇作品《翻身》。韩丁的妹妹寒春，是参与了曼哈顿计划的女核物理学家，她的丈夫阳早，是美国养牛专家，夫妻俩长年定居中国。

图1：杰弗里·辛顿（8岁时抱着动物园的蟒蛇、中学、近年）

就是布尔的这位大女儿，联姻了“辛顿”的家族，这个辛顿家族中科学界名人和教授也是难以数清，我们就不一一列举了。总之，这对“布尔+辛顿”生下了一个曾孙，便正是我们本文的主角：杰弗里·辛顿。

所以，辛顿是逻辑大师布尔的玄孙，短短的计算科学史中，玄祖玄孙皆大师，不是传奇是什么？

辛顿出生于英国，父亲是剑桥大学教授，是著名的昆虫学家，研究甲虫的权威。辛顿和他的三个兄弟姐妹在一所充满动物的大房子里长大，父亲还曾经将毒蛇关在车库的坑里。

严厉的父亲自视甚高，似乎认为儿子永远无法攀登自己的顶峰。但父亲早已于70年代过世，没有来得及看到儿子的学术引用已经远远超过了他。

求学传奇

尽管杰弗里·辛顿的周围环境中，不乏杰出的科学家、学者和教授，但与大多数成功人士一样，他的求学生涯却并不总是那么顺利。也许是因为这类年轻人心里有太多自己的想法和主张的缘故。

辛顿高中时，进入了他口中的“二流公立学校”，克里夫顿学院，不过，辛顿在那儿碰到一位十分聪明的同学，这位朋友对他说：“你知道吗？大脑的记忆并不是储存在某个特定的地方，而是分布在整个大脑，在整个神经网络里传播。“，朋友又解释道：”大脑使用全息图，在全息图中，你可以砍掉一半，但你仍然可以获得整个图片，所以……”

朋友的话使辛顿兴奋，也正是从这个时候起，辛顿开始对大脑的运作深深着迷，这是他人生的关键起点。从此后，辛顿将一个目标放在了他的潜意识里：想了解大脑是如何工作的？

一开始，18岁的辛顿进入剑桥大学国王学院学习物理、化学和数学，但于一个月后就退学了。辛顿去伦敦工作了一年，做了各种各样的事情。第二年，他改修建筑学，但这次坚持的时间更短：一天！后来，辛顿也尝试过转向哲学，不过也是半途而终。

再后来，辛顿转而研究物理和生理学，成为当年剑桥大学唯一一个同时学习物理和生理学的学生。然而，因为他没有任何生物学背景，所以学习生理学非常困难。但辛顿有所期待，因为据说在第三学期，生理学教授将告诉学生大脑是如何工作的，这正是辛顿学习生理学的原因。终于到了第三学期，由像赫胥黎这样非常杰出的学者教授这门课。不过，结果并不是辛顿所期待的。生理学教授认为大脑是如何工作的呢？他们的想法是，有神经元，有沿着轴突和神经元传播的动作电位。但仅此而已，他们实际上并没有说出大脑是如何运作的，因为他们并不知道啊。并且，辛顿觉得心理学理论似乎太简单了，不可能用以解释大脑。

1970年获得实验心理学学士学位后，对大学本科学习颇感失望的辛顿放弃了剑桥大学，成了一名木匠。他一边做书架、木门，一边思考人类大脑的运作原理，自认为这是他喜欢的生活方式。作了一年多之后又有新想法了，因为靠木匠谋生并不是件容易的事情，对了解大脑也无帮助，所以，辛顿又考虑回归学术界，并决定尝试一个新方向：人工智能。

对如此奇特多变的求学经历，辛顿谑称自己患上了“学习上的过动症”，在一个专业上无法稳定下来。但其实不然，辛顿始终都在寻求自己的方向。前一段，是多次缀学的“传奇”，后面的经历，便说明了辛顿认定方向后坚持不懈的“传奇”精神。

他1972年去了爱丁堡，进入苏格兰爱丁堡大学攻读博士，这次可能算是走对路了，因为那儿有一位非常聪明的叫希金斯（Christopher Higgins，1923 – 2004）的教授，正在研究神经网络，这是辛顿长年累月思考认为可以用机器实现大脑功能的方向。

但是，辛顿好像总是运气不佳，就在他开始追求这个目标时，希金斯教授改变了他的学术初衷，“叛变”到了AI的符号主义一边，认为联结主义的神经网络是无稽之谈。这显然是受了MIT的AI大佬闵斯基的影响。闵斯基的《Perceptron》一书于69年出版，几乎摧毁了神经网络领域，使得1972年成为神经网络有史以来最低潮的时期。

因此，希金斯试图说服辛顿停止做神经网络，转做符号人工智能。于是辛顿说，再给我六个月，我会证明这是有效的；然后每六个月之后，辛顿再跟希金斯说与上次一模一样的话。两人磨磨唧唧地争论了五年，辛顿终于坚持研究备受冷落的神经网络并熬到了博士毕业。

职场传奇

辛顿的观点总是与众不同别出一格，闵斯基在《感知器》中，详尽说明了单层神经网络的限制以及功能不足之处，使得几乎所有的学者都相信这是个没有未来、注定失败的一条路，但辛顿却始终坚持神经网络研究，认为闵斯基提出感知机的缺点是件大好事，发现神经网络的问题，是解决其问题的开始，并不一定要放弃。

辛顿坚信大脑绝对不是通过人类编写的“智能程序”来工作的。例如，你可以尝试给小孩子编个程序，让他照此步骤一步一步地从语法开始学习语言，但这并不会真正起作用，孩子们会从经验中学习而不会按照你给他编的程序来做。

作为一名年轻的研究生，辛顿对自己认定的目标如此自信，令人刮目相看。辛顿将此归结为少年时经历的环境所致。他的父母是无神论者，却将儿子送去了一所宗教学校。在那儿，辛顿周围的每个人都相信上帝，除了他之外。因此，他已经习以为常总是与别人的不一样。辛顿在一次访谈中表示，这对科学家是非常好的训练，让你对自己的观点充满信心，至少给你一个合理的理论，即每个人都可能是错的，你需要坚持自己的主张，直到实现它或者否定它，做科学就需要这样的精神。

博士毕业几年之后，辛顿去了美国作博士后。他高兴地在加利福尼亚找到了几个神经网络的支持者。20世纪70年代末，在加利福尼亚州，圣地亚哥有一个团体，特别是 David Rumelhart等，他们认为神经网络非常有趣。

图2：辛顿1986年有关“反向传播”的论文

1986年，辛顿与David Rumelhart和Ronald Williams共同发表了一篇题为“通过反向传播误差来学习”（Learning representations by back-propagating errors）的论文[2]。

三位科学家并不是第一个提出这种“反向传播”方法的人。但他们将反向传播算法应用于多层神经网络并且证明了这种方法对机器学习行之有效。他们的论文也证明了，神经网络中的多个隐藏层可以学习任何函数，从而解决了闵斯基等书中提出的单层感知机存在的问题。

同一时期，辛顿与 David Ackley 和 Terry Sejnowski 共同发明了玻尔兹曼机。

之后，辛顿在匹兹堡的卡内基梅隆大学找到了一份工作，但他对里根领导下的美国外交政策，特别是对中美洲的干涉越来越感到不安。他和他的妻子罗斯收养了来自南美的一男一女，却不太喜欢在美国抚养他们。另外，美国的大多数人工智能研究都是由国防部资助的，这也让辛顿不满意，因此他接受了加拿大高级研究所的邀请，以及多伦多大学计算机科学领域的职位，并在加拿大启动了“机器和大脑学习”项目。

图3：辛顿著名的“徒子徒孙”们

辛顿1986年有关反向传播算法和波尔兹曼机的两篇重要文章，抵不过当年“人工智能的寒冬”，似乎反响不大，但辛顿在加拿大多伦多大学，毕竟有了稳定的位置以及还算充裕的支持神经网络的研究经费，使他能在这个冷门领域里坚持耕耘三十余年无怨无悔。更为重要的是，随着时间的推移，一些深度学习的信徒们被辛顿所吸引。他培养了不少学生，学生又有学生，加上博士后及合作者，研究神经网络深度学习的人才济济群星闪烁，尽管寒冬期间工作机会少，资金仍然稀缺，但研究者们兴趣盎然，他们凭借自身的信念，排除嘈杂的干扰而自得其乐，江湖貌似平静但暗流涌动，为人工智能春天之到来做好了准备。正是应了一句名言：“大隐隐于市”。

他长久的在这个冷门的领域耕耘，让他最终迎来了春天，不但为他赢得了2018年的图灵奖，也为人工智能领域带来了革命性的突破。

参考资料：

[1]Home Page of Geoffrey Hinton，https://www.cs.toronto.edu/~hinton/

[2]David E. Rumelhart, Geoffrey E. Hinton und Ronald J. Williams. Learning representations by back-propagating errors., Nature (London) 323, S. 533-536，http://www.cs.utoronto.ca/~hinton/absps/naturebp.pdf

延伸阅读：

万字长文专访“AI之父”Geoffrey Hinton: 我使用ChatGPT之后，为什么也开始害怕现在AI技术？