网易首页 > 网易号 > 正文 申请入驻

AI教父40年的坚持:冷板凳坐穿研究神经网络

0
分享至

来源:知识分子

作者:张天蓉


图源:pixabay

他曾花了小半个世纪的时间开发神经网络,让机器拥有了深度学习的能力,如今,他的愿望实现了:人工智能之浪潮汹涌澎湃滚滚而来。然而,这位AI大神却退缩了,他对他教会它学习的机器产生了怀疑,甚至愤怒。他担心他毕生的工作可能导致人类的终结,他认为他的最终使命是警告世界!

他,就是如今被誉为“AI教父”的杰佛瑞·埃佛勒斯·辛顿(Geoffrey Everest Hinton,1947-)[1]。

家族传奇

辛顿可以算是学界少有的传奇人物,其传奇之一,是他显赫的家庭背景。我们从他的一位“玄祖父”布尔说起……

英国数学家乔治·布尔(George Boole,1815年—1864),无疑是计算机科学的前辈之一,一位大师级人物。大家都知道的布尔代数、布尔逻辑,便是以他命名的。布尔出生贫困,但他的整个后代,以及连带的3个家族可了不得,每一个都值得惊叹一声:好一个“科学世家”!

布尔的夫人玛丽是一位女权主义哲学家,也是自学成才的数学爱好者,特别喜欢代数。玛丽夫人的娘家姓氏(Everest)中,也出了好几位科学名人,实际上,Everest是西方对珠穆朗玛峰的称呼,这来源于玛丽的叔叔乔治·埃佛勒斯(George Everest),他勘察印度时发现了这座山,珠穆朗玛峰便以他的名字命名。而且,杰佛瑞·辛顿的中间名便取为Everest,即珠穆朗玛峰的英文名。

布尔和玛丽,这对珠联璧合的伉俪育有五个女儿,她们本人、配偶及后代,都有不凡的成就。非常有趣的是,布尔女儿中的老大和老小,都与中国有渊源。所以,首先简要介绍中间3个女儿:老二嫁给了艺术家爱德华·泰勒,他们的儿子杰弗里·泰勒,是著名物理学家和数学家,二战时曼哈顿计划的核心成员之一;三女儿继承了父亲的数学天赋,对四维几何深感兴趣独立钻研,颇有成果;四女儿是英国史上第一位研究药学的女性和女化学教授。

布尔第五个女儿,艾捷尔·丽莲·伏尼契,为中国人所熟悉是因为她是《牛虻》一书的作者。

布尔的大女儿玛丽,嫁给了数学家和作家查理斯·辛顿,生了四个儿子。其中小儿子的孙辈中,韩丁是“中国人民的好朋友”,写了一本有关中国土地改革的长篇作品《翻身》。韩丁的妹妹寒春,是参与了曼哈顿计划的女核物理学家,她的丈夫阳早,是美国养牛专家,夫妻俩长年定居中国。


图1:杰弗里·辛顿(8岁时抱着动物园的蟒蛇、中学、近年)

就是布尔的这位大女儿,联姻了“辛顿”的家族,这个辛顿家族中科学界名人和教授也是难以数清,我们就不一一列举了。总之,这对“布尔+辛顿”生下了一个曾孙,便正是我们本文的主角:杰弗里·辛顿。

所以,辛顿是逻辑大师布尔的玄孙,短短的计算科学史中,玄祖玄孙皆大师,不是传奇是什么?

辛顿出生于英国,父亲是剑桥大学教授,是著名的昆虫学家,研究甲虫的权威。辛顿和他的三个兄弟姐妹在一所充满动物的大房子里长大,父亲还曾经将毒蛇关在车库的坑里。

严厉的父亲自视甚高,似乎认为儿子永远无法攀登自己的顶峰。但父亲早已于70年代过世,没有来得及看到儿子的学术引用已经远远超过了他。

求学传奇

尽管杰弗里·辛顿的周围环境中,不乏杰出的科学家、学者和教授,但与大多数成功人士一样,他的求学生涯却并不总是那么顺利。也许是因为这类年轻人心里有太多自己的想法和主张的缘故。

辛顿高中时,进入了他口中的“二流公立学校”,克里夫顿学院,不过,辛顿在那儿碰到一位十分聪明的同学,这位朋友对他说:“你知道吗?大脑的记忆并不是储存在某个特定的地方,而是分布在整个大脑,在整个神经网络里传播。“,朋友又解释道:”大脑使用全息图,在全息图中,你可以砍掉一半,但你仍然可以获得整个图片,所以……”

朋友的话使辛顿兴奋,也正是从这个时候起,辛顿开始对大脑的运作深深着迷,这是他人生的关键起点。从此后,辛顿将一个目标放在了他的潜意识里:想了解大脑是如何工作的?

一开始,18岁的辛顿进入剑桥大学国王学院学习物理、化学和数学,但于一个月后就退学了。辛顿去伦敦工作了一年,做了各种各样的事情。第二年,他改修建筑学,但这次坚持的时间更短:一天!后来,辛顿也尝试过转向哲学,不过也是半途而终。

再后来,辛顿转而研究物理和生理学,成为当年剑桥大学唯一一个同时学习物理和生理学的学生。然而,因为他没有任何生物学背景,所以学习生理学非常困难。但辛顿有所期待,因为据说在第三学期,生理学教授将告诉学生大脑是如何工作的,这正是辛顿学习生理学的原因。终于到了第三学期,由像赫胥黎这样非常杰出的学者教授这门课。不过,结果并不是辛顿所期待的。生理学教授认为大脑是如何工作的呢?他们的想法是,有神经元,有沿着轴突和神经元传播的动作电位。但仅此而已,他们实际上并没有说出大脑是如何运作的,因为他们并不知道啊。并且,辛顿觉得心理学理论似乎太简单了,不可能用以解释大脑。

1970年获得实验心理学学士学位后,对大学本科学习颇感失望的辛顿放弃了剑桥大学,成了一名木匠。他一边做书架、木门,一边思考人类大脑的运作原理,自认为这是他喜欢的生活方式。作了一年多之后又有新想法了,因为靠木匠谋生并不是件容易的事情,对了解大脑也无帮助,所以,辛顿又考虑回归学术界,并决定尝试一个新方向:人工智能。

对如此奇特多变的求学经历,辛顿谑称自己患上了“学习上的过动症”,在一个专业上无法稳定下来。但其实不然,辛顿始终都在寻求自己的方向。前一段,是多次缀学的“传奇”,后面的经历,便说明了辛顿认定方向后坚持不懈的“传奇”精神。

他1972年去了爱丁堡,进入苏格兰爱丁堡大学攻读博士,这次可能算是走对路了,因为那儿有一位非常聪明的叫希金斯(Christopher Higgins,1923 – 2004)的教授,正在研究神经网络,这是辛顿长年累月思考认为可以用机器实现大脑功能的方向。

但是,辛顿好像总是运气不佳,就在他开始追求这个目标时,希金斯教授改变了他的学术初衷,“叛变”到了AI的符号主义一边,认为联结主义的神经网络是无稽之谈。这显然是受了MIT的AI大佬闵斯基的影响。闵斯基的《Perceptron》一书于69年出版,几乎摧毁了神经网络领域,使得1972年成为神经网络有史以来最低潮的时期。

因此,希金斯试图说服辛顿停止做神经网络,转做符号人工智能。于是辛顿说,再给我六个月,我会证明这是有效的;然后每六个月之后,辛顿再跟希金斯说与上次一模一样的话。两人磨磨唧唧地争论了五年,辛顿终于坚持研究备受冷落的神经网络并熬到了博士毕业。

职场传奇

辛顿的观点总是与众不同别出一格,闵斯基在《感知器》中,详尽说明了单层神经网络的限制以及功能不足之处,使得几乎所有的学者都相信这是个没有未来、注定失败的一条路,但辛顿却始终坚持神经网络研究,认为闵斯基提出感知机的缺点是件大好事,发现神经网络的问题,是解决其问题的开始,并不一定要放弃。

辛顿坚信大脑绝对不是通过人类编写的“智能程序”来工作的。例如,你可以尝试给小孩子编个程序,让他照此步骤一步一步地从语法开始学习语言,但这并不会真正起作用,孩子们会从经验中学习而不会按照你给他编的程序来做。

作为一名年轻的研究生,辛顿对自己认定的目标如此自信,令人刮目相看。辛顿将此归结为少年时经历的环境所致。他的父母是无神论者,却将儿子送去了一所宗教学校。在那儿,辛顿周围的每个人都相信上帝,除了他之外。因此,他已经习以为常总是与别人的不一样。辛顿在一次访谈中表示,这对科学家是非常好的训练,让你对自己的观点充满信心,至少给你一个合理的理论,即每个人都可能是错的,你需要坚持自己的主张,直到实现它或者否定它,做科学就需要这样的精神。

博士毕业几年之后,辛顿去了美国作博士后。他高兴地在加利福尼亚找到了几个神经网络的支持者。20世纪70年代末,在加利福尼亚州,圣地亚哥有一个团体,特别是 David Rumelhart等,他们认为神经网络非常有趣。


图2:辛顿1986年有关“反向传播”的论文

1986年,辛顿与David Rumelhart和Ronald Williams共同发表了一篇题为“通过反向传播误差来学习”(Learning representations by back-propagating errors)的论文[2]。

三位科学家并不是第一个提出这种“反向传播”方法的人。但他们将反向传播算法应用于多层神经网络并且证明了这种方法对机器学习行之有效。他们的论文也证明了,神经网络中的多个隐藏层可以学习任何函数,从而解决了闵斯基等书中提出的单层感知机存在的问题。

同一时期,辛顿与 David Ackley 和 Terry Sejnowski 共同发明了玻尔兹曼机。

之后,辛顿在匹兹堡的卡内基梅隆大学找到了一份工作,但他对里根领导下的美国外交政策,特别是对中美洲的干涉越来越感到不安。他和他的妻子罗斯收养了来自南美的一男一女,却不太喜欢在美国抚养他们。另外,美国的大多数人工智能研究都是由国防部资助的,这也让辛顿不满意,因此他接受了加拿大高级研究所的邀请,以及多伦多大学计算机科学领域的职位,并在加拿大启动了“机器和大脑学习”项目。


图3:辛顿著名的“徒子徒孙”们

辛顿1986年有关反向传播算法和波尔兹曼机的两篇重要文章,抵不过当年“人工智能的寒冬”,似乎反响不大,但辛顿在加拿大多伦多大学,毕竟有了稳定的位置以及还算充裕的支持神经网络的研究经费,使他能在这个冷门领域里坚持耕耘三十余年无怨无悔。更为重要的是,随着时间的推移,一些深度学习的信徒们被辛顿所吸引。他培养了不少学生,学生又有学生,加上博士后及合作者,研究神经网络深度学习的人才济济群星闪烁,尽管寒冬期间工作机会少,资金仍然稀缺,但研究者们兴趣盎然,他们凭借自身的信念,排除嘈杂的干扰而自得其乐,江湖貌似平静但暗流涌动,为人工智能春天之到来做好了准备。正是应了一句名言:“大隐隐于市”。

他长久的在这个冷门的领域耕耘,让他最终迎来了春天,不但为他赢得了2018年的图灵奖,也为人工智能领域带来了革命性的突破。

参考资料:

[1]Home Page of Geoffrey Hinton,https://www.cs.toronto.edu/~hinton/

[2]David E. Rumelhart, Geoffrey E. Hinton und Ronald J. Williams. Learning representations by back-propagating errors., Nature (London) 323, S. 533-536,http://www.cs.utoronto.ca/~hinton/absps/naturebp.pdf

延伸阅读:

万字长文专访“AI之父”Geoffrey Hinton: 我使用ChatGPT之后,为什么也开始害怕现在AI技术?

责任编辑:郭鹏_NO4657

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
最后一刻签了!7国不准两岸统一,赖清德致谢,大陆宣布全军备战

最后一刻签了!7国不准两岸统一,赖清德致谢,大陆宣布全军备战

青栀伊人
2024-06-25 21:52:12
王铁成遗体告别仪式,54岁智障儿子被人搀扶,更多全家福合影曝光

王铁成遗体告别仪式,54岁智障儿子被人搀扶,更多全家福合影曝光

180°视角
2024-06-25 18:03:34
65岁曼联弃帅扬眉吐气!曾被C罗轻视嘲讽,今率黑马欧洲杯创5纪录

65岁曼联弃帅扬眉吐气!曾被C罗轻视嘲讽,今率黑马欧洲杯创5纪录

我爱英超
2024-06-26 02:58:57
刚刚,国际刑事法院(ICC)向绍伊古和格拉西莫夫发出逮捕令

刚刚,国际刑事法院(ICC)向绍伊古和格拉西莫夫发出逮捕令

山河路口
2024-06-25 20:06:14
6月25日俄乌最新:俄军伤亡直线上升

6月25日俄乌最新:俄军伤亡直线上升

西楼饮月
2024-06-25 13:25:51
美方要求中方保持克制,不要单方面改变台海现状 中方:任何外部势力无权说三道四!

美方要求中方保持克制,不要单方面改变台海现状 中方:任何外部势力无权说三道四!

财联社
2024-06-25 15:50:10
张娜拉:自曝被潜规则超300次,堕胎九次,上厕所时导演也不放过

张娜拉:自曝被潜规则超300次,堕胎九次,上厕所时导演也不放过

飞花文史
2024-06-25 17:26:16
大范围梅雨向北方推进,暴雨大暴雨对准山东!分析:警惕旱涝急转

大范围梅雨向北方推进,暴雨大暴雨对准山东!分析:警惕旱涝急转

中国气象爱好者
2024-06-25 19:49:56
仅第三出线!荷兰3.46亿欧全欧最豪华防线+5大中卫,3场丢掉4球

仅第三出线!荷兰3.46亿欧全欧最豪华防线+5大中卫,3场丢掉4球

直播吧
2024-06-26 02:07:08
江苏省2024高考分数线出炉冲上热搜,全面涨幅!网友评论:太高了

江苏省2024高考分数线出炉冲上热搜,全面涨幅!网友评论:太高了

侃故事的阿庆
2024-06-24 17:34:33
天下事 | 一线城市首座“国际慢城”在深圳

天下事 | 一线城市首座“国际慢城”在深圳

中国城市规划学会
2024-06-24 19:21:28
中国或将取消:欧洲进口车12%-40%大排量消费税

中国或将取消:欧洲进口车12%-40%大排量消费税

爱卡汽车
2024-06-25 20:18:07
顶级医学教授在京突然去世,死前三个月照片令人心痛,知情者发声

顶级医学教授在京突然去世,死前三个月照片令人心痛,知情者发声

求实者
2024-06-25 14:31:58
法国进入死亡半区!积分榜7次变化,荷兰或战英格兰,奥地利头名

法国进入死亡半区!积分榜7次变化,荷兰或战英格兰,奥地利头名

奥拜尔
2024-06-26 01:57:40
这合理吗?曝某地美甲店因擅自开展医疗美容活动,罚款50000没收违法所得700

这合理吗?曝某地美甲店因擅自开展医疗美容活动,罚款50000没收违法所得700

可达鸭面面观
2024-06-25 16:45:08
“第二个香港”即将诞生,面积比香港大30倍,或成最大自由港

“第二个香港”即将诞生,面积比香港大30倍,或成最大自由港

杨哥历史
2024-06-25 15:32:14
酒楼注销被追27年前税,9年前,最美查税团队逼走外企:我是英雄

酒楼注销被追27年前税,9年前,最美查税团队逼走外企:我是英雄

大风文字
2024-06-25 11:14:09
中国与波兰关于加强全面战略伙伴关系的行动计划:支持在电动汽车等领域开展双向投资合作

中国与波兰关于加强全面战略伙伴关系的行动计划:支持在电动汽车等领域开展双向投资合作

每日经济新闻
2024-06-25 11:32:28
姜萍“不懂数学”新实锤,一行等式11个字母,只抄对了2个……

姜萍“不懂数学”新实锤,一行等式11个字母,只抄对了2个……

可达鸭面面观
2024-06-25 18:09:58
年轻人怎么都去干保安了?有人甚至写了首诗:楼上九九六,我打太极拳

年轻人怎么都去干保安了?有人甚至写了首诗:楼上九九六,我打太极拳

可达鸭面面观
2024-06-25 11:43:52
2024-06-26 04:44:49
报人刘亚东
报人刘亚东
不唯上,不唯书,只唯实。
4581文章数 41983关注度
往期回顾 全部

科技要闻

OpenAI对中国API"停服" 国内厂商"抢单"

头条要闻

欧洲杯-半场 英格兰暂0-0斯洛文尼亚 萨卡破门被吹

头条要闻

欧洲杯-半场 英格兰暂0-0斯洛文尼亚 萨卡破门被吹

体育要闻

球场上的每1分钟 都足以让天堂地狱颠覆

娱乐要闻

盗取具荷拉保险柜小偷疑似男星Zico!

财经要闻

李强:打好政策组合拳 推动高质量发展

汽车要闻

售价或超60万元 LEVC L380将于今晚正式上市

态度原创

房产
健康
艺术
教育
军事航空

房产要闻

售罄后或仍有20套房源,中环金茂府“不受宠了”?

人类为何至今无法攻克渐冻症?

艺术要闻

穿越时空的艺术:《马可·波罗》AI沉浸影片探索人类文明

教育要闻

教育孩子,这些误区,你避开了吗?

军事要闻

哈马斯领导人哈尼亚的多名亲属在以军空袭中丧生

无障碍浏览 进入关怀版