网易首页 > 网易号 > 正文 申请入驻

12年前上手深度学习,Karpathy掀起一波AlexNet时代回忆杀

0
分享至

机器之心报道

机器之心编辑部

没想到,自 2012 年 AlexNet 开启的深度学习革命已经过去了 12 年。

而如今,我们也进入了大模型的时代。

近日,知名 AI 研究科学家 Andrej Karpathy 的一条帖子,让参与这波深度学习变革的许多大佬们陷入了回忆杀。从图灵奖得主 Yann LeCun 到 GAN 之父 Ian Goodfellow,纷纷忆往昔。

到目前为止,该帖子已经有 63 万 + 的浏览量。



在帖子中,Karpathy 提到:有一个有趣的事实是,很多人可能听说过 2012 年 ImageNet/AlexNet 的时刻,以及它开启的深度学习革命。不过,可能很少有人知道,支持这次竞赛获胜作品的代码是由 Alex Krizhevsky 从头开始,用 CUDA/C++ 手工编写的。这个代码仓库叫做 cuda-convnet, 当时托管在 Google Code 上:



https://code.google.com/archive/p/cuda-convnet/

Karpathy 想着 Google Code 是不是已经关闭了 (?),但他在 GitHub 上找到了一些其他开发者基于原始代码创建的新版本,比如:



https://github.com/ulrichstern/cuda-convnet

“AlexNet 是最早将 CUDA 用于深度学习的著名例子之一。”Karpathy 回忆说,正是因为使用了 CUDA 和 GPU,AlexNet 才能处理如此大规模的数据 (ImageNet),并在图像识别任务上取得如此出色的表现。“AlexNet 不仅仅是简单地用了 GPU,还是一个多 GPU 系统。比如 AlexNet 使用了一种叫做模型并行的技术,将卷积运算分成两部分,分别运行在两个 GPU 上。”

Karpathy 提醒大家,你要知道那可是 2012 年啊!“在 2012 年 (大约 12 年前),大多数深度学习研究都是在 Matlab 中进行,跑在 CPU 上,在玩具级别的数据集上不断迭代各种学习算法、网络架构和优化思路。” 他写道。但 AlexNet 的作者 Alex、Ilya 和 Geoff 却做了一件与当时的主流研究风格完全不同的事情 ——“不再纠结于算法细节,只需要拿一个相对标准的卷积神经网络 (ConvNet),把它做得非常大,在一个大规模的数据集 (ImageNet) 上训练它,然后用 CUDA/C++ 把整个东西实现出来。”

Alex Krizhevsky 直接使用 CUDA 和 C++ 编写了所有的代码,包括卷积、池化等深度学习中的基本操作。这种做法非常创新也很有挑战性,需要程序员对算法、硬件架构、编程语言等有深入理解。

从底层开始的编程方式复杂而繁琐,但可以最大限度地优化性能,充分发挥硬件计算能力,也正是这种回归根本的做法为深度学习注入了一股强大动力,构成深度学习历史上的转折点。

有意思的是,这一段描述勾起不少人的回忆,大家纷纷考古 2012 年之前自己使用什么工具实现深度学习项目。纽约大学计算机科学教授 Alfredo Canziani 当时用的是 Torch,“从未听说有人使用 Matlab 进行深度学习研究......” 。



对此 Yann lecun 表示同意,2012 年大多数重要的深度学习都是用 Torch 和 Theano 完成的。



Karpathy 有不同看法,他接话说,大多数项目都是在用 Matlab ,自己从未使用过 Theano,2013-2014 年使用过 Torch。



一些网友也透露 Hinton 也是用 Matlab。



看来,当时使用 Matlab 的并不少:



知名的 GAN 之父 Ian Goodfellow 也现身说法,表示当时 Yoshua 的实验室全用 Theano,还说自己在 ImageNet 发布之前,曾为 Alex 的 cuda-convnet 编写了 Theano 捆绑包。



谷歌 DeepMind 主管 Douglas Eck 现身说自己没用过 Matlab,而是 C++,然后转向了 Python/Theano。



纽约大学教授 Kyunghyun Cho 表示,2010 年,他还在大西洋彼岸,当时使用的是 Hannes SChulz 等人做的 CUV 库,帮他从 Matlab 转向了 python。



Lamini 的联合创始人 Gregory Diamos 表示,说服他的论文是吴恩达等人的论文《Deep learning with COTS HPC systems》。



论文表明 Frankenstein CUDA 集群可以击败 10,000 个 CPU 组成的 MapReduce 集群。



论文链接:https://proceedings.mlr.press/v28/coates13.pdf

不过,AlexNet 的巨大成功并非一个孤立的事件,而是当时整个领域发展趋势的一个缩影。一些研究人员已经意识到深度学习需要更大的规模和更强的计算能力,GPU 是一个很有前景的方向。Karpathy 写道,“当然,在 AlexNet 出现之前,深度学习领域已经有了一些向规模化方向发展的迹象。例如,Matlab 已经开始初步支持 GPU。斯坦福大学吴恩达实验室的很多工作都在朝着使用 GPU 进行大规模深度学习的方向发展。还有一些其他的并行努力。”

考古结束时,Karpathy 感慨道 “在编写 C/C++ 代码和 CUDA kernel 时,有一种有趣的感觉,觉得自己仿佛回到了 AlexNet 的时代,回到了 cuda-convnet 的时代。”

当下这种 "back to the basics" 的做法与当年 AlexNet 的做法有着异曲同工 ——AlexNet 的作者从 Matlab 转向 CUDA/C++,是为了追求更高的性能和更大的规模。虽然现在有了高级框架,但在它们无法轻松实现极致性能时,仍然需要回到最底层,亲自编写 CUDA/C++ 代码。

对了,当时国内的研究者们都是用什么?欢迎留言讨论。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
突然,清盘倒闭了...

突然,清盘倒闭了...

假装是天堂
2024-06-10 17:19:50
两性羞羞:添女友这里,她会嗨到不行

两性羞羞:添女友这里,她会嗨到不行

坟头长草
2024-05-30 16:23:58
《玫瑰的故事》主演片酬曝光:刘亦菲仅拿2500万,林更新最意外!

《玫瑰的故事》主演片酬曝光:刘亦菲仅拿2500万,林更新最意外!

星寒新影视
2024-06-09 23:42:09
迪拜,一个比缅北更恐怖的地方!幸好贫穷又救了我一命!好可怕啊

迪拜,一个比缅北更恐怖的地方!幸好贫穷又救了我一命!好可怕啊

有趣的羊驼
2024-06-09 20:19:23
国运来了挡都挡不住?俄乌战争最起码给中国又争取了五年时间

国运来了挡都挡不住?俄乌战争最起码给中国又争取了五年时间

曾经年少
2024-03-05 11:38:53
云南昆明,侯女士花了125万块钱买了一辆奔驰越野车。一个月后,她把新车送到4S店贴膜

云南昆明,侯女士花了125万块钱买了一辆奔驰越野车。一个月后,她把新车送到4S店贴膜

户外小阿隋
2024-06-10 07:55:03
女网红后悔丰臀了,现在屁股里面全是脓水,曾注射400多针玻尿酸

女网红后悔丰臀了,现在屁股里面全是脓水,曾注射400多针玻尿酸

七阿姨爱八卦
2024-06-09 22:49:55
2006年,湖南一母亲和儿子乱伦26年,儿子为摆脱动了杀机

2006年,湖南一母亲和儿子乱伦26年,儿子为摆脱动了杀机

五月读书汇
2024-06-03 06:50:44
大伯跟我爸15年不说话,直到我爸被邻居一家殴打后,大伯立马怒了

大伯跟我爸15年不说话,直到我爸被邻居一家殴打后,大伯立马怒了

猫眼观史
2024-03-03 20:27:01
医生反复提醒:过了60岁,宁可在家里坐着不动,别出门做这3件事

医生反复提醒:过了60岁,宁可在家里坐着不动,别出门做这3件事

贾文彬的史书
2024-06-07 22:32:31
三峡大坝突现“水怪”,专家把它拖上岸后,却让众人傻眼!

三峡大坝突现“水怪”,专家把它拖上岸后,却让众人傻眼!

星辰故事屋
2024-06-10 17:35:41
某大佬与女星、其母的瓜!

某大佬与女星、其母的瓜!

文刀万
2024-06-09 13:10:07
10年前,两位“夺刀少年”因救人错过高考,拒绝保送后如今怎样了

10年前,两位“夺刀少年”因救人错过高考,拒绝保送后如今怎样了

文史达观
2024-06-09 06:45:02
马筱梅父母终于露面,张兰称要带亲家参加重要活动,一起走红毯!

马筱梅父母终于露面,张兰称要带亲家参加重要活动,一起走红毯!

小咪侃娱圈
2024-06-09 16:53:37
TVB亿万驸马与太太晒恩爱闪爆屏幕,女方样貌常被嘲笑,男方被指吃软饭

TVB亿万驸马与太太晒恩爱闪爆屏幕,女方样貌常被嘲笑,男方被指吃软饭

TVB剧评社
2024-06-10 00:14:44
普京对俄军士兵很大方,只要在乌克兰打过仗,就能在远东分一块地

普京对俄军士兵很大方,只要在乌克兰打过仗,就能在远东分一块地

西斋青简
2024-06-09 14:45:02
【史话】蒋介石说:亡于日本,能为亡国奴;亡于共党,为奴亦不能

【史话】蒋介石说:亡于日本,能为亡国奴;亡于共党,为奴亦不能

年之父
2023-04-27 07:09:23
山东一新郎与父亲布置婚房,没想到竟被父亲活活锤死

山东一新郎与父亲布置婚房,没想到竟被父亲活活锤死

一度历史观
2024-05-22 16:25:36
抗美援朝,中央决定调黄永胜入朝,林彪却突然说:我要换一个人上

抗美援朝,中央决定调黄永胜入朝,林彪却突然说:我要换一个人上

平安是福呀
2024-06-08 23:26:13
重大利好!中国女排助理教练袁志,将走马上任!球迷吃下定心丸!

重大利好!中国女排助理教练袁志,将走马上任!球迷吃下定心丸!

热血排球通
2024-06-10 20:47:54
2024-06-11 02:32:49
机器之心Pro
机器之心Pro
专业的人工智能媒体
9063文章数 141940关注度
往期回顾 全部

科技要闻

苹果发布VisionOS 2

头条要闻

垃圾堆成十几米高的"山" 多地发现"跨省倒垃圾"

头条要闻

垃圾堆成十几米高的"山" 多地发现"跨省倒垃圾"

体育要闻

侠和凯的差别,正如琼斯和霍乐迪

娱乐要闻

汤唯抵达巴黎将担任奥运火炬手

财经要闻

三年没买房,省了不止一百万

汽车要闻

营收99亿亏损50亿+ 蔚来一季度财报出炉

态度原创

家居
数码
艺术
时尚
本地

家居要闻

柔和婉转 让阳光洒满空间

数码要闻

小米智能摄像机 C500 双摄版发布:AI 双摄联动,众筹价 319 元

艺术要闻

穿越时空的艺术:《马可·波罗》AI沉浸影片探索人类文明

40岁左右的女人,看看不穿“大妈装”的她们,照样美得高级

本地新闻

粽情一夏|来宝鸡过端午 体验不一样的节日风情

无障碍浏览 进入关怀版