网易首页 > 网易号 > 正文 申请入驻

谷歌、亚马逊的顶级GPU被质疑太贵了!这种CPU算法竟然快15倍

0
分享至

  

  新智元报道

  来源:外媒等

  编辑:LZY

  【新智元导读】赖斯大学的计算机科学家创造了一种替代GPU的方法,该算法使用通用中央处理器(CPU),并指出其训练深度神经网络(DNN) 的速度超过图形处理器平台(GPU)速度的15倍。到底是怎么回事呢,我们一起来看看!

  赖斯布朗工程学院的计算机科学助理教授安舒玛利·史里瓦斯塔瓦(Anshumali Shrivastava)认为人工智能的瓶颈取决于如何训练AI的工作负载。

  赖斯(Rice)和英特尔(Intel)的合作者们在4月8日的机器学习系统大会MLSys上针对这一瓶颈提出了研究。

  

  深度神经网络是什么?

  深度神经网络(DNN)是一种强大的人工智能形式,在执行某些任务上甚至可以胜过人类。神经网络是基于感知机的扩展,而DNN可以理解为有很多隐藏层的神经网络。DNN有时也叫做多层感知机(Multi-Layer perceptron, MLP)。

  按不同层的位置划分,DNN内部的神经网络层可以分为三类,输入层,隐藏层和输出层。

  如下图右边示例,一般来说第一层红色的是输入层,最后一层蓝色的是输出层,而中间的黄色的层数都是隐藏层。

  

  训练DNN通常是需要一系列矩阵乘法的运算。

  GPU的成本是通用中央处理单元(CPU)的三倍左右。

  如图所示,左侧为GPU,最初用在个人电脑、工作站、游戏机和一些移动设备上运行绘图运算工作的微处理器。

  右侧为CPU,简而言之,就是机器的“大脑”。是完成布局谋略、发号施令、控制行动的「总司令官」。

  

  

  因为整个行业都专注于寻求一种更快的矩阵乘法,GPU是一种称为「亚线性深度学习引擎」(SLIDE)的算法,该算法使用通用中央处理器(CPU),无需专门的加速硬件就可实现。

  现在,为了实现不同种类的深度学习,人们也会挑选专门的硬件和软件。与其花更多的钱用于算法开发,人们更愿意投入整个系统的优化升级,也就是研究一下原来的算法。

  Shrivastava的实验室在2019年做到了这一点,借助SLIDE,DNN被训练为可以通过哈希表搜索问题的深度网络形式。

  哈希表(Hash table) 又称为散列表,如下图所示. 我们可以根据键(Key)可直接访问内存的数据结构。

  

  (图源见水印)

  也就是说,它通过一个关于键值的函数,将所需查询的数据映射到表中一个位置来添加访问记录,这能大大加快查找速度。

  与反向传播训练相比,这也从根本上减少了SLIDE的计算开销。

  像亚马逊,谷歌和其他公司提供的基于云的深度学习服务的顶级GPU平台相当于八台Tesla V100,价格约为100,000美元,其实这是很大的一笔开销。

  

  CPU大战GPU

  英特尔的Shrivastava及其合作者在MLSys 2020上展示其性能时发现CPU算法训练深度神经网络的速度比顶级GPU训练器还要快15倍。

  下图是CPU和GPU的对比。

  

  从这个架构图,我们就能明显看出,GPU的构成相对简单,有数量众多的计算单元和超长的流水线,CPU有强大的ALU(算术运算单元),它可以在很少的时间周期内完成算数计算。

  在2021 MLSys上合作者又提出探讨:「是否SLIDE的表现可以随着现代CPU内存的优化而越来愈?」

  所以未来我们不能拘泥于矩阵乘法,而是可以利用现代CPU的强大功能,用快4至15倍的速度训练其他的AI模型,希望通过这些创新进一步推动SLIDE的发展

  研究者莱斯大学本科生尼古拉斯·梅斯堡尔(Nicholas Meisburger)也表示CPU仍然是计算中最流行的硬件。我们要好好利用起来!

  参考资料:

  https://techxplore.com/news/2021-04-rice-intel-optimize-ai-commodity.html

  

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐

伊涅斯塔:对自己在神户的贡献感到满意,日本成为我的第二故乡

直播吧
2021-05-11 14:05:25

婚礼上,我哥在我妻子面前嚎啕大哭,多年家丑终于曝光

十点读书
2021-05-10 22:28:43

美呼吁塞尔维亚对科索沃战争“看开一点”,要原谅美军轰炸南联盟

老勒看军事
2021-05-11 09:13:46

马云现身第17个“阿里日”,网友:老了老了

浙商杂志
2021-05-11 17:55:50

董洁19年前有多能撩?看看这教科书般的演技,牺牲真的还挺大

小司谈热点
2021-05-09 10:04:49

小姐姐在健身房,穿瑜伽裤,这样的女人才是极品的存在

不是女汉子
2021-05-11 13:54:11

公共区域变“私有领地”,辽宁一“任性”小区,现“大批量”违建

新住
2021-05-11 07:01:24

蔡英文接班人尘埃落定?最新民意调查出炉,洪秀柱一句话说到点上

百变狗蛋
2021-05-11 09:42:34

谢娜消失120天后,挥泪告别快本:人啊,千万别错把平台当本事

微梦白昼
2021-05-11 10:24:06

熊磊凌晨发视频怀念姚策,时尚大片+快节奏配乐惹怒网友!

生活的小秘密
2021-05-11 18:49:49

这些“假高级”的卫生间设计,纯属鸡肋,别效仿,真是浪费钱

窝的事
2021-05-10 00:20:37

到了2030年,现在100万的房子还能值多少钱?专家直言不讳

财料
2021-05-10 22:20:29

小学将迎来大调整!学前班或全部取消!同时还有一个好消息!

悦动教育屋
2021-05-11 07:39:30

尴尬吗!?台“友邦”洪都拉斯:萨尔瓦多将帮我们从中国大陆购买疫苗

环球网资讯
2021-05-11 09:20:00

银行行长潜规则32名女下属,谁给了他“纳王妃”的勇气?

家庭菜园子
2021-05-10 09:05:41

“千万地产商”请客吃饭,4个人点了5菜1汤,真有钱、假有钱?

鸥小小雅萍
2021-05-10 21:04:48

保姆照顾父亲9年,父亲过世卡上没一分钱,儿子去保姆家才知缘由

野岛情感说
2021-05-10 14:32:02

凌晨时分,台海战机呼啸!解放军创下崭新纪录,“台独”吓得不轻

辣椒新闻
2021-05-11 14:00:25

何超莲晒三太旧照庆母亲节,陈婉珍年轻时貌美苗条,淡妆难掩气质

树娃
2021-05-11 07:55:02

浙江新增确诊病例1例!医生提醒小心“口罩脸”!

记录之路
2021-05-11 02:11:08
2021-05-11 20:45:07
新智元
新智元
AI产业主平台领航智能+时代
6718文章数 44749关注度
往期回顾 全部

科技要闻

周鸿祎:假以时日 华为汽车一定能取代特斯拉

头条要闻

电动车电梯内爆燃:受害婴儿仍在icu 腿烧到粘在一起

头条要闻

武汉吊篮撞楼遇难工人家属:事发后被殴打 抢手机

体育要闻

第182次三双!威少独享NBA历史三双王

娱乐要闻

陶虹穿深V礼服对镜回眸氛围感满分

财经要闻

汽车要闻

韩国旗舰电动车? 现代将推IONIQ 6轿车

态度原创

房产
手机
家居
时尚
军事航空

房产要闻

[上海]“飞地”成枢纽 安亭成了刚需客重点关注的区域

手机要闻

iPhone折叠屏预计将于2023年发布:屏幕大得惊人

家居要闻

港男月入过万只能带妻儿住7平蜗居 在洗衣机上做饭

某内衣品牌逐渐重口味?竟然选了她

军事要闻

央视曝光国产新型车载榴弹炮射击细节