关于深度学习，这可能是你最容易读进去的科普贴了（三）

（原标题：关于深度学习，这可能是你最容易读进去的科普贴了（三））

编者按：本文作者王川，投资人，中科大少年班校友，现居加州硅谷，个人微信号9935070，微博 @ 硅谷王川。36 氪经授权转载自其个人微信公众号 investguru。查看本系列文章点这里。

一

1992 年笔者在纽约州的罗切斯特大学选修计算机课的时候，学到这样一句话，印象极为深刻。

When in doubt, use brute force.

"如果遇到困惑 (的问题), 就使用蛮力. "

此话出自当年 UNIX 系统的发明人之一 Ken Thompson。他的本意是，程序设计中，简单粗暴的计算方法，虽然可能计算量大，但是便于实现和维护，长期看，还是优于一些精巧但是复杂的计算手段。

这句话常令我遐想起，1943年 七月苏联和德国在库尔斯克的坦克大决战。苏军八千多辆傻大黑粗的 T-34 坦克，以损失三倍于对手的惨重代价，最终挫败德军三千多辆质量精良的虎式坦克集群。

数量就是质量。向数量要质量。

九十年代，一个简单的神经网络数据培训的计算往往至少要花几天、甚至几周的时间。

这对于算法的改进调整和应用开发，都是一个巨大的瓶颈。

神经网络的研究，呼唤着蛮力，呼唤着来自计算速度、网络速度、内存容量、数据规模各个方面的、更强大的、指数增长的蛮力。

二

这个蛮力的基础，其实在 1993年 就埋下了种子。

Nvidia 起家时，做的是图像处理的芯片，主要面对电脑游戏市场。1999 年Nvidia 推销自己的 Geforce 256 芯片时，发明了 GPU (Graphics Processing Unit, 图像处理器) 这个名词。

GPU 的主要任务，是要在最短时间内显示上百万、千万甚至更多的像素。这在电脑游戏中是最核心的需求。这个计算工作的核心特点，是要同时并行处理海量的数据。

GPU 在芯片层面的设计时，专门优化系统，用于处理大规模并行计算。

传统的 CPU (中央处理器) 芯片架构，关注点不在并行处理，一次只能同时做一两个加减法运算。 而 GPU 在最底层的算术逻辑单元 (ALU, Arithmetic Logic Unit)，是基于所谓的 Single Instruction Multiple Data ( 单指令多数据流) 的架构,擅长对于大批量数据并行处理。

但是 GPU 在最低层的 ALU，允许同时对 32 个数字做批量处理。

一个 GPU，往往包含几百个 ALU， 并行计算能力极高。所以尽管 GPU 内核的时钟速度往往比 CPU 的还要慢，但对大规模并行处理的计算工作，速度比 CPU 快许多。

而神经网络的计算工作，本质上就是大量的矩阵计算的操作，因此特别适合于使用 GPU。

三

这个速度有多快呢？Nvidia 480 GPU, 2010年 的时候，一秒钟可以显示十六亿个三角形，一秒钟计算速度达 1.3 TFLOPS (万亿次浮点计算)。

而 2015年 出品的 Nvidia Titan X GPU, 一秒钟可以达到 6.1 TFLOPS , 接近 2010年 的五倍。其二手货的市价不到一千美元。

作为参照，人类的超级计算机，真正第一次突破一个 TFLOPS 的计算速度，实际上也就是 1996年 底，但其价格是几百万美元量级的。

2007年 Nvidia 推出名叫 CUDA 的并行计算软件开发接口，使开发者可以更方便的使用其 GPU 开发应用软件。多家大学的研究者撰文表示，对于特定工作，NVIDIA GPU 带来的相对于 Intel 的 CPU 的计算速度提高，达到 100-300 倍。

Intel 技术人员 2010年 专门发表文章驳斥，大意是 Nvidia 实际上只比 intel 快 14 倍，而不是传说中的 100 倍。

Nvidia 的 Andy Keane 评论： “老夫在芯片行业混了 26年 了，从没见过一个竞争对手，在重要的行业会议上站起来宣布，你的技术 *** 只是 *** 比他们快 14 倍”。

一个蛮力，一个来自 GPU 的计算蛮力，要在深度学习的应用中爆发了。

(未完待续)

本文来自读者投稿，不代表 36氪 立场，如若转载，请注明出处：http://36kr.com/p/5043969.html

“看完这篇还不够？如果你也在创业，并且希望自己的项目被报道，请戳这里告诉我们！”