深度学习+超级计算：上帝的计算机长什么样？

（原标题：深度学习+超级计算：上帝的计算机长什么样？）

按：作者系SenseTime（商汤科技）深度学习科学家周斌博士，中国首位HPC（High-Performance Computing，高性能计算）和GPU跨领域研发高级工程师，中科大客座研究员。2013年，周斌被NVIDIA授予了全球第12个CUDA Fellow 的称号，成为了中国唯一获此称号的学者，拥有此称号的还有胡恩伟、青木孝之、Ross Walker、Jone Stone 等世界知名专家学者。

SenseTime 最近推出了超算平台SenseBox，据称，其存储和计算能力可以让深度学习项目获得更快的训练时间和更好的训练数据，从而培育出新一代的更强“大脑”。

如果有一天醒来，发现自己成了上帝，（无所不能的感觉真好！）你会怎么样？这样的场景虽然只存在于科幻中，但是随着深度学习所引领的人工智能技术的进步，人类创造出强人工智能已经成为了一个严肃的科研问题。人类，乃至宇宙，可能是某个“上帝”所制造的程序代码，就像罗伯特·J·索耶在《计算中的上帝（Calculating God）》所描述的那样。在我们创造的人工智能体眼中，我们就是上帝。

上帝的计算机长什么样？

我们作为人工智能体的上帝，还是需要一台计算机（请原谅我狭隘的想象力，作为深度学习+的程序员，他的身边永远都有几台计算机）来运行上帝的代码——虚拟的宇宙和智能，这样的计算机长什么样？

这是个很有意思的话题：上帝的计算机需要无穷快的速度，无穷大的存储，无穷智能的接口……幻想到此打住，归根结底，我们虽然是上帝，但只是我们创造的智能体的上帝。回归到现实，为了创造容纳智能体的计算机，我们需要利用手边的材料来搭建能够用于进行深度学习的超级计算机。

曾几何时，在我刚开始深入研究这个领域的时候，超级计算机还是躲在深闺大院、处于庙堂之上，研究物理、化学、生物、数学、密码、气象等等高深莫测的科学（我都有所涉猎，很多问题归结为数学和计算）。现在，信号处理、图形图像、视频、天气预报、生物信息学、网络搜索等等应用领域都能发现超算平台的身影：

在气象领域，超算平台可以显著提升天气预报和沙尘暴模拟的精确程度，这也是我在美国乔治梅森大学所做的研究。我国新一代全球与区域同化预报系统（Global—Regional Assimilation and Prediction Systems，简称“GRAPES”）也是基于超算平台的气象项目，中国国家气象局的天气预报曾采用“GRAPES”系统；

在医疗领域，实现医学图像的有效识别是目前计算机科学和医学交叉领域研究的热点，在肿瘤图像识别的相关研究领域，超算平台的应用能使GPU的识别速度和精度得到大幅提升，从而整体提升医疗服务质量；

在军事领域，超算平台堪称现代化国防建设的重要科技支柱，中国目前最先进的中程空对空导弹“霹雳12”就应用了相关技术。

以上种种进步都离不开平台超算本身的发展、迭代，中国的超级计算机一直处于世界领先地位：中国“天河一号”超级计算机GPU系统研发时，“天河一号”的运算水平就曾排名世界第一；现在“天河二号”超级计算机系统更是连续五次位列世界超级计算机500强排行榜之首。上帝的计算机或许是个玩笑，但是作为智能体上帝的计算机，很可能就诞生在现在的各种超算之中。

深度学习之超算平台

如今，为了容纳深度学习的超大规模计算需求，超级计算机已经成为训练各种深度神经网络的利器。深度学习技术试图通过大规模的神经网络和大数据提供的海量训练集合，将大脑学习识别的过程加以抽象，从而获得极高的识别准确度，这些都带来了极大的计算需求和吞吐需求。于是，这些以往高居庙堂的屠龙之技有了用武之地：GPU协处理器、高速InfiniBand网络、RDMA、GPUDirect等成了利器，提供着高吞吐、低延迟、高性能的系统平台。虽然离着无穷还有无穷，但是为分布式大规模的深度学习算法提供了极高的带宽和极低的延迟，使通信的开销最小化，为训练各种深度网络提供了强大的平台。

谷歌、百度、Facebook、微软等互联网巨头都在投入巨资研发深度学习系统和与之配套的深度学习平台。其中，Google采用了超过1000个节点的CPU集群来进行GoogleNet的计算；百度的Minwa则采用了36个服务器，每台服务器配备4颗NVIDIA公司的Tesla K40m GPU加速处理器，互联网络采用FDR Infiniband (56Gb/s)。

我所在的SenseTime （商汤科技）采用了更为先进的技术来搭建超算平台：联合NVIDIA打造专注于做深度学习的服务器SenseBox，多节点相连，每台服务器配备8颗NVIDIA Tesla K80加速计算卡，可支持EDR Infiniband( 100Gb/s) 超高速互联网络，支持大规模扩展的深度学习计算平台Parrot等。

（有人会问：用这样的设备玩游戏会不会很快？答案是：土豪~）

从超算到服务，超算的未来已成雏形

在读本科和研究生的时候，我参加过很多的机器人竞赛，大多都与遥感、图像识别相关，但在当时，我就能明显地感受到神经网络训练的局限性，对于学生而言，成本、资源问题堪称科研路上的紧箍咒。

并不是所有人和团队都有能力搭建如此强大的计算机或建立复杂的深度神经网络，但所有人都渴望拥有人工智能体的创造权。等硬件条件成熟，深度学习的研究者们可以大展拳脚了，或许某一天，你可以下单订购你个人专属人工智能体，她知道你的爱好、理解你的行为：可以照顾生活、准备饭菜、照看孩子、安排日程、同期翻译……

当然，现在的服务还需要你确认特定的应用领域，给出训练样本和指标，深度学习平台如同一所学校，它将托管模型，运行培训，给出学习成果。可能运行于专用的深度学习云之上，各种应用需求都可以通过高速的互联网络获得基础支撑。深度学习服务，作为可以定制的专属人工智能，将渗透到各个行业领域。或许未来已经到来，我的目标就是在未来把真正的智能推广到每个人生活中。

强人工智能？远着呢

我们期望我们所创造的人工智能具有强大的智力但又忠心耿耿，但是包括霍金、Elon Musk等在内的很多科学家，都表达了对强人工智能的恐惧。诚然，具有自主意识的人工智能，可能不会甘愿接收人类的统治，进而和人类产生冲突和矛盾。但现今大可不必担忧，我们最优秀的深度学习算法，也只是在某些特定领域和应用超过人类，离形成意识具有强人工智能还有较远的距离。我们的服务平台培训的智能模型，都是深入的服务特定的应用，离着天网般智能爆炸的终极审判还有十万八千里。

如果说“黑客帝国”所代表的科幻电影中描述人类将智能上传到计算机是可能的，那么创造出这一平台的，必然是超级计算机。现在的深度神经网络，是向终极智能探索的一小步，却可能是从0到1的积累，智能爆炸的奇点，很可能在不久的将来出现。深度学习的探索和研究，推动了智慧的进步，而终极的智能，则可能成为未来超级人类的母体。