在上星期AlphaGO再次击败围棋世界冠军柯洁,人工智能再次成为关注焦点。国外的科技巨头纷纷加大在人工智能领域投入,试图占领竞争制高点。国内的科技公司也越来越重视人工智能的创新与应用,有的公司甚至将人工智能提升到了公司战略。作为开源战略的一部分,百度和腾讯在2016年先后发布了深度学习平台PaddlePaddle和机器学习平台Angel。作为国内最早的互联网企业之一,网易在19年的产品研发过程中积累的大量的实践经验,机器学习、深度学习技术也已经广泛地应用于各个产品中。随着公司业务的发展,面对持续增长的数据挖掘需求,拥有能应用于超大规模数据集的、高性能的分布式深度学习平台十分迫切。2015年网易杭州研究院携手新加坡国立大学(National University of Singapore)黄铭钧(Ooi Beng Chin)教授课题组共同研发了开源分布式深度学习平台Apache SINGA。SINGA是Apache软件基金会(全球最大的开源软件组织)资助的第一个深度学习项目。SINGA具有很好的可用性,可扩展性和外延性。SINGA的接口非常友好,用户可以很容易的通过不同的运算符(神经网络层)来构建他们的模型,SINGA平台负责在运行时优化由于分布式处理和计算节点之间的通信而带来的开销。SINGA系统的可扩展性则是通过将训练数据和模型进行切分并且分发到不同的计算节点中进行训练来实现的。同时,SINGA通过代码模块化来支持不同类型的深度学习模型, 不同的训练(优化)算法和底层硬件设备。为了进一步方便用户使用深度学习模型和服务,SINGA团队同时开发了DLaaS(Deep Learning as a Service)应用服务平台。
目前,SINGA已经应用于网易的多个产品中,为用户画像、产品推荐等模型的训练和预测提供平台支持。作为一个开源的分布式深度学习平台,SINGA也被广泛应用于科研、医疗、金融等领域。