网易科技讯 10月12日消息,ICT中国2010高层论坛今天进入第二天,网易科技作为官方门户在现场为您直播报道。中国移动研究院高级工程师钱岭发表了演讲。
中国移动研究院高级工程师钱岭
以下为钱岭演讲实录:
各位领导、专家、下午好,我是来自中国移动通信研究院的钱岭,非常高兴有机会跟大家分享一下我们的研究成果,就是我们的“大云计划”。
我的汇报分成三部分,一部分是概述一下云计算在06-10年的一个发展情况。第二部分是着重介绍一下中国移动大云项目的开发和应用情况。第三部分是介绍一下云计算目前面临的挑战,以及对国家层面的一些建议。
首先用这张片子回顾一下云计算的发展情况。
左边的图是一个曲线图,可以看到“云计算”这个词出现是比较早的,08、09年是增长趋势,到2010年依然处于云计算的最高点。根据预测,今年以后的2-5年之内会成为主流应用。
右面的图,是美国等发达国家里,他们排名前50名的网站,这种大中型网站采用公有云的增长情况。今年的7月份以后,7-9月份增长出现了减少,大概每月增长5%,说明这个云计算的概念,包括应用已经得到了深入人心的情况。根据预测,08年的全球市场从09年会增长500亿。
各国政府都投入非常大的精力在关注,很多国家除了关注以外,开始采用解决方案,它们有几个方面的想法,首先是引导。另外值得注意的就是新加坡,现在新加坡位置上占优势,他们在这方面投入很大,很多运营商希望建在新加坡,成为亚洲云计算的枢纽。
现在是一些标准化和开源活动,我们更愿意谈一些标准化活动,但实际上在云计算里面,更多的是开源组织,包括开源的并行计算基础的架构、开放的社区、开源的虚拟应用,开源的虚拟化管理系统。
其他的一些行业组织,包括一些传统的,都是投入某方式进入到云计算中。
通过这张片子介绍一下,很多公司都是从自己比较擅长的领域,微软是以操作系统虚拟化为切入点,像谷歌 GAE,基础设施比较强,也会从云计算服务入手。Vmware是从VMM入手,通过收购,合作运营。他们为了达到什么目标?就是右边这个图,就是为了实现企业的核心竞争力。我们很迫切的需要一个标准化的机构,把这些企业现在做的工作,让所有人可以跨越和迁移。
在云计算系统里,下面的基础设施包括计算系统和网络系统,往上就是核心的软件系统,包括云计算,PSP等环境,再往上就是运营能力。所有这些东西都是基于水平拓展,并不是传统的增加处理器等等。
上面介绍的是我们对云计算方面这个产业发展情况的信息。接下来介绍一下中国移动“大云”项目的开发情况。首先大云技术路线,我们是的设计目标是高性能、低成本、高可用性、高可扩展性。我们应用一些廉价的硬件搭配开源的软件,同时可以用软件解决高可用性的问题,通过增加服务器使用的数量,可以扩展体系架构。
中国移动“大云”项目最早是启动2007年的3月份,这个项目主要的目标,研究院设立的项目,目标有两个方面,一个是为了满足中国移动内部的使用,就是中国移动内部IT系统对运算存储、高性能、低成本、可扩展、高靠的要求。另外是满足中国移动对外提供互联网业务和服务的需求,所以我们承担了很重要的使命。
我们在08年建立了250节点的云计算的平台,09年8月发布了0.5系统,09年搭建1024节点的平台,2015年发布“大云”1.0“第二届中国云计算大会”。
这个片子介绍一下我们1024节点规模的大规模实验室。这个图里边是服务器和交换器系统,目前的环境就是1036服务器,因为有一些服务器是做管理的,总共拥有的CPU核是5208个,内存是10,硬盘是2.8P。上面还部署很多应用,举了几个例子,有数据挖掘应用(PPT)。
这个片子是介绍“大云”的技术架构,从下往上看有四个层面,一个是硬件层面,上面的软件系统,再往上是平台层,就是蓝颜色的分两个部分,一个是能力层,一个是平台层。
以及分布式的控制,还有预算的支撑管理系统。再往上就是面向应用开发的中间件和工具,这里面包括数据的挖掘,包括云计算。这些系统在整个大云里面,形成一个研发的产品线。再往上可以提供一些互联网的应用。
下面花一些时间介绍一下每个产品线的产品。第一个就是大云弹性计算系统,这个产品被称为BC-EC。根据用户的需求灵活,提供不同配置的X86的虚拟服务器,可以为用户提供X86的虚拟服务器,并根据用户的申请提供不同的CPU、内存、硬件空间的配置。既可以作为内部的虚拟化系统使用,也可以对云计算进行服务。
支持用户自服务,并可按实际使用量计费。
方便快捷的系统部署和应用恢复。
第二个系统,就是MapReduce。如果比较了解谷歌架构的话,这是一个很类似的系统。这个在运营商里面会有很大的应用市场,当然在互联网企业也是一样的,多数的互联网企业都会用这个数据分析。
对于Mapreduce系统的话,我们可以自动并行化,自动可靠处理,灵活扩展,具有高性能,对磁盘故障的发现也非常迅速,进行及时的处理,也可以在线提供更新磁盘的能力。
另一个是HugeTable系统,是一套管理海量结构化数据的低成本数据存储和管理系统。支持对数据实施快速索引查询/统计、多表扫描查询/统计的可扩展的海量结构化数据存储各管理系统。
它的特点:具有可靠性,大容量,成本低,高性能的应用,丰富的接口的指出,强大的管理功能。
另外一个产品是BC-PDM系统,这是我们最早研发和应用的系统。主要的作用是定义一些流程,然后操作这些流程,能够对数据的一些复杂的处理过程中,得到简化,支持Saas服务模式。
另外一个是对象文件存储系统,BC-NAS。是通过查找数据文件的存储模式。适用于企业NAS数据备份、互联网相册、邮件等海量小文件的数据存储。
主要的特点是高度可扩展性、提供多种访问接口、强大管理功能。它是基于环的数据冗余调度策略,系统性能虽结点规模线性增长,索引、数据及状态信息分离,便于部署及横向扩张,以桶为单位的对象数据管理模式,结构简单的管理方便。支持FTP接口。
大云搜索引擎,BC-SE。大容量低成本的收缩引擎,可满足企业知识管理和简单互联网搜索的要求。主要的特点,大容量可扩展,基于云计算架构实现,成本低、扩展性好。准确的汉语处理技术,改造后的分词正确率达到90%以上,词性分析正确率达到95%以上。支持检索结果聚类功能。
我们同时建设了一个大云开发社区,大家通过PPT上的网址可以了解我们的信息。我们会提供一些用户的申请,现在已经发布了100多的ID。
下面介绍一下云计算面临的挑战和建议。
目前云计算面临的挑战分为几个方面:
一、应用及数据安全。
包含用户敏感信息的应用系统部署在公共云上,可能存在安全隐患。企业私有云中,各个部门之间的信息安全也必须考虑,特别是财务数据、客户信息等。
二、互操作和标准化。
目前云计算厂商都在各自为战,并没有统一标准。不同云之间缺乏互操作性,用户从一个云计算环境迁移到另一个环境时面临巨大的困难。
三、服务质量保证。
技术处于不断成熟过程中,质量保证和管理手段需要进一步完善。亚马逊S3服务和谷歌云服务都出现过服务中断。
四、要求管理模式相应变化。
云计算强调发挥集中化的优势,以及应用、平台和资源的分层耦合管理,面临企业传统IT系统管理和使用模式的巨大阻力。
我们对云计算未来发展的建议:
一、国家对云计算相关企业提供政策性的支持,加强对云计算的推广应用,促进产业的成熟。
二、建立国家级云计算标准化体系,实现云计算平台之间的互联互通。
三、加强安全等级保护、数据安全和用户隐私保护等方面的制度制定。这方面主要是让用户更加信任,相信我们的产品。
