移动互联网大数据时代面临的机遇与挑战

2014年6月12日北京国际饭店会议中心，2014移动互联网发展大会暨（第五届）中国手机应用开发者大会如期开幕，在移动大数据分会场进行着一场主题为“机遇与挑战”的高端论坛会议，现场的嘉宾都是来自各地不同的行业，但都是为了一个热词“大数据”汇集在这里，大数据与移动互联网密不可分，一方面移动互联网提升了大数据的质量，能准确更快的手机移动信息。另一方面移动网丰富了大数据的类型，大量的用户生成内容、音频、文本、视频、图片等非结构化的数据，应该说无所不包。移动互联网时代大数据从何而来，将给我们的生活带来什么样的改变或者影响？

中国在大数据时代面临的机遇与挑战

为什么大数据那么重要？引用今年2月17日，中央成立了网络安全和信息化领导小组，习总书记当组长，有一个讲话，特别有一句话讲的非常好，很贴切。“信息资源日益成为国家重要的生产要素和社会财富，信息掌握的多寡成为国家软实力和竞争力的重要标志”。以前类似的话也讲过很多，现在大家引用比较多的是美国人讲的“数据将成为如土地、石油和资本一样，成为经济运行的根本性资源”。但任何资源要真正变为有价值的资源有两个条件，一个条件是有技术手段能够把资源挖掘出来，另外它本身要有明确的需求，能够产生价值。过去大数据实际上也都存在，但没有技术手段或者说不能汇集起来。现在互联网出来以后大数据就出来了，因为有技术能够处理它、能够分析它。另外现在寻找大数据的价值在什么地方。这两个条件才成为数据变成资源的强力条件。目前在技术手段方面、在需求寻找价值方面，互联网特别是移动互联网出现以后，具备了这样的条件，所以大数据成为了大家特别关注的话题。

大数据变成资源的话必须有一个渠道，大数据不仅仅是数据规模大，还有4V特征，从观念、技术、价值、资源这四个方面来全面地认识大数据。资源角度来讲除了具有4V特征外，还需要看到现在大数据技术在趋于或者有一部分已经具有应用价值的价值，但是还在发展当中。大数据实际上是会使我们改变认知事物的方法。大数据的采集、存储、管理、分析、展现、可视化这方面已经有很多解决方案和技术出现。再有就是价值，一方面是各行各业的应用，另一方面大数据本身会产生完整的产业链，从技术到服务。我认为要从这四个方面完整地认识它才完整。

大数据的机遇。大数据给我们带来的意义，建立了促进全社会树立信息是资源、是财富、是生产要素的观念。在1997年的时候，当时制定推进国家信息化六要素的时候曾经讲过一句话“信息资源的开发是信息化的核心要素”，做了那么多年的信息化实践，这个问题在认识和实践上仍然是薄弱环节。大数据浪潮全社会都重视起来，大数据是财富、是生产要素的观念已经建立起来了。

现在在网络精准营销上，大数据都做了很多工作。而且工作正在往非物联网企业，传统的企业，特别是政府领域扩散，大家利用自己掌握的数据，包括大数据，有些不严格意义上是大数据，但是也重视它的挖掘、利用、开发。互联网企业正在携大数据跨界融合的趋势，在影响传统的行业加速到数据应用，全面的提升全社会自动化水平。

政府应该在大数据方面加快研究做一点事儿。第一是加快技术创新与扩散，做更好的平台，我们现在有很好的创新，我们专家委做了一个题目，信息产业技术的形成，我国在自主创新方面能够完成整个产业链的自主创新竞争力的形成，这是非常值得总结的。这里最重要的政产学研民这五个方面的体系打通了，这个产业链才能真正搞成。另外政府本身在电子政务中要用到大数据，开放数据也特别重要，特定数据保护特别是个人隐私的保护访问这方面还要进一步做工作。

面向服务的大数据技术应用

首先说三个关键词：大数据量、实时数据处理技术、服务。为什么出现了大数据量是由于电子化的普遍出现，企业的角度来说已经积累了大量的电子数据，大量的电子数据再利用、再挖掘应用在社会上于是户出现了大数据量。平时生活中大数据自古以来就存在，只是原来没有被电子化、信息化、结构化，所以大家对它茫然不知。现在随着技术出来了以后，这些数据越来越多的涌现出来。大数据存在，当电子化以后会产生更多更大量的数据，当集成使用的时候，这些都涌现出来了。

目前社会上数据量以几何数每天都在爆发。如何处理这些数据呢？以前都是把数据存到硬盘上、存到磁盘上做，需要传统的技术。现在更新的技术所谓的实时把数据的处理放在内存当中去。以前内存主要用于数学运算，随着硬件系统成本的下降，以及一些架构技术上的突破。现在利用新的技术把数据的查询和处理都放在内存当中，和下面的磁盘几乎不发生关系。于是这种快速的查询方法给大数据的处理带来了技术上的可能。这是大数据的处理技术，这个技术可以帮助各行各业进行大规模的、有目的、有秩序的数据处理。

终归这两项都面对于服务。大数据到底是用来做什么？现在大数据处理技术是多种多样五花八门的，要处理什么反而是最关键的。现在都离不开互联网，以前信息化世界是二维世界，一方面用于数据处理，一方面是数据处理的革命。这两个互相推动往前走，信息化大量的时间是从有纸化变成了无纸化。也听了很多抱怨，IT系统众多不便。以前我们处在二维世界，一个信息技术、一堆死的数据。互联网带来给我们颠覆性的认知。

面向服务，未来大数据不管是移动互联网应用，还是互联网应用，还是企业级的应用，如果你的服务方式没有发生颠覆性，那么你的这种创新可能根据美国哈佛教授所说，可能是持续性、改良性的创新，真正有生产力的是颠覆式的创新，服务方式都颠覆了，这种创新使用信息处理技术才有真正实际意义。

总之大数据平台必须是由业务驱动的，能够在异构环境里集成，现在各种各样的信息化技术，不可能统一在一个平台，必须是能够集成、异构的，最后是面向服务的。这是SAP多年来一贯的观点和主张。

大数据的探索历程——回归初心

谈一下主要处理的三个关系：数据与机器的关系、数据与数据的关系，经过Hadoop，经过各种分析可视化工具，最后回归初心，数据从哪里来？

数据与机器的关系。大数据纪元刚开始，我们碰到的第一个核心问题就是“大”的问题。主要有三个方面，新型的数据与机器关系当中的第一条就是重新考虑架构与算法，重新考虑舍得，有舍才能得，天下没有免费的午餐，所以我们必须要舍弃一些，得到一些新的。我们必须舍弃贵族化的高端小型机和服务器，得到平民化大量的X86的服务器。通过这样一种可横向、可水平扩展服务器处理每两年翻番的数据量的挑战。我们上面的软件，传统上依赖硬件的可靠性和可用性。现在要舍弃它，得到软件的可靠性和可用性。这也就是谷歌三大论文以及Hadoop的核心重点。我们要舍弃传统数据库的强一致性，获得更放松一致性的架构可扩展。算法原则强调非常严格的精确性，现在要放弃一些精确性，通过近似、采样这种方式来获得更好的扩展性。

最早大数据的处理范式是Mapreduce的批量处理，慢慢我们发现有其他的需求，实时的流处理、多迭代的处理、图计算、即时查询等等新的范式百花齐放，最后我们万法归宗。刚才王斌老将讲的SAP的HANA本身就是数据管理和分析的融合，现在非常荣幸的Hadoop之后的SPACK，就是把前面的各种范式进行了融合。

存储与内存的消长，大数据第一个要解决把数据存储下来，互联网发现要把它放到大的内存里进行处理，获得实时性，但是在存储和内存之间现在又出现了闪存，有闪存化甚至全闪存的存储，也有闪存化的内存，我们把所有的计算在闪存里面处理。现在微软、Facebook等等在大量使用新的范式。大家可以预期，两年以后出现新的非易失性的闪存，它的速度可能要比闪存快几百倍，和内存相似，这又会极大地颠覆数据与机器的关系。

数据与人的关系。主要是价值的觉醒，如果数据不能产生价值它可能是负面资产。数据怎么能够给人带来价值？介绍一下它的价值维度，三个V的含义，把它映射到二维的时空象限里，用六个关键词来描述它。第一是“Volume”，两个关键词，小数据见微对个人进行刻划，大数据支柱能够了解宏观规律，它是时间概念也是空间概念，同时也是时间概念，数据刚刚产生的时候，它的个性化价值、见微的价值最大，而随着时间的推移，它渐渐退化。第二是Velocity，时间轴的原点是当下实时价值，副轴是过往，正轴是预测未来，如果知道知前后就能够做到万物的皆明。第三是Variety，多元抑制的数据，能够过滤噪声、查漏补缺、去伪存真，就是辩讹。还有晓意，能够从大量的非结构化数据中获得语意。

数据与数据的关系。黄色的部分是与世隔绝的数据。蓝色的海是web上已经上网的数据。现在只有海面平的数据是搜索引擎可以检索到，深海的数据可能是黑暗的数据，在政府、在企业里大家看不到。我们怎么办呢？必须让数据发现数据。只有让数据能够发现数据、遇到数据，才能产生金风玉露一相逢、便胜却人间无数的效果。这里有三个重要的观念，需要法律、技术、经济理论和实践上配合。法律上要明确数据的权利，数据所有权，数据的隐私权，什么数据不能给你看；数据的许可权，什么数据是可以给你看的；数据的审计权，我给你看了以后，你是不是按照许可的范围去看；数据的分红权。数据像原油又不同于原油，原油用完了就没有了，数据可以反复地产生价值。我们要保证数据的开放、共享、交易。

数据虚拟化大数据平台之利器

信息技术到底是有哪几个主要的构件。从下往上看有网络、计算、存储、数据、应用、业务，与其相关的有软件、硬件产业。这些这并不是信息产业一开始的概念，70多年前几乎是围绕着计算为中心的产业，所有做计算的人，CPU、芯片是整个信息产业的主要力量。这带来了很大的挑战，围绕着信息解决它的特殊问题的应用，每一个都建立了自己独立的数据。网络当时只是一个附加的功能，所以网络有很多很多技术、很多很多架构、很多很多协议，这带来了很大很大的问题。另外一个产业当时也做网络，当时把这些称之为通信公司，真正做计算的我们叫做IT公司。

网络技术对计算技术带来了冲击。从70年前所谓的信息产业产生时就有定律，计算讲的非常简单，就是追求更快，处理能力更大，英特尔不断的用CPU加速来做，那个方向是超级计算、高性能计算，没有朝着那个方向走，反过来是网络对计算有巨大的冲击和影响，不需要走那么精密精确控制的计算方式，而是走向了网络计算也就是所谓的云计算。云计算的产生某种产生是融合网络的条件下产生的融化效果。这样梳理我们发现IT产业由孤立的、烟囱式的方式走向了融合的网络融合的大潮，过去我们发现几个重要现象，IT的飞速发展大家都认为是因为“摩尔定律”的贡献，当时摩尔定律说每18个月计算的性能就提高一倍，这个定律在我看来在信息产业的70年的历史中，几乎60年都绝对正确和成立。但是过去10年，如果你仔细观察，发现有些现象不一样。

怎么解决这个问题？应该回到问题的根本。数据以前就有，现在所谓的大数据和以前不一样的关键点在于有了统一融合的网络平台。换句话说数据不但有冷热之分，数据还因为网络而有了生命，数据因为有了网络个体的数据可以变成整体的数据，破碎的数据可以变成互联的数据，衰老的数据可以变成鲜活的数据，数据是有它的生命周期的，这个基本原因是数据生活在网络平台上，网络是大数据应用的血液和神经。从这个角度来讲，我们解决问题的基本出发点非常简单。所有的数据都是现实，我们必须面对主要的方法是什么？就是数据虚拟化，数据虚拟化是IT产业界走过的网络虚拟化、计算虚拟化的进一步，所谓虚拟化非常简单，是把物理资源和逻辑资源相分离，换句话说数据可能存在在网络的各个角落、各处都有，各个应用都有。统一放在一个数据仓库，不单耗时、耗经费，而且有时候基本是不可能的。所以传统的思维方法把数据清洗、数据统一是耗时耗力的，甚至把这些做成以后，可能计算已经变了，因为我们的速度是由摩尔定律加上网络定律双能驱动，所以在这个基础上，我们仍然可以有这么一个概念，就是所谓的数据虚拟化，数据逻辑上可以集中，便于管理、便于使用，但是物理上存在于网络的各个渠道。

信息产业的驱动不是传统，六七十年都认为的真理，计算性能提高的驱动力，还有另外一个独立的驱动力——网络驱动力。所以信息产业是双轮驱动，现在网络驱动力量更大。这两个驱动力为大数据应用提供了前提和保证。网络为大数据提供了生存空间和生命价值。

大数据面临的，无论你是应用开发者、软件开发者、大数据的使用者、管理者或者大数据的挖掘者，都会发现你们面临更多格式、更多接口、更多新技术，说好听的是百家争鸣、百花齐放的大数据时代，悲观地说它是混乱的、复杂的、麻烦的时代。但这种时代正好给我们创新的机会，希望在座的年轻人，这是我们展现自己创新和勇气的时刻，在技术大转弯的时代，技术战略、远见、勇气容易帮助你，助你成功。

IT的大方向，融合的网络、计算的融合，大数据最终会走向相对虚拟化以后的一体化平台，相互之间是在影响，思科公司刚好在这个领域有幸能够做这样的推动工作，带动整个产业向未来的十年发展。