大数据技术快速获取有价值的信息

互联网行业的特点当数据量不断增大时，也随之带来了一系列的问题。

比如假设解决某一问题有算法A 和算法B。在小量数据中运行时，算法A的结果明显优于算法B。也就是说，就算法本身而言，算法A能够带来更好的结果；然而，人们发现，当数据量不断增大时，算法B在大量数据中运行的结果优于算法A在小量数据中运行的结果。这一发现给计算机学科及计算机衍生学科都带来了里程碑式的启示：当数据越来越大时，数据本身(而不是研究数据所使用的算法和模型)保证了数据分析结果的有效性。即便缺乏精准的算法，只要拥有足够多的数据，也能得到接近事实的结论。

由于能够处理多种数据结构，大数据能够在最大程度上利用互联网上记录的人类行为数据进行分析。大数据出现之前，计算机所能够处理的数据都需要前期进行结构化处理，并记录在相应的数据库中。但大数据技术对于数据结构的要求大大降低，互联网上人们留下的社交信息、地理位置信息、行为习惯信息、偏好信息等各种维度的信息都可以实时处理，立体完整地勾勒出每一个个体的各种特征。

一个公司创造的大量非结构化和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱，大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。简言之，从各种各样类型的数据中，快速获得有价值信息的能力，就是大数据技术。简单来说，大数据需要Hadoop=HDFS（文件系统，数据存储技术相关）+HBase（数据库）+MapReduce（数据处理）+……Others这样的分布式存储，分布式处理大数据架构，而不仅仅是传统的磁盘阵列数据存储处理方式。

互联网极大地改变了人们的生活，大量、高速、多变的信息每天都围绕在人们身边，我们需要更好的处理方式，去应对这种随时随地的变化。大数据技术将深远地改变互联网世界，改变整个生产生活的方式。随着技术的发展，大数据分析正在变得越来越容易，成本也越来越低，而且相比以前能更容易加速对业务的理解，越来越多的人开始进入大数据与数据分析行列，准备在这里干出自己的一番事业。