网易首页 > 网易科技 > 网易科技 > 正文

助人就是助己:IBM宣布大规模资助开源大数据项目Spark

0
分享至

本周一,IBM宣布将对开源实时大数据分析项目Apache Spark进行大规模资助,蓝色巨人宣称,其资助的力度之大相当于每年数亿美元的投入。

Hadoop技术出自Google、Yahoo这些互联网公司,主要是为了对规模庞大的各类数据进行处理和分析。不过近年来随着大数据应用的流行,越来越多的公司也希望自己具备类似的能力,这使得Hadoop逐步进入了主流。Hadoop以及相关的分发企业如Cloudera, Hortonworks等也成为了大数据领域的投资热点。

Spark同样也提供大数据处理与分析能力。如果说Hadoop胜在规模的话,那么Spark就胜在速度。这项由2年前UC Berkeley AMP实验室开发的技术将中间输出结果保存在内存而不是分布式文件系统中,从而可以提供实时的数据分析能力。与Hadoop获得的资助相比,对Spark的支持还很不够。

正是在此背景下IBM宣布了对Spark的大规模资助。蓝色巨人将投入超过3500名开发者到Spark相关项目,为项目提供机器学习技术,并将Spark嵌入到IBM的数据分析和商用软件中,同时还会把Spark作为服务在它的Bluemix开发平台上提供出来。为了鼓励基于Spark的创新,IBM还将在旧金山设立一个Spark技术中心。IBM还将把自己的一个研究项目SystemML开源。这个项目是利用机器学习技术去识别数据模式,而它正是在Spark基础上开发的。 

IBM还计划与UC Berkeley的AMPLab、DataCamp、Galvanize以及Big Data University等学术及教育组织合作提供Spark教育课程,目标是培养100万名数据工程师和数据科学家。

IBM的大规模资助令人瞩目。回顾过去,正是由于IBM的出手才让若干关键技术得到了普及,比如说1980年代IBM对PC的投入,2000年代对Linux的投入均加速了相关技术成为主流的进程。

当然,对于IBM来说,对Spark的大规模投入实际上也在帮助它自己。此举不仅能强化自己在大数据领域的地位,同时也能吸引更多开发者加盟它的生态体系,帮助IBM更快更好地解决其业务问题。

而放眼更大的环境,开源化已成不可逆转的趋势。技术巨头比以往任何时候都更加热情地涌入到这一潮流当中。比方说Google开源了自己最大的秘密之一,Facebook更是几乎将自己变成了一所开源实验室。因为这些巨头明白,如果不拥抱开源,也许就会被开源消灭。

原创文章,作者:boxi

相关推荐
热点推荐
原来骨头汤、虾皮不补钙!真正补钙的是这5种食物,别再乱花钱了

原来骨头汤、虾皮不补钙!真正补钙的是这5种食物,别再乱花钱了

39健康网
2021-10-19 09:07:53
深圳,刘诗诗现身服装店,手插口袋遭众人围观:只是个女艺人罢了

深圳,刘诗诗现身服装店,手插口袋遭众人围观:只是个女艺人罢了

鑫心娱乐
2021-10-19 14:27:36
官宣:两校正式合并,成立新大学!

官宣:两校正式合并,成立新大学!

双一流高校
2021-10-17 22:10:23
军事谈判谈崩后,中印边境突然传来巨响!多国目光火速聚焦中国

军事谈判谈崩后,中印边境突然传来巨响!多国目光火速聚焦中国

微度观察
2021-10-18 19:20:26
被吴秀波送进监狱的陈昱霖,刚出狱半年就晒出儿子照片,笑容满面

被吴秀波送进监狱的陈昱霖,刚出狱半年就晒出儿子照片,笑容满面

周周说八卦
2021-10-18 18:26:26
全民加碘26年,中国甲状腺癌不断增加!碘盐到底继不继续吃?

全民加碘26年,中国甲状腺癌不断增加!碘盐到底继不继续吃?

39健康网
2021-10-18 17:39:28
许勤任黑龙江省委书记,吴政隆任江苏省委书记,易炼红任江西省委书记,张庆伟任湖南省委书记,王君正任西藏自治区党委书记

许勤任黑龙江省委书记,吴政隆任江苏省委书记,易炼红任江西省委书记,张庆伟任湖南省委书记,王君正任西藏自治区党委书记

新京报政事儿
2021-10-19 11:08:35
41岁东北女司机,开卡车养娃,离婚后替前夫还债50万,被央视表扬

41岁东北女司机,开卡车养娃,离婚后替前夫还债50万,被央视表扬

朱小鹿
2021-10-18 15:18:15
美国主持人采访普京时施“美人计”,不断伸出长腿,遭俄媒痛批

美国主持人采访普京时施“美人计”,不断伸出长腿,遭俄媒痛批

译言
2021-10-19 05:10:30
世界500强企业:德国27家,印度8家,那我国和美国呢?

世界500强企业:德国27家,印度8家,那我国和美国呢?

迢迢相思意
2021-10-18 08:13:15
西方炒作中国第三季度GDP数据,学者:企图诱使中国搞“大放水”政策,吓阻对华投资

西方炒作中国第三季度GDP数据,学者:企图诱使中国搞“大放水”政策,吓阻对华投资

环球网资讯
2021-10-19 06:58:27
年轻人工资3000元,退休人员养老金7500元,合理吗?

年轻人工资3000元,退休人员养老金7500元,合理吗?

社保有声
2021-10-17 18:24:45
突发!又有四省发现6名新冠感染者

突发!又有四省发现6名新冠感染者

护士网
2021-10-19 00:05:27
关键时候靠得住!首批哈萨克斯坦煤炭运抵浙江,路线你绝对猜不到

关键时候靠得住!首批哈萨克斯坦煤炭运抵浙江,路线你绝对猜不到

聊在南书房
2021-10-19 10:15:54
韩国健身网红,这样的颜值和身材,与国内一线女星相比,一点不输

韩国健身网红,这样的颜值和身材,与国内一线女星相比,一点不输

文昌读书
2021-10-19 10:51:01
5年2.07亿告吹,艾顿离开太阳!疯狂一夜5续约!欧文确定缺席揭幕战!

5年2.07亿告吹,艾顿离开太阳!疯狂一夜5续约!欧文确定缺席揭幕战!

篮球迷家族会
2021-10-19 12:09:15
美国女子火车上被强奸,在场乘客冷漠围观拍摄视频,警长:他们为什么不制止不报警?

美国女子火车上被强奸,在场乘客冷漠围观拍摄视频,警长:他们为什么不制止不报警?

环球网资讯
2021-10-19 04:04:59
夫妻生活被孩子撞到,该停还是该继续?

夫妻生活被孩子撞到,该停还是该继续?

DrX说
2021-10-15 17:30:22
美国知名餐厅改革制服惹怒员工:这不就是内裤?

美国知名餐厅改革制服惹怒员工:这不就是内裤?

看看新闻Knews
2021-10-18 16:20:11
上海游客核酸阳性,嘉峪关与西安两份通报相互矛盾,谁在撒谎?

上海游客核酸阳性,嘉峪关与西安两份通报相互矛盾,谁在撒谎?

民生资讯瞭望台
2021-10-19 00:40:30
2021-10-19 18:00:49

科技要闻

小米汽车预计2024年上半年正式量产

头条要闻

雄安新区设立后首任河北省长许勤 履新黑龙江书记

头条要闻

雄安新区设立后首任河北省长许勤 履新黑龙江书记

体育要闻

NBA中年危机:被卷进垃圾堆的"巨星"们

娱乐要闻

这18年,我们都误会了陈好

财经要闻

汽车要闻

比S4马力大 索纳塔N Line Night特别版搭2.5T

态度原创

艺术
时尚
旅游
数码
公开课

艺术要闻

游于园——关于明代私家园林实景绘画

专访王俊凯:当三字弟弟变成凯哥

旅游要闻

全国1000+景区免费或降价!

数码要闻

易评机:苹果M1 Pro/Max炸场,给Intel们致命一击

公开课

高居悬崖的中国村落,居然存在了2000多年

×