网易首页 > 网易号 > 正文 申请入驻

TensorFlow,危!抛弃者正是谷歌自己

0
分享至

  • 萧箫 丰色 发自 凹非寺
    量子位 | 公众号 QbitAI

收获接近16.6万个Star、见证深度学习崛起的TensorFlow,地位已岌岌可危。

并且这次,冲击不是来自老对手PyTorch,而是自家新秀JAX

最新一波AI圈热议中,连fast.ai创始人Jeremy Howard都下场表示:

  • JAX正逐渐取代TensorFlow这件事,早已广为人知了。现在它就在发生(至少在谷歌内部是这样)。

LeCun更是认为,深度学习框架之间的激烈竞争,已经进入了一个新的阶段。

LeCun表示,当初谷歌的TensorFlow确实比Torch更火。然而Meta的PyTorch出现之后,现在其受欢迎程度已经超过TensorFlow了。

现在,包括Google Brain、DeepMind以及不少外部项目,都已经开始用上JAX。

典型例子就是最近爆火的DALL·E Mini,为了充分利用TPU,作者采用了JAX进行编程。有人用过后感叹:

  • 这可比PyTorch快多了。

据《商业内幕》透露,预计在未来几年内,JAX将覆盖谷歌所有采用机器学习技术的产品。

这样看来,如今大力在内部推广JAX,更像是谷歌在框架上发起的一场“自救”。

JAX从何而来?

关于JAX,谷歌其实是有备而来。

早在2018年的时候,它就由谷歌大脑的一个三人小团队给搭出来了。

研究成果发表在了题为Compiling machine learning programs via high-level tracing的论文中:

Jax是一个用于高性能数值计算的Python库,而深度学习只是其中的功能之一。

自诞生以来,它受欢迎的程度就一直在上升。

最大的特点就是

一个例子感受一下。

比如求矩阵的前三次幂的和,用NumPy实现,计算需要约478毫秒。

用JAX就只需要5.54 毫秒,比NumPy快86倍。

为什么这么快?原因有很多,包括:

1、NumPy加速器。NumPy的重要性不用多说,用Python搞科学计算和机器学习,没人离得开它,但它原生一直不支持GPU等硬件加速。

JAX的计算函数API则全部基于NumPy,可以让模型很轻松在GPU和TPU上运行。这一点就拿捏住了很多人。

2、XLA。XLA(Accelerated Linear Algebra)就是加速线性代数,一个优化编译器。JAX建立在XLA之上,大幅提高了JAX计算速度的上限。

3、JIT。研究人员可使用XLA将自己的函数转换为实时编译(JIT)版本,相当于通过向计算函数添加一个简单的函数修饰符,就可以将计算速度提高几个数量级。

除此之外,JAX与Autograd完全兼容,支持自动差分,通过grad、hessian、jacfwd和jacrev等函数转换,支持反向模式和正向模式微分,并且两者可以任意顺序组成。

当然,JAX也是有一些缺点在身上的。

比如:

1、虽然JAX以加速器著称,但它并没有针对CPU计算中的每个操作进行充分优化。

2、JAX还太新,没有形成像TensorFlow那样完整的基础生态。因此它还没有被谷歌以成型产品的形式推出。

3、debug需要的时间和成本不确定,“副作用”也不完全明确。

4、不支持Windows系统,只能在上面的虚拟环境中运行。

5、没有数据加载器,得借用TensorFlow或PyTorch的。

尽管如此,简单、灵活又好用的JAX还是率先在DeepMind中流行起来。2020年诞生的一些深度学习库Haiku和RLax等都是基于它开发。

这一年,PyTorch原作者之一Adam Paszke,也全职加入了JAX团队。

目前,JAX的开源项目在GitHub上已有18.4k标星,比TensorFlow高了不少了。

值得注意的是,在此期间,有不少声音都表示它很可能取代TensorFlow。

一方面是因为JAX的实力,另一方面主要还是跟TensorFlow自身的很多原因有关。

为什么谷歌要转投JAX?

诞生于2015年的TensorFlow,曾经也风靡一时,推出后很快超过了Torch、Theano和Caffe等一众“弄潮儿”,成为最受欢迎的机器学习框架。

然而在2017年,焕然一新的PyTorch“卷土重来”。

这是Meta基于Torch搭建的机器学习库,由于上手简单、通俗易懂,很快受到一众研究者的青睐,甚至有超过TensorFlow的趋势。

相比之下,TensorFlow却在频繁更新和界面迭代中变得越来越臃肿,逐渐失去了开发者的信任。

(从Stack Overflow上的提问占比来看,PyTorch逐年上升,TensorFlow却一直停滞不前)

在竞争之中,TensorFlow的缺点逐渐暴露出来,API不稳定、实现复杂、学习成本高等问题并没有随着更新解决多少,反而结构变得更复杂了。

相比之下,TensorFlow却没有继续发挥比较能打的“运行效率”等优势。

在学术界,PyTorch的使用率正逐渐超过TensorFlow。

尤其是在各大顶会如ACL、ICLR中,使用PyTorch实现的算法框架近几年已经占据了超过80%,相比之下TensorFlow的使用率还在不断下降。

也正是因此,谷歌坐不住了,试图用JAX夺回对机器学习框架的“主导权”。

虽然JAX名义上不是“专为深度学习构建的通用框架”,然而从发布之初起,谷歌的资源就一直在向JAX倾斜。

一方面,谷歌大脑和DeepMind逐渐将更多的库构建在JAX上。

包括谷歌大脑的Trax、Flax、Jax-md,以及DeepMind的神经网络库Haiku和强化学习库RLax等,都是基于JAX构建的。

据谷歌官方表示:

  • JAX生态系统开发中,也会考虑确保其与现有TensorFlow库(如Sonnet和TRFL)的设计(尽可能)保持一致。

另一方面,更多的项目也开始基于JAX实现,最近爆火的DALL·E mini项目就是其中一个。

由于能更好地利用谷歌TPU的优势,JAX在运行性能上比PyTorch要好得多,更多之前搭建在TensorFlow上的工业界项目也正在转投JAX。

甚至有网友调侃JAX如今爆火的原因:可能是TensorFlow的使用者实在无法忍受这个框架了。

那么,JAX到底有没有希望替代TensorFlow,成为与PyTorch抗衡的新力量呢?

更看好哪一个框架?

总体来看,很多人还是很坚定地站PyTorch。

他们似乎不喜欢谷歌每年都出一个新框架的速度。

“JAX虽然很吸引人,但还不够具备“革命性”的能力促使大家抛弃PyTorch来使用它。”

但看好JAX的也并非少数。

就有人表示,PyTorch是很完美,但JAX也在缩小差距。

甚至还有人疯狂给JAX打call,表示它比PyTorch要厉害10倍,并称:如果Meta不继续加把劲儿的话谷歌就会赢了。(手动狗头)

不过,总有不怎么care谁输谁赢的人,他们的目光放得很长远:

  • 没有最好,只有更好。最重要的是更多玩家和好的idea统统都加入进来,让开源和真正优秀的创新划上等号。

项目地址:
https://github.com/google/jax

参考链接:
https://twitter.com/jeremyphoward/status/1538380788324257793
https://twitter.com/ylecun/status/1538419932475555840
https://mp.weixin.qq.com/s/AoygUZK886RClDBnp1v3jw
https://www.deepmind.com/blog/using-jax-to-accelerate-our-research
https://github.com/tensorflow/tensorflow/issues/53549

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
狠人!ZBrush雕出来的人体肌肉结构动画!

狠人!ZBrush雕出来的人体肌肉结构动画!

CG世界
2024-03-25 10:30:47
仁爱礁交锋后,9国将邀请中方驻军?马科斯开始后悔,可惜已晚了

仁爱礁交锋后,9国将邀请中方驻军?马科斯开始后悔,可惜已晚了

戎评说
2024-03-29 11:58:57
你罚随你罚,我交算我输!佛罗伦萨一辆豪华SUV十年175张罚单未缴!

你罚随你罚,我交算我输!佛罗伦萨一辆豪华SUV十年175张罚单未缴!

华人街
2024-03-29 00:45:40
律师曝光:有时候真的想报警,已经开始心疼起律师群体了

律师曝光:有时候真的想报警,已经开始心疼起律师群体了

新动察
2024-03-29 10:12:37
一个家庭富不起来的根源:垃圾太多

一个家庭富不起来的根源:垃圾太多

洞见
2024-03-26 21:55:38
改革开放前,中国为什么要打越南?有三大战略因素,影响至今

改革开放前,中国为什么要打越南?有三大战略因素,影响至今

阿胡
2024-03-27 13:35:34
王树国上任仪式,曹德旺只喝农夫山泉:清醒者寥寥,被耍不自知?

王树国上任仪式,曹德旺只喝农夫山泉:清醒者寥寥,被耍不自知?

壹月情感
2024-03-28 22:37:52
火箭全明星后18场 格林进攻效率第1 阿门防守效率第3 申京净效率

火箭全明星后18场 格林进攻效率第1 阿门防守效率第3 申京净效率

红霞体育
2024-03-29 18:42:24
中国人根本不知道一群非亲非故的人住同一座楼是有多麻烦!

中国人根本不知道一群非亲非故的人住同一座楼是有多麻烦!

玅巫
2024-03-18 10:45:39
明明演技烂,却被吹上天的5位老戏骨,网友:只长年纪不长演技

明明演技烂,却被吹上天的5位老戏骨,网友:只长年纪不长演技

流沙溪水
2024-03-27 11:26:24
辽宁男篮阵容紧急调整!新援加盟再度变阵 季后赛大名单浮出水面

辽宁男篮阵容紧急调整!新援加盟再度变阵 季后赛大名单浮出水面

路人聊篮球
2024-03-29 18:05:22
小米SU7定价引起圈内“大地震”!业内专家:20万元是汽车定价的分水岭【附新能源汽车发展前景预测】

小米SU7定价引起圈内“大地震”!业内专家:20万元是汽车定价的分水岭【附新能源汽车发展前景预测】

前瞻网
2024-03-29 11:41:17
事大了!专家认为河北杀人的根源在其父母,评论区炸锅了

事大了!专家认为河北杀人的根源在其父母,评论区炸锅了

青史浩然
2024-03-29 09:55:28
女教练强迫男学员发生性关系,致使男学员受伤:她像疯狗扑向我

女教练强迫男学员发生性关系,致使男学员受伤:她像疯狗扑向我

小啾咪侃侃史
2023-08-22 07:10:33
太狂!中方警告话音刚落,美军机逼近广东汕头,歼16D可给点颜色

太狂!中方警告话音刚落,美军机逼近广东汕头,歼16D可给点颜色

梦涵说体育
2024-03-29 13:40:33
别再骂川普了:78门凯撒炮、1200枚锤子炸弹,法国爆发式援乌

别再骂川普了:78门凯撒炮、1200枚锤子炸弹,法国爆发式援乌

移光幻影
2024-03-28 16:49:52
两个北方人在广州炳胜公馆吃饭,结账时差点没钱付款,真尴尬。

两个北方人在广州炳胜公馆吃饭,结账时差点没钱付款,真尴尬。

特色美食阿览
2024-03-27 17:52:42
普京:将打击第三国!如果F-16从那里起飞

普京:将打击第三国!如果F-16从那里起飞

直新闻
2024-03-28 16:50:07
银河E5外观酷似保时捷macan?车友:豪车从此再见!

银河E5外观酷似保时捷macan?车友:豪车从此再见!

户外小阿隋
2024-03-28 18:13:34
必死无疑!俄罗斯正式对乌克兰情报局局长布达诺夫下达全球追杀令

必死无疑!俄罗斯正式对乌克兰情报局局长布达诺夫下达全球追杀令

知秋侃史
2024-03-28 03:33:09
2024-03-29 22:16:49
量子位
量子位
追踪人工智能动态
9223文章数 175124关注度
往期回顾 全部

科技要闻

雷军:我们是卷王,建议BBA车主感受下时代

头条要闻

美"双头姐妹"之一已婚 丈夫带8岁女儿加入"重建家庭"

头条要闻

美"双头姐妹"之一已婚 丈夫带8岁女儿加入"重建家庭"

体育要闻

足坛反腐涉案金额:6人超千万李铁1.2亿

娱乐要闻

胡夏被曝有孩子!工作室火速辟谣

财经要闻

张维迎:如何正确理解企业家精神?

汽车要闻

找回久违的开怀大笑 试驾小米SU7 Max

态度原创

时尚
本地
教育
房产
手机

孙艺珍生完孩子,玄彬老了十岁

本地新闻

专访|张伟潮:最年轻的龙头专职制造者

教育要闻

25考研择校择专业,想选到合适的先考虑这3点!

房产要闻

官宣!三亚这片区迎重大教育配套!周边楼盘、小区最全盘点来了!

手机要闻

全套深度定制配件!红魔9 Pro+大黄蜂限量典藏套装发布:6499元

无障碍浏览 进入关怀版