网易首页 > 网易号 > 正文 申请入驻

95%PyTorch库都会中招的bug!特斯拉AI总监都没能幸免

0
分享至

明敏 发自 凹非寺
量子位 报道 | 公众号 QbitAI

到底是怎样的一个bug,能让95%的Pytorch库中招,就连特斯拉AI总监深受困扰?

还别说,这个bug虽小,但有够“狡猾”的。

这就是最近Reddit上热议的一个话题,是一位网友在使用再平常不过的Pytorch+Numpy组合时发现。

最主要的是,在代码能够跑通的情况下,它甚至还会影响模型的准确率!

除此之外,网友热议的另外一个点,竟然是:

而是它到底算不算一个bug

这究竟是怎么一回事?

事情的起因是一位网友发现,在PyTorch中用NumPy来生成随机数时,受到数据预处理的限制,会多进程并行加载数据,但最后每个进程返回的随机数却是相同的。

他还举出例子证实了自己的说法。

如下是一个示例数据集,它会返回三个元素的随机向量。这里采用的批量大小分别为2,工作进程为4个。

然后神奇的事情发生了:每个进程返回的随机数都是一样的。

这个结果会着实让人有点一头雾水,就好像数学应用题求小明走一段路程需要花费多少时间,而你却算出来了负数。

发现了问题后,这位网友还在GitHub上下载了超过10万个PyTorch库,用同样的方法产生随机数。

结果更加令人震惊:居然有超过95%的都受到这个问题的困扰!

这其中不乏PyTorch的官方教程和OpenAI的代码,连特斯拉AI总监Karpathy也承认自己“被坑过”!

但有一说一,这个bug想要解决也不难:只需要在每个epoch都重新设置seed,或者用python内置的随机数生成器就可以避免这个问题。

到底是不是bug?

如果这个问题已经可以解决,为什么还会引起如此大的讨论呢?

因为网友们的重点已经上升到了“哲学”层面:

这到底是不是一个bug?

在Reddit上有人认为:这不是一个bug。

虽然这个问题非常常见,但它并不算是一个bug,而是一个在调试时不可以忽略的点。

就是这个观点,激起了千层浪花,许多人都认为他忽略了问题的关键所在。

这不是产生伪随机数的问题,也不是numpy的问题,问题的核心是在于PyTorch中的DataLoader的实现

对于包含随机转换的数据加载pipeline,这意味着每个worker都将选择“相同”的转换。
而现在NN中的许多数据加载pipeline,都使用某种类型的随机转换来进行数据增强,所以不重新初始化可能是一个预设。

另一位网友也表示这个bug其实是在预设程序下运行才出现的,应该向更多用户指出来。

并且95%以上的Pytorch库受此困扰,也绝不是危言耸听。

有人就分享出了自己此前的惨痛经历:

我认识到这一点是之前跑了许多进程来创建数据集时,然而发现其中一半的数据是重复的,之后花了很长的时间才发现哪里出了问题。

也有用户补充说,如果 95% 以上的用户使用时出现错误,那么代码就是错的。

顺便一提,这提供了Karpathy定律的另一个例子:即使你搞砸了一些非常基本代码,“neural nets want to work”。

你有踩过PyTorch的坑吗?

如上的bug并不是偶然,随着用PyTorch的人越来越多,被发现的bug也就越来越多,某乎上还有PyTorch的坑之总结,被浏览量高达49w。

其中从向量、函数到model.train(),无论是真bug还是自己出了bug,大家的血泪史还真的是各有千秋。

所以,关于PyTorch你可以分享的经验血泪史吗?

欢迎评论区留言讨论~

参考链接:
[1]https://tanelp.github.io/posts/a-bug-that-plagues-thousands-of-open-source-ml-projects/
[2]https://www.reddit.com/r/MachineLearning/comments/mocpgj/p_using_pytorch_numpy_a_bug_that_plagues/
[3]https://www.zhihu.com/question/67209417/answer/866488638

— 完 —

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
在深扒之下,终于懂得国家为什么不再“原谅”曾经为国争光的王濛

在深扒之下,终于懂得国家为什么不再“原谅”曾经为国争光的王濛

祝晓塬
2024-03-29 03:10:47
被蔡英文等到了:见情况不妙,白宫一通电话打到北京,提了个要求

被蔡英文等到了:见情况不妙,白宫一通电话打到北京,提了个要求

千里持剑
2024-03-28 15:22:49
湖人5连胜让西部大乱,掘金或为避开湖人而输球

湖人5连胜让西部大乱,掘金或为避开湖人而输球

LL詹姆斯LBJ
2024-03-28 18:02:29
20万的车,为什么非要说是50万以内最好?

20万的车,为什么非要说是50万以内最好?

汽车扒壹扒
2024-03-26 17:23:30
顾客自己一脚踩空致残,餐厅却需要承担责任,冤吗?

顾客自己一脚踩空致残,餐厅却需要承担责任,冤吗?

极目新闻
2024-03-29 08:49:17
吴君如近照曝光!疑医美过度!苹果肌太饱满,脸上皱纹也不对劲!

吴君如近照曝光!疑医美过度!苹果肌太饱满,脸上皱纹也不对劲!

西瓜爱娱娱
2024-03-28 16:46:20
蚂蚁集团退地:曾一周内拉高周边二手房价格超百万,如今有房源成交价降130万

蚂蚁集团退地:曾一周内拉高周边二手房价格超百万,如今有房源成交价降130万

红星新闻
2024-03-27 20:35:58
港媒辣评赵露思造型,这用词也太逆天了吧!

港媒辣评赵露思造型,这用词也太逆天了吧!

娱乐圈酸柠檬
2024-03-29 02:58:52
小米 SU7 车型 56 英寸 HUD 至高亮度 13000 尼特,对焦距离 7.7m

小米 SU7 车型 56 英寸 HUD 至高亮度 13000 尼特,对焦距离 7.7m

IT之家
2024-03-28 19:55:15
4月8日,全球首款搭载“超快充固态电池”的汽车将正式发布,续航超1000公里

4月8日,全球首款搭载“超快充固态电池”的汽车将正式发布,续航超1000公里

封面新闻
2024-03-27 13:04:40
国足4比1让伊万看清四人绝不能用!张琳芃之后,又有3国脚遭弃

国足4比1让伊万看清四人绝不能用!张琳芃之后,又有3国脚遭弃

罗掌柜体育
2024-03-28 12:22:51
2015年8月21日,汪东兴因病在北京逝世。

2015年8月21日,汪东兴因病在北京逝世。

海梦游者
2024-03-26 17:25:47
中方降级中菲关系说法,菲前总统示好,暗示马科斯对华强硬有苦衷

中方降级中菲关系说法,菲前总统示好,暗示马科斯对华强硬有苦衷

娱乐督察中
2024-03-28 09:41:41
小米SU7发布会闹乌龙:雷军把全国的小爱同学喊崩了

小米SU7发布会闹乌龙:雷军把全国的小爱同学喊崩了

快科技
2024-03-29 09:16:09
韩媒曝妈妈让具俊晔离婚回韩,大S两次都嫁妈宝男,落寞收场!

韩媒曝妈妈让具俊晔离婚回韩,大S两次都嫁妈宝男,落寞收场!

缘木不求娱
2024-03-27 13:41:41
AI“复活”女儿之后,包小柏讲述了整个故事

AI“复活”女儿之后,包小柏讲述了整个故事

新京报
2024-03-28 08:27:48
北京朝阳区的初中梯队排名(网传版)大家谨慎参考

北京朝阳区的初中梯队排名(网传版)大家谨慎参考

糖逗在娱乐
2024-03-28 22:04:46
闹大了!知名音乐人炮轰周深:一直以来装嫩,录综艺装范儿

闹大了!知名音乐人炮轰周深:一直以来装嫩,录综艺装范儿

飞哥AI矩阵
2024-03-27 16:15:56
还没完?张兰控大S为具俊晔流产,大S律师反击,疑坐实大S滥用药

还没完?张兰控大S为具俊晔流产,大S律师反击,疑坐实大S滥用药

西瓜爱娱娱
2024-03-28 16:42:00
热搜爆了,美国传出丢人消息,世界霸主貌似强大无敌实则外强中干

热搜爆了,美国传出丢人消息,世界霸主貌似强大无敌实则外强中干

晓辉观点
2024-03-29 08:53:55
2024-03-29 09:42:44
量子位
量子位
追踪人工智能动态
9218文章数 175122关注度
往期回顾 全部

科技要闻

雷军:我们是卷王,建议BBA车主感受下时代

头条要闻

牛弹琴:菲方行动逼近临界点 中国向其释放强烈信号

头条要闻

牛弹琴:菲方行动逼近临界点 中国向其释放强烈信号

体育要闻

拒绝为国出战,他是足坛"天选打工人"

娱乐要闻

莱昂纳多与25岁新女友互相投喂超恩爱

财经要闻

展车撞人 投诉飙升 极氪该掰谁的手腕?

汽车要闻

混动增程双模式 长安UNI-Z售11.79万起

态度原创

游戏
本地
时尚
教育
公开课

《原神》最刀人的地方,派蒙和旅行者的结局,注定最后是要分开的

本地新闻

专访|张伟潮:最年轻的龙头专职制造者

时尚无关年龄!当你学会这些气质搭配,50岁女人也依然很美

教育要闻

2024 英国毕业生就业市场报告出炉!这个专业毕业起薪50万!附留学生在英求职指南

公开课

30岁之前,你要学会的13件事情

无障碍浏览 进入关怀版