网易首页 > 网易号 > 正文 申请入驻

元学习热度不再!ICLR 2022投稿趋势:强化学习榜首,深度学习第二

0
分享至


新智元报道

来源:GitHub

编辑:LRS

【新智元导读】ICLR 2022 论文投稿情况都是公开的,所以有研究者收集统计了ICLR 2022的3400篇论文,排出了前50个热门研究话题,发现深度学习、强化学习仍旧霸榜前两名,元学习的热度下降很多!

最近GitHub上一个项目ICLR2022-OpenReviewData爬取了ICLR 2022的所有论文投稿。

总共有3407篇,通过分析发现热度前50的投稿关键词中,强化学习、深度学习、图神经网络排在前三位,并且强化学习和深度学习的投稿数量要远超其他研究领域,例如对比学习、迁移学习的投稿数量不足强化学习的四分之一。


通过词云可视化后这种趋势也一目了然。


通过对标题关键词的单词进行分析后,可以看到论文使用的词的差距没有短语那么大,研究人员更喜欢最喜欢用表示(representation)这个词,毕竟会议的名字都是International Conference on Learning Representations (ICLR)。


作者在仓库中放出了爬取论文列表的代码,不过应该只能在Windows平台下运行。


首先需要下载一个msedgedriver.exe 的程序,方便模仿浏览器的行为进行数据爬取。除了Microsoft Edge外,也可以使用Chromium的driver。

爬取数据大约耗时30分钟,当然如果不想运行,作者也提供了爬取后的数据。


这个仓库受到ICLR2021-OpenReviewData数据分析的启发,通过数据对比可以发现,ICLR 2021的前两名依然是深度学习和强化学习,只不过位置发生了变换,三四名也是图神经网络和表示学习,位次也发生了转换。在ICLR 2021 中比较火热的元学习(meta learning),过了一年后热度也有了明显的下降。


在ICLR 2021 的所有论文中,平均分为5.367,大部分论文都集中在5-6分,3.8分以下和7分以上都是一件不容易的事。


作者还研究了一下文章的评分和关键词之间的关系,可以发现reviewer的平均评分和关键字的频率之间有很大的关系,要最大限度地提高获得更高评分的机会,可以使用诸如深度生成模型(deep generative models)或标准化流(normalizing flows)之类的关键字。


绝大多数计算机科学会议都使用匿名同行评审,OpenReview 提供一个平台旨在促进同行评审过程的开放性。论文(元)评论、反驳和最终决定都将向公众公布。

当然OpenReview这种方式也会促使各位作者更加慎重地投稿自己的论文,防止被公开处刑。


除了上述的简单分析外,OpenReview 也可以作为更大规模的语料提供给研究者进行研究,研究人员从OpenReview平台收集了5527份意见书和16853份评论,除此之外还从Google Scholar和arXiv.org的非同行评审版本收集这些提交的引文数据。


https://arxiv.org/abs/2103.05885

ICLR 自2013年开始一直使用OpenReview 平台进行双盲评审,每篇论文分配评审后,通常由三名评审员独立评估一篇论文。在rebuttal之后,评论者可以访问作者的回复和其他同行的意见,并相应地修改他们的评论。

然后,项目主席为每篇论文撰写元评论,根据三篇匿名评论做出最终的接受/拒绝决定。每次正式评审主要包括评审分数(1到10之间的整数)、评审员信心水平(1到5之间的整数)和详细评审意见。官方评论和元评论都在OpenReview平台上向公众开放,也可以在OpenReview上发布他们的评论。

论文中爬取了2017年以来的审查数据,因为2017年之前提交的资料太少。虽然利用了双盲审查过程,但在论文的最终决定之后,还将公布被拒绝掉的作者的身份。


由于提交量的大幅增加,ICLR 2020雇佣了更多的评审志愿者。有人抱怨评审人员的质量严重下降(47%的评审没有在相关领域发表文章)。在其他人工智能会议上,如NIPS、CVPR和AAAI中也观察到类似的情况。许多作者抱怨他们的意见没有得到很好的评价,因为指定的非专家评审员缺乏足够的技术背景,无法理解他们的主要贡献。

但这些非专家对审查进程有何影响却没有一个定量的分析。


对于2017-2019年ICLR,审核人给出1到10之间的审核分数(整数),并要求选择1到5之间的置信水平(整数)。对于ICLR 2020,评审员在{1,3,6,8}中给出评级分数,并应选择介于1和4之间的经验评估分数(类似于置信度分数)。对于2018-2020年,置信度为1和2的重新评估分数可能高于置信度为4和5的审查分数。

2017年ICLR的趋势不清楚,因为它包含的样本太少,不具有统计意义。2017-2019年,最低置信水平审查的平均审查分数为5.675,而最高置信水平审查的平均审查分数为4.954。2020年,最低和最高置信水平审查的数字分别为4.726和3.678。

研究结果表明,低置信度的评审员(如1级和2级)倾向于更宽容,因为他们可能对自己的决定没有信心,而高自信的评审员(如4级和5级)倾向于更强硬和严格,因为他们可能对确定的弱点有信心。

下图中每一点都表示一组具有特定置信水平的评审,点的大小表示该组中评论的相对数量,两点之间的距离表示两组之间的评审分数差异。


根据每个评论的情绪分析结果和评论得分的相关性分析中,研究人员将具有相同方面情感组合的评论分组,并计算每组的平均评论分数,并且不考虑接受少于3次审查的群体,因为他们的样本太少,不具有统计显著性。

将结果可视化后可以看到,从宏观角度来看,较高的审查分数通常会带来更积极的方面,这也是意料之中的。还观察到,大多数评分高于6分的评论在新颖性、动机和表现方面没有负面评论,但在相关工作和实验中可能存在一些缺陷。对论文总体持肯定态度的审稿人可能会对相关工作和实验提出改进建议,使论文更加完善。演讲质量和实验似乎比其他方面更经常被提及,并且对表达的积极情绪分布更加均匀。这意味着陈述在决策中不起重要作用。


同样有趣的是,没有一项审查的所有方面都是积极的或消极的。一篇论文不太可能在所有方面都完美无缺或毫无价值。审稿人也可能对论文更严格,对差的论文更宽容。

通过深入了解这些数据,可以得到一些有趣的发现,这些发现有助于理解公众参与的双盲同行评审过程的有效性,可能还有助于撰写论文、审查论文以及决定是否接收论文。

人工智能会议是一个接收范围广泛的学科领域。作者经常被要求选择与他们提交的内容最相关的领域。区域主席可以为某个研究领域的提交做出决策。不同地区可能会收到不同数量的提交,也可能有不同的接受率。项目主席有时会在会议的开幕式上宣布每个区域的提交数量和接受率,这可能以某种方式表明每个区域的受欢迎程度。

但是,按地区进行的分类比较粗糙,需要提供更具体信息的更细粒度的分类。由于OpenReview提供了更详细的提交信息,可以利用每个提交的标题、摘要和关键字来提供更细粒度的聚类结果,并收集每个提交集群的接受率统计数据。


从接收主题上可以观察到大体上是一个深度学习研究的总体结构及研究主题内部之间的相关性。例如,左侧部分的提交内容属于强化学习领域。

另一个独立的研究领域是图形神经网络(GNNs),作为一个很有前途的领域,它在短短2-3年内变得非常热门,它通过关注图形结构将自己与其他领域区分开来。对抗式机器学习(Adversarial Machine Learning)也是一个新的独立研究领域。

下一个独立主题是对抗生成网络(GANs)。但GANs并不是完全独立的,可以发现许多关于NLP和CV的提交文件也与GANs混合在一起。还观察到迁移学习与GANs非常接近,因为一些研究已经将迁移学习应用于GANs。右部分中的大多数提交内容都与应用程序相关(例如,视觉、音频、NLP、生物学、化学和机器人学),它们与DNN优化技术混合在一起,因为在特定的应用领域提出了许多优化来改进DNN。

强化学习、GNNs、GANs、NLP和计算机视觉吸引了超过50%的提交,这些都是当今深度学习研究的热门话题。

不同课题之间的接受率也存在显著差异,黑匣子对抗性攻击(Black-Box Adversarial Attacks)提交的集群接受率最高(53.33%),属于对抗性机器学习领域。提交的few-shot learning主题的接受率最低(10.53%),属于强化学习领域。图神经网络接受率为26.67%,BERT接受率为27.27%,GANs 接受率为20.18%,强化学习接受率为31.58%。

参考资料:

https://github.com/EdisonLeeeee/ICLR2022-OpenReviewData


特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
刚刚通知!12月10日起,全国全面推行

刚刚通知!12月10日起,全国全面推行

江西日报
2021-12-02 20:04:08
又一乳业巨头倒下!市值曾是蒙牛10倍,如今被自己坑惨

又一乳业巨头倒下!市值曾是蒙牛10倍,如今被自己坑惨

金错刀
2021-12-02 12:02:18
高圆圆和国际名模合影,被指气质完全被秒杀,引起网友热议

高圆圆和国际名模合影,被指气质完全被秒杀,引起网友热议

娱乐圈的阿三
2021-12-02 01:59:48
“弃”有恩发妻,娶小14岁的叶倩文?揭秘林子祥的风流与豪横…

“弃”有恩发妻,娶小14岁的叶倩文?揭秘林子祥的风流与豪横…

娱你相见欢
2021-12-01 22:15:47
国企救场拿地:深圳82%,无锡75%,南京80%,苏州92%,广州92%!

国企救场拿地:深圳82%,无锡75%,南京80%,苏州92%,广州92%!

城市捭阖
2021-12-02 22:27:23
“后门”有风险,“采菊”需谨慎

“后门”有风险,“采菊”需谨慎

蓝里
2021-12-02 23:48:40
新婚夜丈夫称妻子不愿同房,婚后第二天妻子坦言:我不喜欢男人

新婚夜丈夫称妻子不愿同房,婚后第二天妻子坦言:我不喜欢男人

紫葳姑娘
2021-12-02 13:30:24
19年前公安部副部长批示的大案,查出“潜伏”的警长和更大的“内鬼”

19年前公安部副部长批示的大案,查出“潜伏”的警长和更大的“内鬼”

中国青年报
2021-12-03 03:24:43
原来俄罗斯对中国友好只是国家层面上的,与民众个人无关。

原来俄罗斯对中国友好只是国家层面上的,与民众个人无关。

肥宅视野
2021-12-02 17:26:05
杜新枝九江之闹,最大收获就是老熊分分钟钟失业

杜新枝九江之闹,最大收获就是老熊分分钟钟失业

十八少年
2021-12-02 23:54:36
许敏万达房产内争执视频曝光,熊母一口一个打死你,熊父持刀对人

许敏万达房产内争执视频曝光,熊母一口一个打死你,熊父持刀对人

人间你我他
2021-12-02 16:04:09
厦门路虎“车内不雅视频"被疯传!那些喝醉酒的女生,你可长点心

厦门路虎“车内不雅视频"被疯传!那些喝醉酒的女生,你可长点心

法制播报
2021-12-02 15:02:20
“与姐妹争男人、婚内密会富商、被前夫暴打”黄奕的复杂感情

“与姐妹争男人、婚内密会富商、被前夫暴打”黄奕的复杂感情

文刀万
2021-12-03 06:00:02
深夜,恒大汽车发布重要公告

深夜,恒大汽车发布重要公告

每日经济新闻
2021-12-03 00:48:06
2-0!亚洲一哥独造2球!孔蒂英超3轮连拿7分,曼联本轮想反超没戏

2-0!亚洲一哥独造2球!孔蒂英超3轮连拿7分,曼联本轮想反超没戏

切尔西的饮水机
2021-12-03 05:30:57
“70后”刘捷出任杭州市委书记,打破一个近30年的“惯例”

“70后”刘捷出任杭州市委书记,打破一个近30年的“惯例”

上观新闻
2021-12-03 05:49:24
四名公安干警为获取口供,体罚、限制吃饭、睡觉,致嫌疑人死亡

四名公安干警为获取口供,体罚、限制吃饭、睡觉,致嫌疑人死亡

一丝不苟的法律人
2021-12-02 20:38:06
关于立即排查、控制西兰花销售及食用的特急通知!

关于立即排查、控制西兰花销售及食用的特急通知!

化州家乡
2021-12-02 04:36:37
啃完父母啃妹妹,读博士9年都未毕业的李明亮,到底怎么样了?

啃完父母啃妹妹,读博士9年都未毕业的李明亮,到底怎么样了?

鬼谷子思维
2021-12-02 17:22:11
某地二胎妈妈民警,辅导儿子作业至凌晨,崩溃划伤儿子后自缢身亡

某地二胎妈妈民警,辅导儿子作业至凌晨,崩溃划伤儿子后自缢身亡

榴莲EDU2
2021-12-02 14:38:46
2021-12-03 08:16:49
新智元
新智元
AI产业主平台领航智能+时代
7491文章数 52362关注度
往期回顾 全部

科技要闻

重挫!英伟达收购Arm交易遭美监管起诉

头条要闻

19年前公安部副部长批示大案 查出"潜伏"警长和"内鬼"

头条要闻

19年前公安部副部长批示大案 查出"潜伏"警长和"内鬼"

体育要闻

塔克打5!小球版热火会跌出季后赛吗

娱乐要闻

这种乱象会让国产烂剧越来越多

财经要闻

汽车要闻

出租车带鸥翼剪刀门 国外造车新势力也挺拼

态度原创

本地
教育
健康
公开课
军事航空

本地新闻

互联网公司DOTA开战 大厂人均“刀斯林”

教育要闻

清华附中校长王殿军:为何有些教师一辈子没有明显进步

新冠病毒变异不断 中国疫情防控这样响应

公开课

钻石:包装74年的“骗局”,被河南制造拆穿

军事要闻

实拍俄T-90M坦克内部:设备密集排布