NeurIPS 2020今日放榜！回顾这一年，史上最低录取率并不意外

作者 | 陈大鑫

今日， 终于 等到了NeurIPS 2020的录取邮件通知！

朋友圈里低调很久的大佬们也纷纷晒出了录用邮件截图，毕竟一年来熬夜做实验、写论文的付出得到了肯定。

从杜克大学陈怡然老师微博上的消息也可以看出，今年共有 9454 篇论文提交，1900篇总接收，录取率仅为 20.09% ，其中105篇被接收为oral，280篇被接收为spotlight，剩下的都被接收为poster。

1

史上最低录取率很意外吗？

首先对比一下2013年至今的数据，很明显可以看出今年20.09%的录取率称得上史上最低，但是最近三年的录取率都在21%左右，其实今年的录取率相对而言也不是特别低。

这一数据可以更直观地用下图来表示：

那么这个史上最低录取率意外吗？

其实并不意外，回顾NeurIPS 2020这一年，变化很多，为了把控论文质量的同时提高评审效率，NeurIPS今年在某些地方做的很用心，而某些地方则很狠心。

这些变化其中之一就是评审机制大变动：领域主席可拒稿20%，作者即评审，布局远程会议！具体变动见如下。

2

NeurIPS 2020 评审机制大变动

第一，将摘要提交截止日期提前至5月5日 ，论文提交截止日期提前至5月12日，以给组委会预留更加充足的时间来审阅数量上大幅增加的论文投稿，以及给评审过程中的早期拒稿阶段更多的考量时间。

第二，早期拒稿： 领域主席有两周的时间来挑选出一批早期拒稿的论文，比例大概为 20%。接着由高级领域主席在一周时间内通过决议，一经通过，被拒稿的论文作者就会收到其论文不会再接受进一步评审的通知。

第三，作者即评审 ：要求每篇论文的每位作者或共同作者，在要求他们参与评审论文的情况下都同意参与评审论文。这项要求能够有效地扩大评审团队的规模，并且还能够在包括向NeurIPS 投稿的作者在内的社区成员间公平地分配评审负担。

第四，提交 影响陈述 ： 要求作者在投 稿论文中单独拟一个章节来探讨他们这项工作将带来的更广泛的影响，包括可能带来的正面或负面的社会影响。

第五，视频spotlight： 要求所有的作者在camera-ready提交截止前，都上传论文的spotlight演示视频。现在NeurIPS正在尝试为远程演示和远程参会做准备工作。

这一点在今天收到的录用邮件中的确可以看到：

另外，如果作者提交的论文此前已在同行评审中被拒稿，必须标注这一信息，并且列出本次提交的论文所做出的改变。

其实去年，NeurIPS 组委会也在评审机制上做过一些调整，其中最引人关注的就是 NeurIPS 组委会与 BMVC、ECML-PKDD、EMNLP-IJCNLP 以及 ICCV 的程序委员会主席通力合作，为防止一稿多投现象所采取的举措。

最终， 19 篇论文因一稿多投而被拒收 ，一时哗然，让各位投稿作者不禁绷紧了神经弦。

3

NeurIPS 2020投稿一览

今年7月，NeurIPS在Medium官方账号发布了文章《Reviewing is Underway!》，对今年的投稿情况和审稿流程进行了说明。

文章中提到，今年的NeurIPS投稿数量比2019年增长了38%， 具体而言， 一共收到了12115份摘要，但随后提交完整的只有9467份。 另外还有184篇论文有违规行为：被作者撤回、非匿名提交以及论文篇幅超过最大页数等。

其它“遵守纪律”的论文都已经分配给了领域主席以及Senior领域主席，这两类主席在对这些论文简单的浏览之后，进行了初步判断： 占总数 11% 的论文被直接拒掉，其他89%的论文分配给了合适的审稿人。值得一提的是，这89%对应的具体数字8186 。

另外，文章中还强调，这直接被拒掉的11%的论文，将不会再次接受审阅。

除此之外，今年的论文主题分布也有所变化，算法占比29%，深度学习占比19%，应用占比18%，强化学习和规划（planning）占比9%，理论占比7%，概率方法占比5%，机器学习社会方面（ Social aspects of machine learning）占比5%，优化占比5%，神经科学和认知科学占比3%。与2019年相比，深度学习和应用领域的论文略有下降(均下降了2%)，而机器学习社会方面有所增加（增加了3%）。

4

顶会大变化一览

1、NeurIPS 直接拒绝机制

今年NeurIPS组 委会指派领域主席和Senior 领域主席承担“直接拒绝”的任务。其中领域主席识别可能被拒绝的论文，Senior 领域主席反复核对这些论文。 因此，每一篇被直接拒绝的论文，都有两位资深的专家“签字”。 值得一提的是，为了降低偏见， 这两位专家是看不到论文作者的信息。

直接拒绝有利有弊，有很多地方可以改进。“直接拒绝”除了减轻了审稿者的负担外，还能够让领域主席和Senior领域主席更加熟悉分配给他们的论文，为他们随后“领导”审稿人提供帮助。此外，直接拒绝的坏处是，这些论文的作者几乎没有得到什么建设性的反馈来改进他们的论文。

2、NeurIPS预注册机制

今年九月，AI科技评论最新消息， NeurIPS2020提出尝试机器学习论文的新型发表和同行评审模式，即预注册。

预注册简而言之，就是将提出idea的过程和实验结果确认分为两个阶段。 在研究人员进行实验之前，先把研究idea提交给NeurIPS，然后由评审决定该idea是否可行，通过的idea视为预注册成功，然后研究人员可以着手进行实验，无论实验是失败还是成功，结果都将发表在NeurIPS2020的一个研讨会中。

对于提出这项尝试的初衷，NeurIPS表示：

在过去几年中，机器学习取得了巨大进步，其中基准数据集发挥了关键作用。但是，论文评审可能会倾向于将基准的增量改进放在优先位置，从而妨碍了其他类型研究课题的进步，甚至将好的idea扼杀在婴儿期。论文计划书是根据科学兴趣进行评估的，而不是是否达到SOTA。

了解预注册机制最新内容请移步“ ” 一文。

3、EMNLP Findings

今年，EMNLP 2020带来了： “Findings of ACL: EMNLP 2020”。

这是一种新的接收论文类型，EMNLP表示，这将使更多高质量的论文（短篇和长篇）被接收。它用于刊登在主会上未被接收，但经过程序委员会评估为足够solid的工作，其实质、质量和新颖性有足够保证。这些论文将作为ACL选集的一部分被收录。

Findings中的论文将遵循与EMNLP 2020会议录中接受的论文相同的时间表。也就是说，它们有相同的DDL。

这些论文与EMNLP会议接收的论文不同之处在于，Findings论文不会在会议上进行演讲（包括演讲和poster）。被Findings接收的论文不能提交给其他会议或期刊。

哪些类型的论文更适合出现在Findings中呢？例如：

1、扩展了有关特定任务的SOTA水平的论文，但是对于EMNLP社区而言，却没有新颖的见解或发现；

2、实验实现良好，想法新颖，并提供详尽的分析和发现，但使用的方法被认为不够“新颖”；

了解EMNLP Findings更多内容，请移步“ ”一文。

其实，这些年来，顶会投稿量越来越多：

但是AI顶会总录用率却是连续下降多年：

会议加总之后，会议录用率趋势

不得不感慨，AI顶会灌水越来越难，顶会其实也在求变，而作为研究者，还是要潜心做研究才有出路~

最后今年大会的注册已经于 9 月 15 日开启，其中学生的注册费用仅为 25 美元，其他参会者则为 100 美元，这一价格相比去年的线下参会的420和750美元优惠了不少，线上会议诚不欺我！

另外，所有人都可以在无需注册的情况下访问Tutorial、Keynote，而Poster宣讲的录像也预计会在会议结束后公开。