作者 | 陈大鑫
11月11日凌晨，ICLR 2021初审结果在官网公布之后，就正式进入了Rebuttal阶段。
而在昨日，ICLR 2021 Rebuttal阶段正式告一段落，论文作者本人已不能再提交Rebuttal，当然，论文评审和领域主席还是可以根据论文评审情况再做分数修改。
在昨日ICLR 2021 Rebuttal结束（对论文作者而言）之后，还是辣个男人，Criteo AI Lab机器学习研究科学家Sergey Ivanov，他又一次写了个爬虫程序统计出了ICLR 2021所有论文目前阶段的评分数据。
经过统计，有超过72%（1936篇）的论文评审分数没有任何变化！
1
论文得分变化看点
据数据统计显示，Rebuttal结束之后，论文评审得分数据变化有以下看点：
1、一共有306篇论文选择了撤稿，原有的2976篇论文现在还剩2670篇。
2、所有论文的平均分从原先的5.16升到了5.37，也即是平均分提高了0.21。
（注：一篇论文大都是有四位评审，如果论文评审得分分别为5、6、7、8，则该篇论文的平均分为6.5）
3、Rebuttal阶段一共产生了10305条评论，其中只有1797条评论改变了分数。
4、有16篇论文在Rebuttal阶段得到了额外的评论。
5、单篇论文最高得分从7、8、9、9变成9、8、9、9，太牛了！
这篇论文的标题是：《How Neural Networks Extrapolate: From Feedforward to Graph Neural Networks》。
下图是Rebuttal阶段单篇论文的平均分分值变化情况：
可以看出，有超过1900篇论 文的得分变化是小于+0.25的，把这个数字乘以4（按照一篇论文大多数由四个评审分数来计算），那就意味着这 1900多篇论文的分数变化都小于1。
2
Rebuttal不易，也要坚持
上面说到1900多篇论文的分数变化都小于+1，那具体情况如何？
Sergey Ivanov随后又统计出：
1、有超过72%（1936篇）的论文评审分数没有任何变化！（在2669篇有效提交的论文中）。
2、有610篇论文仅有1个分数改变。
3、有104篇论文有两个分数改变。
4、仅有18篇论文有3个分数改变。
5、有一篇论文做到了让4个评审分数都为之改变！（分数从5566-->6677），这意味着每个评审都为之增加了一分，这篇论文应该是从被拒的边缘拯救回来了，不出意外，论文最后应该会被接收。
论文地址：https://t.co/NyUNtp8WNg?amp=1
以下是论文初审时论文得分分布直方图，可以看出单篇平均得分在5~6分之间的论文最多。
如下面几张图所示，平均论文得分TOP 100的论文达到了6.75（满分是10分） ：
下图是目前阶段（Rebuttal结束后）的论文得分分布直方图，可以看出同样是单篇平均得分在5~6分之间的论文最多，有超过1290篇，接近50%。
Rebuttal小成功
如下面几张图所示，7分以上的论文有153篇，而对比之下论文初审得分在7分以上的有95篇， 这意味着Rebuttal之后多出了58篇7分以上的论文。
Rebuttal小挫折
从上面两图可以看出，虽然Rebuttal之后多出了58篇7分以上的论文，然鹅Rebuttal阶段论文得分的整体统计数据变化基本不大。
Rebuttal大挫折
在昨天，AI科技评论的报道中，一位作者接到了让他无比头疼的修改意见：重新进行实验。如果时间充足，想必这个要求也没什么，但是这时只离Rebuttal结束只有1个小时了。也就是说，如果作者在一个小时之内，完不成新实验，那么他这次的ICLR 2021之旅基本上就凉了。
作者特别苦恼，在reddit上将整个过程讲述了下来，并表示：ICLR真是烂，以后再也不给它投稿了：
我们有篇论文的研究在几个基准上实现了SOTA，我们向ICLR提交了这篇论文。之后，就收到了4个评审意见，大部分意见要求进行消融研究，以及关于超参数设置的细节询问。这些意见非常正常，一点毛病都没有，真正有趣的事情发生在Rebuttal阶段：
1.有一位审稿人坚持认为我们引用了前一篇论文的错误实验结果，因此，表示论文中的比较是不公平的。如果审稿人相信我们，他完全可以查看前一篇论文的结果和设置，如果仔细点，这位审稿人就会发现，我们引用的数字和那篇论文中有的完全一样。也即并没有引用错误实验。 随后，我们用“前一篇”论文的原话回复了评审，评审给出的回复仍然是：“不公平的比较”。显然，评审忽略了前一篇论文的结果。
2.另一位评审要求我们进行消融实验，并和不使用A技术Baseline进行比较。我们照做了。此外，我们还增加了10个变体的消融研究。然而，在Rebuttal阶段结束的前一个小时，这位审稿人又提出了新的要求：做一次基线 + A - B比较，理由是：我们附加的消融研究涵盖了去除技术B的情况。 通常来说，做一个消融实验往往需要一天的时间，审稿人或许也知道1个小时是不可能完成实验的。所以，我认为这只是他拒绝我们论文的借口。退一步看，即使我们完成了实验，这位审稿人可能还要我们进行2^10个变体实验，然后让我们继续比较。这有什么意义呢？
我非常生气，我参加过许多AI/ML Confs、ICML、NeurIPS等会议，这次的ICLR是最糟糕的一次。虽然，我也明白当前AI顶会大多数评审的情况，但是4个评委里有两个能提出这样的求...... ICLR不值得，我以后不会再往这个会议中投递论文了，大家也把好的研究投递到真正“值得”的顶会吧。
3
如何进行Rebuttal
什么样的Rebuttal回复会让评审心服口服，针对不同的意见和不同的评审应该有不同的战术打法。 但总体上的核心原则是：Rebuttal到底！
Rebuttal的对象大概有两种， 第一种是审稿人 ，他读过你的论文，但可能忘记了细节，或者一开始就没有理解你的论文。 第二种是AC（领域主席） ，这类对象可能对你的论文更加的不熟悉，他们读到的可能只是一系列的评论和反驳。
所以，你写Rebuttal的主题应该是： 澄清和说服。 对于评审来说，需要澄清疑问，回答问题，纠正误解，真诚的吸收反馈，改进你的工作。
对于AC来说，说服他们相信你已经做出了真诚的努力，并提交具有代表性的评审意见，帮助他们了解审稿人的顾虑是否得到解决。
根据一些经验，当前AI顶会领域作者的通病是：只关注审稿人，而忽略了AC。
其实，整个Rebuttal的过程应该看做一场辩论赛，虽然审稿人并不是“对手”，但应该当做“对手”来对待，而AC则可以赋予裁判的角色。所以，这时候“Rebuttal”的战术打法和辩论赛相同： 说服裁判相信你的论点远比让对手改变想法更重要。
下面给予一些具体的建议，建议的核心在于尽可能的让“裁判”和“对手”都满意。
收集评审意见的电子表格样例
1、逐条列出审稿人的评审意见。用一个电子表格将每个审稿人的评论、问题、关注点组织起来。这种将所有东西都放在同一个位置的做法可以防止遗漏重点，也能够及时确定是否要新增实验。
2、脑补可能的回复。建立电子表格的时候单独留出一个栏目写你认为审稿人的可能回复。写的时候大胆一些，不需要考虑文体和篇幅，但要有说服力。
3、写一份 rebuttal 草稿。草稿不用考虑篇幅，在简明扼要的同时，覆盖每一个要点，并对要点进行优先性排序。
4、评审和修订。重新阅读最初的评审意见和电子表格，并确保所有内容都得到解决。
示例如上
最后需要说明的是，论文最后的接收情况由领域主席拍板决定，就算论文平均得分小于6分也没事，一是要看你的论文在其对应的领域得分及排名，二是要看领域主席觉得你的论文是否有他觉得很Nice的亮点，如果某个点恰巧打动了领域主席，则论文被捞的可能性还是不小的。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
