NYU副教授发文炮轰NeurIPS等大型会议，网友：会议初衷不是这样的

　　机器之心报道

　　编辑：小舟、力元

子领域的小型会议含金量会更高吗？

　　近年来，机器学习领域的学术会议层出不穷，NeurIPS、CVPR 等大型顶会每年的投稿数量也在逐年激增。这些大型会议在机器学习社区和业内一直具有举足轻重的地位。但近日，来自纽约大学坦登工程学院的计算机科学与工程系的副教授 Julian Togelius 却发文「炮轰」了 NeurIPS 等大型学术会议。

　　Julian Togelius 从事 AI 研究多年。Google Scholar 显示，Julian Togelius 的论文引用量高达 14336，h 指数是 62，可谓是名副其实的 AI 大牛。

　　可见他对大型 AI 会议的反对意见绝非信口开河。在这篇名为「Rethinking large conferences」的文章中，Togelius 列举了诸多客观原因。以下是文章原文：

　　随着疫情的好转，能够再次参加线下会议让我感到快乐。在我看来，线下会议能够让我与世界各地的朋友和同事见面并交流思想和经验，而视频会议绝不是完美的替代方案。更令人兴奋的是，这些会议能够将领域内的科研新人介绍给学术界，他们能够结识朋友并集思广益，激发下一波科学发展浪潮。年轻一代的研究者应该具有更多社交和职业发展机会。

　　对我而言，较小的专业会议更令人期待。例如，我的研究领域是 AI + 游戏，我对 FDG、IEEE CoG、AIIDE 等小型会议颇感兴趣。相反，我不太喜欢大型的、享有盛誉的会议，例如 AAAI、IJCAI、NeurIPS。实际上，如果不是考虑到我的学生的职业前景，我只会参加比较小的学术会议。

　　很大程度上是因为大型会议很无聊。在 AI 领域的大型会议中，绝大多数论文演示与参会者是不甚相关的。如果我随机去看一篇论文演示，论文的内容可能是约束满足、机器翻译、游戏理论等任一子领域的知识，那么大概有 20％的概率我能理解论文内容，而只有 10％的概率我会觉得内容很有趣。或许我可能没有很多 AI 研究者那么聪明，但我严重怀疑，每个参会者都只关心 AAAI 等大型会议中很小一部分的内容。

　　也许有人会说：「论文演示者多进行一些介绍以便于其他 AI 研究者理解能够在某种程度上缓解这种情况」，但事实并非如此。这些综合型会议涵盖着每个子领域中的顶尖技术，其中的论文演示主要是面向研究同一主题的参会者，仅占会议参与者的 3%。然而 AI 研究人员通常不善于对专业之外多做介绍，也不屑于此。因此参加这些会议的意义也就变成了「参加这些会议」。

　　此外，这些大型会议还存在接收率的问题。虽然各个计算机科学领域中的顶会投稿量很大，但接收的论文只占 20％甚至更少。他们声称这曾经是因为场地有限，据说当时没有足够的空间进行更多的论文演示了。但在我看来，这不过是一个借口罢了。因为即使在线上虚拟会议的情况下，这些会议的论文接收率仍然较低。我认为这完全是为了会议的「声望」，以将被「顶会」接收视为高质量研究的代表。

　　NeurIPS 近年来的接收率均为 20% 左右。图源：https://github.com/lixin4ever/Conference-Acceptance-Rate

　　在聘用研究人员时，我会需要代理人，否则要真正深刻理解他人的研究是非常困难的，除非从事的工作完全一样。我们需要停止依靠大型会议的接收情况来判断研究质量，因为被接收并不能说明研究质量，并且较低的接收率正在降低这些 学术会议的质量。

　　在这些大型会议中，AI 领域的研究者分别扮演着不同的角色，包括论文作者、审稿人、区域主席等。我们对于审稿过程的随机性都有所了解：审稿人可能没有经验，论文匹配可能很差，最重要的是，审稿过程中存在一种非常糟糕的心态 - 寻找可以拒稿的理由。，而这显然是不公平的。

　　2014 年，有研究表明该过程的决策随机性高达 60％。到目前为止，这种随机性几乎没有任何变化。有时，计算机科学家似乎患有斯德哥尔摩综合症：我们为自己建立的系统很糟糕，但这是我们的系统，我们要捍卫它。

　　我个人认为，审稿人选择接收论文往往是因为内容看起来比较熟悉。如果论文或多或少与审稿人期望的领域相通，则会有更大的机会被接收。这意味着某种形式上的保守主义，甚至会造成接收的论文是比较平庸的。因此，大型会议上的论文简直无聊。通常，在小型会议和研讨会上，我会找到比大型会议中更有趣、更有启发性的论文。我没有任何数据可以支持这一点，但是程序主席经常敦促审稿人接收新颖且「高风险」的论文。这表明他们也意识到最有趣的论文实际上并没有被接收。

　　Julian Togelius

　　另一方面接收率低还会给领域的发展带来不良影响。如果有能力的研究者进行了充分的研究并将其写成了一篇可读的论文，那么他们就应该不用担心论文是否会发表。担心会发表该论文。如果这项研究没有错误，并且对所在领域做出了一些贡献，那么它就应该被发表，不是吗？如果论文都没有发表，怎么让领域内的其他人受益呢？

　　但在目前的情况下，即使是最优秀的研究者提交他们精通的工作，也有可能因为一些审稿人不喜欢或者不认可而被拒稿。这听起来简直匪夷所思。arXiv 预印版在一定程度上能够缓解这个问题，但反过来又被用作接收率低的借口。

　　也许有人认为：「大型会议是结识研究者的场所。」但在我看来，除非你此前就已经认识了所有人，否则很难结识许多新朋友。即使是我这种已经在 AI 领域工作了很多年的人也很难做到这一点。如果你是刚刚接触领域社区的人，较小型的会议似乎能让你拥有更多交流机会。一般来说，有成千上万参与者的会议并不会设立专门的交流社区。

　　那么大型会议存在的意义是什么呢？

　　实际上，大型会议应该让研究者了解自己研究领域以外的事情，吸收其他子领域的想法，并找到具有不同专业知识的潜在合作者。但当前的大型会议并没有很好地实现这一功能，这是因为这些会议中大多数的论文演示都存在上述问题。因此我认为应该存在一些广泛的大型会议，以帮助研究者了解 AI 的发展趋势。但未必需要在这类会议上提交论文。

　　相反，研究者们应该将论文提交给特定子领域的小型会议。在较小的会议上发表论文后，由会议主办方或者参与会议的研究者选出最有代表性和受欢迎的一些论文，让论文作者在大型会议上演示这些论文，并且这些演示必须明确针对该技术子领域之外的研究者。这意味着演示和表述形式将和当前大型学术会议上的论文演示有很大不同，但这会让我乐于参加大型会议。

　　不过，如果存在 500 人左右的小型专业会议，我想我不会错过。

　　引起热议

　　Julian Togelius 这篇文章发布后在 twitter 上引发了一系列的讨论，社区内有多位研究者表达了自己的观点。

　　按照 Togelius 的观点，大型顶会应该被替换为面向特定领域的小型会议。有人表示认同这种观点，但他进一步表示：「更重要的是要思考这些会议创办的初衷。他认为最初这些会议并不是以这些方式设计的，经过一些演变才成为了现在的样子。」解决问题的一个重要方法就是找回会议创办的目的，以改正目前存在的一些问题。

　　另一位网友表示他也赞成举办小型专业会议，因为在小型会议中研究者们能够进行更深层次的交流，而不仅仅是结识一些研究者以及简单的交流。

　　还有网友补充道：「小型会议同样可以是跨领域的。」例如，关于 Semantic Web 的研究会议可能涵盖数据库、开放数据、知识表征等多个领域的技术方法。

　　此外，有网友认为这些会议可以以录制视频的形式进行论文演示，并提前在网络上公开。这可以提高会议的互动性，让更多研究者参与到论文内容的讨论中。