只花5-10分钟评审，还不提供拒稿理由，IJCAI就“枪毙”42%论文，网友：一脸懵逼

十三 2020-02-23 13:29:30 来源：量子位

十三 发自 凹非寺
量子位 报道 | 公众号 QbitAI

今年的IJCAI，真可谓是秀了一波神操作。

IJCAI 2020 的论文截稿日期为1月20日，最终的投稿数量为5147篇。

而这才刚刚过去一个月，还没有终审，2191篇论文就被“枪毙”了。

不少人收到了来自程序主席Christian Bessiere的邮件。

△图源：知乎

据你所知，IJCAI-PRICAI 2020 今年的审核过程有2个阶段。

第一阶段是summary-reject。每一篇论文都会发送给7到10名高级PC，要求他们花5-10分钟来对论文进行评审，并回答“该论文是否应该进入下一轮评审？”的问题。基于高级PC的投票和评论，负责该论文的领域主席最终决定该文论是否将进入全面审核阶段。

经过summary-reject阶段，在接收的5147篇论文中，有2191篇被拒稿。

通过浏览领域主席的评论，我注意到他们有些评论并不是以论文作者能够阅读的形式写下的，所以我决定不向被拒稿的作者提供领域主席对论文做出的任何评价。

我知道大家在没有任何其他反馈的情况下收到拒稿通知，可能会非常失望。我鼓励你继续寻找能够发表工作的平台。

之前便有流言说，今年的IJCAI为了提高自己在顶会的地位，会有大动作。但万万没想到，在summary-reject阶段的拒稿率就高达42%，确实是一波神操作。

这样的拒稿方式，不服！

不少同学在收到这样一封邮件后，可谓是一脸懵逼，心态炸裂，立即引起了热议。

槽点一：花5-10分钟评审论文

一位网友在收到邮件后，在Reddit发布了一个帖子进行吐槽。

我刚刚收到来自 IJCAI-20的拒绝通知，说他们有3-5个评审员审查了我的论文5-10分钟。

这是一个什么样的审查过程？仅仅阅读5-10分钟，你怎么能确定一篇论文的质量呢？

我实验室的其他论文也因此而被拒绝，这毫无意义。我们在论文上花了5-6个月的时间，而这些“评论员”花了5-10分钟来评判我们的工作。这只能证明，在类似 IJCAI 的会议上，审查过程是多么的轻松。

知乎一位匿名网友表示：

5000篇文论，每篇5分钟，按每位高级PC审稿100篇来算，一个礼拜就能搞定，再不济两个礼拜也绰绰有余了吧！

还有知乎网友在看了Twitter上纽大副教授(一位SPC)的解释后，表示：

SPC只有5-10分钟的时间去决定一篇文章的生死，如果是自己不熟悉的领域，可以说真的是随机选择了。

槽点二：没有给出任何理由就拒稿

邮件中的“所以我决定不向被拒稿的作者提供领域主席对论文做出的任何评价”这句话也成为了吐槽的一个热点。

Twitter网友Yash Satsangi表示：

没有提供理由/反馈就拒绝论文是非常不科学的。雪上加霜的是，IJCAI还被认为是一个“AI推理”会议。

Esther Mondragon表示：

通过“投票”，并不给作者提供拒稿理由，是完全不专业的行为，而且对年轻的研究人员来说肯定是非常令人沮丧的。

知乎网友也表示“心态炸裂”：

我真的心态崩了，别人大半年的工作，他什么理由都没有就直接reject？以这种方式减少审稿人的工作量是不是太草率了啊？

槽点三：只有通讯作者才能收到邮件

除了对邮件内容本身，网友们还发现了一件奇葩的事情，只有通讯作者才能收到邮件。

知乎网友“尘世迷途小书童”表示：

没写通讯作者岂不凉凉，没收到邮件。

知乎匿名用户表示：

同样啊，自己没收到拒信。我导告诉我的，结果什么都没有，一个review意见也没有难受啊。

当然，也有网友翻起了旧账。

我曾经有一篇论文被拒绝过，因为两个评审员认为我拼错了一些东西，但我并没有拼错——他们不熟悉我所引用的内容，认为我是指另一件事情，说是我没有正确地引用那件事情。

不幸的是，除非你在评审委员会中有某种个人影响力，否则你真的无能为力。欢迎来到学术界，在这里，你的牙齿会被打掉，因为其他人都被打掉了。

更有网友调侃道：“这让我想起了Little Britain中的一个场景。”

SPC纷纷出面做解释

面对如此沸沸扬扬的意见，不少SPC站出来做了解释。

首先是纽约大学副教授Julian Togelius，他在Twitter上表示：

我也是今年IJCAI的高级PC，并且参加了summary reject投票的过程。

我发现很难决定哪些论文值得看一看，尤其是如果它们并不完全在我的研究领域。选择变得几乎是随机的。

我的猜测是，大多数PC的高级成员发现summary reject投票和我一样困难，他们中的许多人只是简单地投票拒绝了看起来与他们习惯的太不一样的论文。显然，这对小的子领域和新出现主题的打击是最大的。

Reddit上一位自称是SPC的用户做出了如下解释：

我的理解是，IJCAI的组织者认为，随着提交数量的爆炸性增长，对每一篇论文进行完整的审查是不可行的。他们试图减少论文数量，方法是让SPC查阅大量论文(我的情况是40篇)，并检查严重问题的迹象(缺乏动机、相关性、创新、评估的力度/广度)。

我认为这里有两个问题需要讨论——首先，这样做有意义吗？其次，组织工作会顺利吗？

关于第一个问题，我认为这在原则上是个不错的主意。有些期刊也这样做。问题是如何设置阈值。我个人推荐了大约10%的论文进行summary reject——当我对细节不够熟悉时，我不会推荐summary reject。但是，如果只减少10%，那么两轮的设置可能就没有意义了。

第二个问题：事后看来，也许这本来可以组织得更好。我们(SPC)被要求输入一份wrt summary reject的建议，并可以选择写一封推荐信来为区域主席辩护——但这些通常都是相当不正式的。我想这就是他们决定不发布任何评论者的原因，我同意这是一个非常不愉快的结果。

总的来说，有一件事你应该注意到，在CS/AI的所有领域中，审查程序在这个领域的增长下都在吱吱作响。我认为，会议尝试使用新的策略来管理审查过程是一件好事，也是必要的。有时，它工作得很好，有时则不然。

我认为，作为受影响的作者，您完全可以向大会表达您对缺乏信息/透明度的失望，因为这可能会成为对如何为下一届IJCAI进行评估的内容。

也就是说，请做到专业和礼貌！我理解你的愤怒，但是我百分之百确定组织这次会议的人运用了他们最好的判断力，而且是无偿的社区服务。这通常是一份吃力不讨好的工作，他们最不需要的就是愤怒的指责邮件。

那么，对于今年IJCAI的这波操作，你怎们看？

传送门

Reddit：https://www.reddit.com/r/MachineLearning/comments/f7o4s4/d_ijcai_2020_reviews/

知乎：https://www.reddit.com/r/MachineLearning/comments/f7o4s4/d_ijcai_2020_reviews/