NeurIPS审稿引发吐槽大会，落选者把荒唐意见怼了个遍：“我谢谢你们了”

鱼羊 栗子 2019-07-31 13:18:01 来源：量子位

鱼羊 栗子 发自 凹非寺

量子位 报道 | 公众号 QbitAI

七月份的尾巴，机器学习顶会NeurIPS 2019的初步结果已经来了。

一年一度的吐槽盛会也由此开始。

“有评审问我啥是ResNet。”

“有评审问我为啥没引用X论文。我不止引用了，还专门描述了一段和X的关系。”

“我看到了14000605种未来，没有一种能中NeurIPS。”

吐槽之余，许多小伙伴还是开始准备Rebuttal了。

虽然，多数Rebuttal没什么用，但依然有位同学给出了一份高赞模板，把Rebuttal和吐槽活动完美结合，热情问候了各位审稿人。

大家可尽情欣赏，并谨慎借鉴：

引热议的Rebuttal

在Reddit上，初步被拒的@SoFarFromHome表示：

我们感谢每位审稿人细致的评论，有些真的是看过文章才来评价的呢。

之后，就开始了全面扫射，嘲讽了论文的每一位审稿人的几乎每条评论，引发了网友的热议。量子位节选了这个Rebuttal如下：

有位审稿人问我们为啥没有引用X。我们想说的是，已经引用了，还花了一整段来描述我们的研究和它的关系。

有位审稿人举出了个数据集，让我们用它评估模型。我们想说的是，已经用这个数据集评估过了，看实验章节。

……

有位审稿人指出，我们的方法在假设3不成立的时候就不work。是啊，说得对啊。所以我们才把它列成假设了啊。恭喜您的阅读理解啊。

有位审稿人直接把我们的Intro，复制到“这篇论文的3个贡献”一栏里了。我们一定会在后续修改的时候，加上一个“分数10 置信度5”，能复制的那种，让您打分更方便。

……

有位审稿人用了一半篇幅来论证，我们这个子领域就是愚蠢的错误的。我谢谢ta跨越学术界线，来为一个让ta深深痛苦的领域写评论。

就没有一条好评么？不不不，有许多，这位同学继续写道：

审稿人们还给出了这样的评价：

“原创 (Original) ，积极 (Well-Motivated) ，值得研究 (Worthy of Study) 。”

“这篇论文读起来很享受。”

“这是一个有趣的问题，当然值得研究。”

“这篇论文找到了一个重要的问题……并给出了简单的解决方法。”

感谢你们都标了拒稿 (Reject) 。

由于所有打分都在3-5之间，不管是你们还是领域主席 (AC) ，都不会读下这篇回应，也不会考虑重新打分。

我只不过希望今后，你们写的那些原创的、积极的、有趣的、清晰的论文，也能得到同等的待遇。

既然从分数上看，几乎没给Rebuttal留什么空间；

那么，用机枪一般的吐槽，排一排闷在心里的暑气，大概也是个好办法。

当然，一定也有许多小伙伴，需要认真准备Rebuttal，抓住最后的机会。

据说，隔壁ICCV放榜喜大普奔，且Rebuttal好好写了就真的有人能看到。

所以，需要鼓励的人类，可以前往这问题：

如何评价 ICCV 2019 的论文接收结果？有哪些亮点论文？

https://www.zhihu.com/question/336194144/answer/758560475

What is系列

在上一个被疯狂吐槽的顶会IJCAI里，有这样一个审稿意见成为了坊间传说：

What is Softmax？

在NeurIPS 2019的审稿意见中，“What is”家族再次壮大，有知乎网友表示，审稿人是这样问自己的：

What is ResNet？

啊，这可真是个好问题啊，简直令人窒息。

这位网友的遭遇并不罕见，还有人遇到了这样的灵魂一击：

What is Distillation?

在SoftMax被点名的时候，谁能想到它还有这么多兄弟？

不过也有网友指出，这么问不一定是审稿人不知道这些概念，他们很可能是在提醒你引用/解释不到位。毕竟做好工作很重要，但也不能忽视论文写作本身。

这其实也是一个提醒，文章introduction要写好，引用也要规范哟。

顺便问一句，就没有人碰上满意的评审么？

其实也是有的，比如：

NeurIPS到底有多玄学

对于学术界来说，会议审稿和接收程序的逻辑一直备受关注。

毕竟，论文能不能中顶会，对研究人员的职业生涯来说还是非常重要的。

那么NeurIPS的审核过程到底说不说的上是玄学呢？

早在2014年，德州大学奥斯汀分校的助理教授Eric Price就做了个实验，结果发现NIPS的录取模型比想象中更随意。

在这个实验中，Eric和他的胖友Jacob Abernethy讨论出了一个“噪声得分”模型，大概是这样的：

每篇论文通常会有3个review，评分为0-10。所以在模型里，每篇论文都会有一个从某个分布中得出真实得分v（比如N（0，σ_between^2），和从N（0，σ_within^2）中提取的review。

根据NIPS的审稿规则，录用结果就是σ_between^2 / σ_within^2的函数。

如果σ_within^2介于1到4倍的σ_between^2之间，那么结果就是这样：

无独有偶，KDD 2019（知识发现与数据挖掘国际会议）的Research Track中有一篇论文也关注到了审核流程中随机性的问题：https://arxiv.org/abs/1905.11924

论文中不中，有时候可能真的是玄学。评审不专业，评审自己也很绝望啊，要怪只能怪论文匹配算法不够机智吧。

One More Thing

每一次投稿顶会都是一场奇妙的冒险，可能会遇到千奇百怪的review，也可能在观点的碰撞中有所收获。

MXNet创始人李沐大神曾经在文章中写道：

之后想了想，一篇好文章自然需要有足够多的“干货”，或者说信息量， 但一篇能被接受的文章需要满足下面这个公式：

文章的信息量 / 文章的易读性 < 审稿人水平 * 审稿人花的时间

对于机器学习会议，因为投稿量大，所以审稿人很多自然平均水平就会下降。而且很多审稿人就花半个小时到一个小时来读文章，所以公式右边数值通常是很小，而且不是我们能控制。”

之前，NeurIPS 2019投稿平台就被挤爆，投稿数量达到了6809篇，与2018年相比增长40%。五月底截稿，七八月就要给出结果，审稿人也是鸭梨山大啊。

所以，吐槽归吐槽，坚持自己的工作，拿出更多的干货，才是以不变应万变之道吧。

参考资料：

NIPS实验：

http://blog.mrtz.org/2014/12/15/the-nips-experiment.html

李沐《博士这五年》

https://zhuanlan.zhihu.com/p/25099638

Reddit高赞Rebuttal模板：

https://www.reddit.com/r/MachineLearning/comments/cjtmi8/d_what_id_like_to_write_in_my_neurips_rebuttal/

如何评价 NeurIPS 2019 的审稿情况？

https://www.zhihu.com/question/322139752/answer/761895242

— 完 —