EMNLP官方：不要因为没超越SOTA就拒人家的稿子
郭一璞 发自 凹非寺
量子位 报道 | 公众号 QbitAI
你的论文可能更容易发顶会了。
EMNLP官方，今天给出了一些审稿建议，反对审稿人一刀切拒绝论文，没超过SOTA、方法太简单、主题太新或太老……都不是拒稿的理由。
官方还专门强调，如果论文不是英文的NLP也不能作为拒稿理由，或许研究中文NLP有了更多发布的机会。
EMNLP拒稿八不准
EMNLP官方给出了8条不能作为拒稿理由的情况：
1.语言风格问题。
审稿人应该把重点放在论文内容上，而不是语言风格上。有时候论文作者的语言表达太差让审稿人没法理解，这种时候可以拒绝，但是要努力理解这篇论文之后才可以拒稿。
2.论文不是英文NLP
EMNLP关心任何语言的NLP，即使不是英文也不应当以此为理由拒稿。
3、没超过SOTA
不能单纯以SOTA论英雄，因为SOTA也会受到外部版本更迭的影响，很多时候SOTA要求的高算力会劝退搞不到海量计算资源的研究者，此外，目前的benchmark也不一定十全十美。
而且，除了SOTA之外，模型大小、训练需要的数据量、预训练时间等都是有效的改进。
4.没有使用特定方法
不能因为一篇论文中没有使用深度学习的方法就拒稿，完成一项好的工作不需要特定的某种方法，相比方法，论文本身的贡献更重要。
5.方法太简单
论文的重点在于贡献和发现，大家写论文也不是为了追求设计一个最复杂的方法。很多时候，方法越简单的论文，被引用的次数越多。如果一个简单的方法做到了比之前复杂方法更好的效果，这种时候一般是一个重要的发现。
6.主题太窄或过时
EMNLP不希望成为一个追热点的社区，希望审稿人思想开放，多想想论文的贡献和影响。
7.主题太新，没法跟别的论文比
如果一篇论文的主题是全新的，没有现成的技术做参考比对，或者该主题已经在其他领域完成了，那不应该以此为理由拒稿。
8.是个资源帖
在NLP、监督学习领域，数据集和模型一样重要。
那要怎么审稿
那么，有这么多条条框框，审稿人究竟要如何审稿呢？
EMNLP官方引述了马里兰大学Philip Resnik教授的观点：
我认为，鼓励评审人员明确地思考贡献的性质，以及需要提出什么问题，这将具有重大价值。首先考虑:
这项研究有没有科学贡献? 如果有的话，作者在努力提高我们对这个世界什么现象的理解？关于这个现象，我们现在知道了什么以前不知道的事？>这项研究有没有工程学贡献？如果有的话，这项研究解决的是现实世界的什么问题？或者如果这项研究针对的不是目前现实世界的问题，它能帮助现实世界中的哪些问题得到解决？
这项研究有没有理论贡献？如果有的话，我们知道了什么以前不知道的事？这项理论进步如何与科学或工程目标联系起来？
计算机语言学可能包括科学、工程或理论的贡献，不仅仅是其中之一。不过我建议，如果一份论文你没有对上述任何方面做出贡献，你就要考虑它是否应当被发在这个会议上。
另外，EMNLP官方还建议，评审论文、写评论的时候需要注意：
1.论文的主张是什么，如何支撑这一主张，检查一下效果的提升是否真的和这一主张有关系。
2.评论写得具体一点，写具体一点可以帮助作者更好的改进。比如你觉得作者忽略了引用某关键论文，那就直接在评论中把这些论文给出来，因为你可能对这些论文如数家珍，作者就不一定了。
3.提出的建议要有建设性，不要光说某方面做的不好，最好给出可以怎么做的建议。
4.组织语言的时候友善一点，即使是批评也保持体面不要说脏话。
议论纷纷
看到EMNLP官方的这一则博客，有些人觉得非常支持：
真棒！这种规则应该在更多领域适用。
希望看到简单有效的解决方案，另外请不要总觉得所有论文都应该是超越SOTA的，毕竟搞研究不是打架非得赢不可，而是解决挑战。
也有人觉得，官方这个语调哪里不对？
不是审稿人审稿、然后领域主席决定接受或拒稿的吗？这写得就好像是审稿人在做出接受/拒稿决定一样。
- MEET2020 | 百度景鲲：AI交互正在吃掉旧产品边界，触达移动互联网盲区用户2019-12-10
- MEET2020 | 王砚峰揭秘搜狗AI技术体系：自然交互在左，知识计算在右，核心是语言2019-12-16
- MEET2020 | 旷视唐文斌：你到底给谁创造了什么样的价值？这是AI产品的灵魂拷问2019-12-17
- MEET2020 | 快手刘霁：AI基础能力决定每个公司AI的迭代和落地效率2019-12-20
相关阅读
