NeurIPS 2019投稿规则大变化！必须回答研究可复现问题，倡导提交论文代码
直指AI社区争议
乾明 发自 凹非寺
量子位 报道 | 公众号 QbitAI
NeurIPS 2019马上就要接受投稿了！但规则有了两点重大变化。
一是这一AI顶级学术会议宣布，本届所有投稿论文都要回答关于研究可复现的问题。
与此同时，他们也发出倡议，希望所有能够提交代码的论文都提交代码，但不强制执行。
在不少人看来，这些变化对于AI社区来说是一个大好事。
谷歌研究员hardmaru评论称，虽然不强制执行，但也给了评审依据，来快速拒绝那些不承诺披露代码的论文。
此外，除了这两大变化之外，还有其他三项变化，分别涉及投稿截止日期、论文作者以及附加材料。
直指AI社区争议
研究不可复现，现在已经被人称为飘浮在AI上空的幽灵，导致相关研究的可信度大大降低。
2016年，《Nature》发起的一项相关调查显示，有52%的科学家认为存在重大的可复现性危机。
AAAI Fellow、加拿大计算机科学家Joelle Pineau一直在强调可复现性对AI带来的负面影响。
在2018年的AAAI和NeurIPS会议上，研究的可复现问题讨论和关注度到了近年来的顶点。
NeurIPS 2019决定直面这一问题，任命Joelle Pineau为“复现主席”（Reproducibility Chair）来协调这方面工作。
所有提交论文的作者，都需要回答关于可复现问题的问卷。
问卷中，一共有13个问题，涉及模型、算法、理论声明以及研究结果等方面。
此外，是否提交代码，也是影响研究可复现性的一个重要因素。
关于这一问题，NeurIPS 2019也表达了态度：希望作者提交代码。
并制定了相关的细则来规范这一流程：
- 1、这一规定只适用于贡献和提出一个新算法（或对现有算法提出修改）的研究。
- 2、这一规定只是期望，并不强制执行。
- 3、接受作者重新实现时使用的代码，而不是最初运行的代码。
- 4、接受因为硬件、数据集等等问题而不可执行的代码。
- 5、只适用于已被会议接受的论文，要在10月27日前提交完成。
此外，NeurIPS 2019也指出，虽然这只是一个倡议，但其结果将会作为后续几年政策制定的参考。
同时，他们也在考虑引入更多的激励措施，来鼓励研究者披露代码。
论文提交截止日期有变
5月1日，NeurIPS 2019开始接受投稿，全文提交截止日期到北京时间5月23日中午12点。
与之前不同的是，在全文提交截止时间之前，NeurIPS 2019有设置了一个摘要提交截止日期，比全文提交截止日期早一周：北京时间5月16日中午12点。
只有在这一时间节点之前提交摘要，才被允许在5月23日之前提交完整论文。
不过，摘要和标题提交之后，后续还能修改。如果只是“占坑”提交标题或者摘要，将会被删除。
在论文全文提交截止日期之后，将无法修改论文作者。
此外，提交论文的作者，也需要在会议开始之前，必须提供下面三种材料中的一种：3分钟视频总结、PDF版本的总结PPT、会议PDF海报。（给链接就行）
NeurIPS 2019将在12月8日到14日在加拿大温哥华举行。
官方公告传送门：
https://neurips.cc/Conferences/2019/CallForPapers
关于代码披露倡议细则：
https://docs.google.com/document/d/1SBCfisdLU2A_vb7K7wI8oRBin8ZA4cA1BbasqfQr5m0/edit
研究可复现调查问卷：
https://www.cs.mcgill.ca/~jpineau/ReproducibilityChecklist.pdf
- 滴滴副总裁叶杰平离职，他是出行巨头的AI掌门人，战胜Uber中国的关键科学家2020-09-07
- 董明珠的格力空调卖不动了：上半年营收同比腰斩，24年来首次被美的反超2020-09-01
- 手机配件市场上的“隐形巨头”：80后长沙夫妻创办，IPO首日市值逼近600亿2020-08-31
- 寒武纪半年报：每天亏百万，销售力度提升营收反降11%，上市高峰市值跌去40%2020-08-30
相关阅读
