ML顶会论文都可复现吗？来挑战一下，还能拿500美元补贴
网友：挑战成功还能自己发论文
月石一 发自 凹非寺
量子位 报道 | 公众号 QbitAI
Paper with Code发起了第5届机器学习再现性挑战（MLRC）。
这一次不仅支持的会议有所增加，挑战者还能获得500美元的资金支持！
接受挑战的论文，来自NeurIPS、ICML、ICLR、ACL、EMNLP、CVPR和ECCV多个会议，挑战者通过DAGsHub进行复现。
举办方发起此次挑战的目的，是为了鼓励发布和共享可靠和可重复的科学成果。
如何参与呢？一起来看。
流程与要求
挑战者需要从所支持会议的论文列表中获取论文，但是显示“已领取”的论文除外，而且每人最多只能复现2篇论文。
此外，挑战者还需加入Discord社区的#ml-reproducibility频道。
接着就到了复现这一步，挑战者用作者发布的现有代码，或设计一个执行程序，来验证论文的观点和结论。
并且要使用DAGsHub存储来托管数据、模型等，确保所有东西都是开源和可重复的。
然后，将发现和消融研究的内容，总结成DAGsHub页面。其中要涵盖这些内容：
这篇论文是否可复现？
是否发现了任何关键性的见解？
描述数据集（如果适用）：来源、数据类型、分布等。
描述数据处理方法（如果适用）。
描述模型：架构、性能等。
此外，挑战者需确保符合ML可重复性检查表的标准，符合要求的参与者将获得每篇论文500美元的支持。
最后，将结果提交到挑战活动，并作为DAGsHub项目，链接到这个项目的问题上，举办方将对DAGsHub项目进行审查。
作者有可能被选中，在DAGsHub社区和主页上进行介绍，也可能被邀请在专门的活动中分享工作。
网友：可发论文？
这项复现论文的活动在Reddit上引起了网友们的关注。
不少网友表示：想参加！
很想参加。如果复制一篇论文，然后结果在相同的超参数条件下不匹配，会发生什么:D？
一位网友回复说：那你就能发论文了……
我喜欢这个，很想参加。有没有可能计入博士学位的学分呢？
有网友表示，如果大学有这样的课程学分，那将是一个好主意，它可能比ML研究生的许多课程更有用。
不过，对于500美元的资金支持，也有人提出了不同观点。
一篇好的论文，不就是应该提供代码和数据，支持一键重新运行吗？这样（复现）很难成为一个项目。
这些提供高质量代码和数据的论文，难道该激励的不是它们吗？而不是那些承担作者责任的第三方。
不过大部分网友认为这项活动很有意义，其中一些人表示，机器学习领域的确有不少“无用论文”。
总是有论文说“相信我们这是有效的”，我们需要更多的论文来说明它们的失败。
根据我的经验，大多数度量学习深度模型都非常无用。
你怎么看？
时间安排
挑战现已开启，在截止时间（2021年7月15日太平洋夏令时间23:59）之前，挑战者可以随时提交报告。
考虑到编写报告和改进结果需要时间，因此在挑战截止日期后两周内，举办方将接受最终提交。
期刊特刊作者通知的截止日期为2021年9月30日。
想报名的小伙伴要抓紧时间啦~
参考链接：
[1]https://dagshub.com/pages/reproducibility-challenge
[2]https://dagshub.com/DAGsHub-Official/reproducibility-challenge/wiki/ML+Reproducibility+Challenge+Spring+2021
[3]https://paperswithcode.com/rc2020
[4]https://www.reddit.com/r/MachineLearning/comments/np6eph/d_supporting_the_ml_reproducibility_challenge/
- 魔改宜家灯泡当主机，玩转《毁灭战士》无压力！网友：远超我家第一台电脑2021-06-17
- 苹果为了不让AirTag被用来跟踪，将推出一个安卓应用2021-06-17
- 中国程序员开发的远程桌面火了！Mac可用，只有9MB，支持自建中继器2021-06-17
- 亚马逊员工流动率150%，每8个月相当于“大换血”，网友：贝佐斯不知足2021-06-16
相关阅读
深挖之后吓一跳，谷歌AI专利何止一个dropout，至少30项今日生效
