读博无门，求职碰壁，孤独当了7个月“民科”后，我的论文中了顶会Spotlight

赖可 2020-01-01 11:58:14 来源：量子位

赖可 发自 凹非寺
量子位 报道 | 公众号 QbitAI

一位丹麦科技大学硕士毕业的机器学习研究生，没有申请到博士学位，也没有找到合适的工作。

他决定给自己8个月的时间，在顶会上发表一篇论文，不然就去做程序猿。

最终他做到了！

他收到了超过100条私信，来问怎样像他一样做个「独立研究者」。

于是他把自己的经历详细写了下来，还给了忠告：这条路太苦了，能不走就别走。

申请碰壁

在distill.pub发表了一篇论文之后，Andreas小哥天真地以为，有了独立发表的论文，加上自己的硕士学位，就可以申请到一个博士学位了，不然也能申请到软件工程师、ML工程师之类的职位。

他以唯一作者的身份在distill.pub上发表了论文《在RNN中的可视化记忆》，展示了两个准确度相似的模型在NLP的显著交互可视性有很大不同。

他一边写信给教授，一边写给各种大厂，像谷歌、微软、Rakuten、ElementAI，英伟达、Hypefactors，英特尔，京东，亚马逊，三星，Shift Technology，Corti都试了，还请认识的人帮忙推荐。最后得到的结果是：

没有一篇顶会发表的文章，很难申请到好的AI博士项目。

而这位小哥在丹麦大学完成硕士学业，学校并不鼓励他们发论文。

当然他也没有收到任何公司的offer，连一个面试电话都没有。

碰了一圈壁之后，小哥明白了：

想做博士，又没有圈内人推荐，你需要提前做等同于博士学位一半的工作。

申请季过去，2019年4月，他决定背水一战：

到2020年1月前，如果没有在NeurIPS或ICLR上发表文章，就去做JavaScrip程序猿。

一边赚钱养自己一边做研究

此前的一年，小哥是一个自由职业者。因此找到活干养自己并不太困难。

之前他就通过朋友接到了一个NearForm项目。要求是：了解Node.js的内部结构，统计背景 ，Web可视化技能。他既满足这些要求，又能获得不错的薪水。

到了2019年，原来的项目又给了他新的活，开发在NodeConf EU 2019上发布的IoT智能手表及胸牌的TensorFlow部分。这让他保持在2019年继续有收入。

生活问题解决了，想发表论文的第一个困难是要确定研究方向。

机缘总是会提前埋下伏笔。

毕业后，他曾经到自己学校AI学生协会的开幕式上找导师谈博士学位的事情，却没有成功。不过，他遇到了后来的贵人：助理研究员Alexander。

和对方的通信中，Alexander告诉他，有几个学生试图复制DeepMind的论文「 NALU」（神经算术逻辑单元），但没有成功。问他是不是可以试一试这个方向，也许可以成为NeurIPS论文。

他想起自己之前的论文也一直在优化别人的研究。这样的工作他也挺感兴趣。

几乎所有出版物都夸大了它们的表现。改善他人的工作是一种可行的研究策略。

孤独前行

人是社会动物，需要来自环境的支持和鼓励。博士写论文很苦逼，但是至少周围还有一群跟你一样苦逼的人。

而一个人做研究写论文，可以想象有多孤独。孤独到走过这条路的小哥建议大家不要再这么做：

没有支持网络，经历作为第一作者写论文的挣扎痛苦，这是我不建议做独立研究员的第一个原因。不要以为你可以连续7个月没有任何鼓励。

那Andreas是如何撑过这7个月的呢？

1、每周一次和Alexander见面，讨论研究。这对他帮助很大，Alexander有很好的批判性思维，会对他的研究提出质疑。这样的督促作用是，让自己不要想偷懒走捷径。

2、同时做一些其它的小项目。不把所有的时间都押注在研究上。编写一个开放源代码的工具，实现一个已知的论文，等等。这样阶段性的小成就，更容易获得其它研究员的鼓励，让自己有一些正反馈。

不要怕拒绝，反复投，反复改

论文初稿完成后，Andreas进行了三波投稿。

第一波，投石问路。他把论文投给了他发表过论文的distill.pub，被拒绝了。

修改了以后，再次投给distill.pub，这次他得到了非常有价值的评审建议。他觉得，如果没有来自distill.pub两位评审的意见，论文最后可能就不能进入ICLR。

至于他的目标是NeurIPS或ICLR，那就一个一个试。

于是第二波，他投了NeurlPS,也被拒绝了。

研究本身是对来自Deepmind的NALU的优化，质疑的意见也大多与此有关：

1、一些评论者认为新研究无法成功复制 NALU的结果。一个反复出现的问题是“为什么原始论文的结果要比你提案中的结果好得多”。

2、一些评论者还提议，做NALU论文声称要做的所有事情。但是论文中提供了明确的证据，表明NALU模型并不能令人满意地完成所有工作。

小哥从被拒绝的经验中总结：

评审员倾向于支持已经发表的结论。他们会严格地对待你提交的内容，但不会对先前发表过的内容这样。尤其是已发表的内容来自DeepMind的时候。

再接再厉，小哥再次把论文进行了修改，增加了更多证据和实例，投了ICLR。

此外，他还做了一件为自己的研究争取好评的事情：

将实验设定和复现结果投给了 NeurlIPS 2019的SEDL workshop。然后他发了一条twitter，标记了NALU的第一作者A. Trask，结果对方回复了：Great work! 有了好的基准，才能继续提升。

在ICLR评审上，小哥的论文得到了4条评审意见，分别是3，6，6，8。

其中一位评审人之前在NeurIPS就读过他的研究，对他研究的接受度也增加了，从NeurIPS的Weak Reject 到ICLR的Weak Accept ，最后变成了Accept。

最终，区域主席给的决定是接受（spotlight）。

评语是：

本文扩展了关于NALU的工作，提供了一对性能优于NALU的单元，审稿人广泛赞成该论文。尽管修订中已解决了要点，一位异议的审核者似乎没有时间重新考虑他们的分数。我很乐意在这里保持乐观，并假设他们会对讨论所带来的变化感到满意，并建议接受。

经验总结

小哥认为，自己的经历有一个重要的背景：

在2017年以后，硕士申请博士的门槛提高了，不再像之前那样随随便便就可以申请到。申请到博士学位甚至比完成博士还要难。

申请博士需要1到2篇在顶会发表的论文，最好还要有著名的合作者。同样，对相关行业从业者的要求也在提高。小哥在硕士毕业没有申请到合适的大厂职位，而在2013～2015年，硕士学位也可以应聘成为google的研究员。

最后，小哥总结出三条经验：

1、与别人合作。找到可以对研究提出建设性意见的人很重要，此外，在大学里找到可以使用大量计算资源人的人也很必要。作为助理研究员的Alexander给小哥的研究提供了计算资源。

2、不要灰心， 也要给自己留备选项。目前投稿的接收率大概是20%，做独立研究，被接受的机会可能更少，但是不要因为一次拒绝就灰心。同时也要进行其它项目，这样即使失败了，也不会感到完全浪费时间。

3、说一千道一万：有别的选择，就不要走这条路。

One more thing

有人问他：要取得spotlight，还需要额外做什么？
小哥回：说实话，我觉得主要是运气。

他还回答了别的问题：

Q：你这些漂亮的图是什么做的？
A：我所有的图都是用 R 库的 ggplot2 绘制的。

Q：你的工作没有什么用，你就是个笑话。
A：谢谢你，你有想过成为一名评审者吗？

Q：你花了多长时间？
A：在这篇论文上，我每周大约花 48 个小时，有时候达到 100 个小时。但要记住一点，我也做了业余项目和自由工作。

Q：你的计算资源来自哪里？
A：Alexander 可以为我们提供计算资源，因为他是一名助理研究员。

Q：我的导师要给我一个读博的机会，我是否应该接受？
A：如果你真的想做研究，也许你应该接受。现在竞争很激烈，我认为你应该接受你所能得到的。

Q：我现在正在实习，但我感觉什么都学不到，因为我的导师不管我。
A：你要对自己负责，不要指望你的导师主动来找你。很高兴你能得到实习机会，我之前没有得到。可以开始着手安排会面，但也要记住，除了导师，你还可以向别人请教。

Q：我是硕士在读，要怎么为发论文做准备？
A：如果你能找到一位对此持开放态度的导师，那就尝试发表。同时，注意在学习期间找实习工作。大多数实习工作只对学生开放。我曾经得到过实习机会但却去不了，因为我已经毕业了。

Q：我要如何提升自己的编程技巧？
A：我多年来一直在坚持写开源代码，在此过程中，得到了一些优秀程序员的指导。

Q：我看到一些人拿到硕士学位就进了谷歌当研究员，他们是怎么做到的？
A：是有这种情况，而且黄金时期是 2013 年到 2015 年。如果当时你拿到了硕士学位并且足够幸运，你就可以走得很远。

机器学习之路对任何人而言都漫长。然而，如果你不着手开始，就似乎不可能。如果你真的想，就花精力来寻找其它方法。

听了Andreas小哥的故事，是不是有所触动呢？

参考资料

https://openreview.net/forum?id=H1gNOeHKPS
https://medium.com/@andreas_madsen/becoming-an-independent-researcher-and-getting-published-in-iclr-with-spotlight-c93ef0b39b8b
https://arxiv.org/abs/1912.11980