OpenAI如何组织员工学习？这里有一份课程与书籍清单

鱼羊 发自 凹非寺

量子位 报道 | 公众号 QbitAI

在人工智能领域，知识的更新速度超乎想象，去年BERT还制霸各大排行榜，转眼XLNet又来了。

对于AI公司的员工来说，若不追逐技术的浪潮，就很有可能在人工智能时代的激烈竞争中越来越力不从心。

及时迭代技术，正与公司的期待不谋而合。AI公司本身当然也不希望看到员工被技术瓶颈卡住。

那么，那些走在人工智能浪尖的大公司，都是怎么组织员工紧跟AI技术风向的呢？

OpenAI主动把星期四设成了学习日，让员工可以自由学习日常工作中学不到的东西。

每周四，不用管手头的项目，想看啥论文就看啥论文，哪怕是复习复习线性代数，那也是极好的。

妈妈再也不用担心我把线代知识全还给了老师。

难怪有网友说：好想加入OpenAI啊。

自由学习的工作日

这个学习日，到底是怎么一回事呢？

OpenAI的说法是，在这一天里，员工们可以自由地学习想学的知识，只要他们觉得这些新技能能帮助自己提升工作水平，并且在日常的工作中并没有机会学到。

拿OpenAI的机器人团队举个例子，在这一天里，他们通常会做这些事情：

• 阅读AI论文
• 重现AI论文
• 学习AI教程
• 开展自己的AI项目
• 学习数学基础：线性代数，统计学等等
• 学习机器学习基础：信息论，贝叶斯推理等等
• 学习工程方面的知识：了解最新的编程语言，框架等等
• 学习管理方面的知识：自我管理，优先排序，知名实验室都怎么运作blabla
• 学习机械工程或开展机械工程研究项目
• 学习任何可以帮助提高工作水平的技能，比如写作

以上也只是建议，深度学习一下《权重不可知的神经网络》当然很好，《黑暗领域：网络战争秘史》这种历史读物也一样没什么问题，甚至，公司还给你报！销！

量子位曾解读《权重不可知的神经网络》：https://mp.weixin.qq.com/s/mQ01MkRCWL0gZVtVWZmbJw

想巩固一下数学知识？买书！请老师！别犹豫，OpenAI投资你！

简直令人感动。

来自机器人团队的妙想

OpenAI周四学习日现在已经普惠到全公司，成为公司文化的重要组成部分。

不过在一开始，是机器人团队做了第一个吃螃蟹的人。

机器人团队的负责人Woj（Wojciech Zaremba）是这样想的：

我意识到我在许多领域面前止步不前，因为日常工作中有太多紧急任务。而这对我的工作是很不利的，比如说，我一直想评估我的团队是否应该更换深度学习框架，但我总是会被各种工作上的事打断。

粗浅的零碎时间阅读对此并没有什么帮助。

最好的解决方案就是每天空出一天来学习。我想如果我需要这样一天来提高我的工作效率，那么我的团队成员们也一样有此需求。

短期生产力是会受到影响，但在一到两年之内，由此产生的增长就会显现。

在实行了学习日计划之后，仅仅过去了一个月，团队中研究员和工程师之间的交流就明显顺畅了起来，每个人都开始正确地使用术语。

半年之内，研究人员会讨论用什么样的设计重组代码库了，而工程师也更多地参与到了研究项目当中。

鹅妹子嘤。

Woj提到，OpenAI一向鼓励自学，但光说鼓励，emmm，并没有什么效果。

你招了一名工程师，你希望TA更懂机器学习，一个月过去了，TA很可能还是对ML不明觉厉。

自从有了学习日之后，情况就不一样了。

在机器人团队中，有成员本来对机器学习一无所知，三个月后，能给CV（计算机视觉）项目贡献代码了。

还有一位工程师大佬，学了RL（强化学习）才半年，做出来的东西快赶上RL博士水平了。

跨领域人才在哪里都受欢迎，OpenAI也不例外。他们决心把学习日活动推广到全公司，在公司内部发展多面手们。

毕竟，不懂数学的软件工程师不是好机器学习科学家嘛。

实现细节

所以学习日等于多放一天假？

非也非也。

这不是休闲日，只是换一种努力工作的方式。

学习日，可是有很多细节的。

Q1：学习日被用来工作怎么办？

首先，要保证体育课不变成作业课，啊呸，要保证学习日不变成普通工作日。

即使领导不着急，团队成员们还是可能想要更快地完成手头的项目。

OpenAI的解决方式是，所有团队都在同一天举办学习日活动。全公司的人都没在工作，你还会选择项目而不是那篇早就想好好拜读一下的大神论文吗？

Q2：学习日变成休闲日怎么办？

又想重复周末葛优躺一整天的操作？快别想了，每个团队成员都要在Geekbot的Slack上分享自己的学习进展。

别人都五杀了你还蹲在家里喝泉水，还怎么跟小伙伴愉快地玩耍？

反正在OpenAI，程序员们都兴奋地push了起来。

真是别人家的公司啊。

One More Thing

最后，来看看OpenAI员工们都学了什么吧。

深度学习论文：

Population Based Augmentation: Efficient Learning of Augmentation Policy Schedules：

https://arxiv.org/abs/1905.05393

Learning Domain Randomization Distributions for Transfer of Locomotion Policies：

https://arxiv.org/abs/1906.00410

Neural Graph Evolution: Towards Efficient Automatic Robot Design Learning to Learn with Probabilistic Task Embeddings：

https://bair.berkeley.edu/blog/2019/06/10/pearl/

Mid-Level Visual Representations Improve Generalization and Sample Efficiency for Learning Visuomotor Policies：

http://perceptual.actor/assets/main_paper.pdf

Efficient Off-Policy Meta-Reinforcement Learning via Probabilistic Context Variables：

https://arxiv.org/abs/1903.08254

Does computer vision matter for action?

https://arxiv.org/pdf/1905.12887.pdf

WAIC, but Why? Generative Ensembles for Robust Anomaly Detection：

https://arxiv.org/abs/1810.01392

Weight Agnostic Neural Networks：

https://arxiv.org/abs/1906.04358

Challenging Common Assumptions in the Unsupervised Learning of Disentangled Representations：

https://arxiv.org/abs/1811.12359

Deep unsupervised learning：

https://arxiv.org/abs/1811.12359

Deep RL Bootcamp：

https://sites.google.com/view/deep-rl-bootcamp/lectures

深度学习代码：

Reptile and MAML

Play with code in JAX

Apply Sparse Transformers to vision tasks

Implement LSTM and transformer from scratch; train them on Penn treebank

Train a neural net to reproduce the behavior of a physical motor

数学：

Time Series Analysis

The Book of Why: The New Science of Cause and Effect

历史：

Dark Territory: The Secret History of Cyber War

The Hacked World Order: How Nations Fight, Trade, Maneuver, and Manipulate in the Digital Age

Technology Transfer to the USSR. 1928-1937 and 1966-1975: The Role of Western Technology in Soviet Economic Development

The Turing Test: Verbal Behavior as the Hallmark of Intelligence

The Information: A History, A Theory, A Flood

Radical Markets: Uprooting Capitalism and Democracy for a Just Society

参考资料：

https://openai.com/blog/learning-day/

— 完 —