DeepMind用新AI超越自己：提速200倍，在所有雅达利游戏上胜过人类
秒杀两年前的Agent57
羿阁 发自 凹非寺
量子位 | 公众号 QbitAI
DeepMind又对雅达利游戏下手了！
这次，他们最新推出的智能体MEME，在效果不变的前提下，比两年前的Agent57提速了200倍！
Agent57，是DeepMind在2020年搞的一个智能体，史上首次在所有57个雅达利游戏中超过了人类基准表现。
但它有一个致命缺陷是效率低：需要近800亿帧的数据训练才能实现。
现在，MEME的出现完美解决了这一问题。
有网友看完表示：这就是真正的样本高效吧。
话不多说，赶紧来一睹为快吧。
新的智能体：MEME
Agent57，作为首个在所有雅达利游戏中超越人类基准表现的智能体，性能上已足够先进。
但问题是，要想达到这一目标，背后需要780亿帧的庞大的经验训练，这在时间和成本上都是一笔大开支。
因此，以Agent57为起点，DeepMind采用了一系列不同的策略，来实现训练效率上的提升。
他们调查了在减少数据制度时遇到的一系列不稳定因素和瓶颈，并提出了有效的解决方案，最后建立一个更加强大和高效的智能体：MEME。
新的MEME智能体主要针对Agent57的4个方面进行改善，分别是：
A.实现与罕见事件相关的学习信号的快速传播；
B.在不同的价值尺度下稳定学习；
C.改进神经网络结构；
D.在快速变化的政策下使更新更加稳健。
为了达到这四个目标，DeepMind采取了以下方法，与上述四点相对应。
A1.用在线网络进行引导；
A2.有公差的目标计算；
B1.损失和优先权归一化；
B2.交叉混合训练；
C1.无归一化的躯干网络；
C2.带有综合损失的共享躯干；
D.通过策略提炼的鲁棒行为。
这些方法旨在提高Agent57的数据效率，但这种效率的提高不能以牺牲终端性能为代价。
因此，为了检验经过上述步骤的智能体MEME的效率和性能，研究团队分别在2亿、10亿、200亿、900亿帧环境进行了训练。
通过下图可以直观的看出，新智能体MEME在3.9亿帧时就超过了人类基准，比Agent57快了两个数量级，并且在将参数量从90B减少到1B的情况下，取得了类似的最终表现。
可以说相比Agent57而言，MEME既提升了效率，又保持了性能。
研究团队
MEME的研究团队来自DeepMind。
其中三位Adrià Puigdomènech Badia、Steven Kapturowski、Charles Blundell也是之前Agent57的论文作者。
值得一提的是，Steven Kapturowski在两篇论文中都是一作。
他毕业于美国科罗拉多大学博尔德分校，曾在苹果、微软、Glassdoor等公司工作过，现在是DeepMind的一名高级研究工程师。
参考链接：
[1]https://arxiv.org/pdf/2209.07550.pdf
[2]https://arxiv.org/pdf/2003.13350.pdf
[3]https://www.linkedin.cn/incareer/in/stevenkapturowski
- 英特尔遭遇「灾难级」财报！裁员、砍业务、董事会主席辞职，甚至给不出2023业绩预期2023-01-28
- 阿里贾扬清：新一轮AI爆发的推动机制是工程化和开源 | MEET20232023-01-30
- 未知物体也能轻松识别分割，效果可迁移 | DeepMind研究2023-01-26
- 基因疗法让小鼠剩余寿命翻倍，人类长生不老还远么？2023-01-26
相关阅读
