深度学习已成强弩之末？Bengio等大牛NeurlPS2019上支招

赖可 发自 凹非寺
量子位 报道 | 公众号 QbitAI

局面越来越清楚：

靠增加算力、更多数据，并不能解决AI面临的挑战。

NeurlPS 2019上，多位专家讨论到AI的未来，认为深度学习算法的瓶颈已经出现。

有人觉得深度学习方法可以进化，有人则期待新的方法出现。

相通的是，专家都纷纷把目光转向生物，希望能在自然智能身上获得灵感。

深度学习的局限

来自谷歌的Aguera y Arcas说：

我们有点像赶上班车的狗

他表示，深度学习已搞定了AI方面的一些长期挑战，但是，还有许多存在的挑战，目前无法解决。

涉及推理或社会智能的问题，比如，想用AI来衡量潜在雇员，仍然遥不可及。

而且目前所有训练的模型只是通过一个测试，或者赢得一个有评分的比赛。但是人类这样的智能可以做的事情远远超出这种有规则的模式。

深度学习三巨头之一、图灵奖得主Yoshua Bengio在接受Spectrum采访时表示：

现在的深度学习还无法达到一个两岁孩子的智商，完成一项任务需要很多的数据，而且还会犯很多愚蠢的错误。

从公司落地的层面而言，对于技术实现的预测也表现得谨慎起来。

Google对自动驾驶出租车实现的预测，已经改变了原来的乐观态度，变得充满克制。

Facebook的AI副总裁Jerome Pesenti最近表示，他的公司和其他公司不应该期待仅通过开发具有更多计算能力和数据的更大的深度学习系统来继续在AI方面取得进步。

 

对创新的呼吁

面对这一现状，人们提出了自己的建议。

Arcas和Bengio都希望与会者多考虑自然智能的生物学根源。

Arcas展示了一项模拟细菌的试验。这些细菌通过人工进化的方式进行觅食和交流。

而Yoshua Bengio认为深度学习这个方法行得通，他正在往工具箱里增加更多的东西。

他在会议上做了主题为从深度学习系统1到深度学习系统2的演讲，提出软注意力和深度强化学习方式能够促进解决推理、计划、捕获因果关系等问题。

他的新方法受到了自然智能的启发。根据意识的先验性进行相关假设，许多高级依赖关系可以通过稀疏因子图近似地捕获。软注意力机制构成了一个关键因素，它可以一次将计算集中于几个概念（“意识思维”）。

蒙特利尔大学副教授Irina Rish则希望能够出现新想法：

深度学习很棒，但是我们需要一个不同的工具箱。

他回忆起2006年的一次非正式深度学习研讨会，比喻就像“宗教聚会”，组织者拒绝接受边缘的技术想法。

虽然在今年的大会上，深度学习是主流，他希望自己的发言能够支持新的想法出现。

 

元学习

新的出路也被谈及。

Uber研究员Jeff Clune已经表示明年会加入Open AI 。他还是新兴领域元学习metalearning的成员。这一领域希望实现AI自己设计学习算法。

在演讲中，他介绍了POET成对结合开放式开拓者，让AI掌握自我进化来变得更聪明。这一方法的灵感之一是自然进化。他给了一个例子，动画中的一双腿可以自动学习在更复杂的地形上走路。

场景的多样性和复杂度会自动增加

最终可以自己学会下楼梯

不知道你有没有想过，AI的发展将怎样实现下一个突破呢？

参考资料：

https://www.wired.com/story/sobering-message-future-ai-party/

https://spectrum.ieee.org/tech-talk/robotics/artificial-intelligence/yoshua-bengio-revered-architect-of-ai-has-some-ideas-about-what-to-build-next

POET: Endlessly Generating Increasingly Complex and Diverse Learning Environments and their Solutions through the Paired Open-Ended Trailblazer

https://nips.cc/Conferences/2019/Schedule?showEvent=15488