神仙打架激辩深度学习：LeCun出大招，马库斯放狠话，机器学习先驱隔空“互怼”
鱼羊 十三 发自 凹非寺
量子位 报道 | 公众号 QbitAI
AI学术圈，又吵了起来，图灵奖得主、年近古稀的机器学习奠基者、唱衰AI的代表人物等等，纷纷下场“开怼”。
相关话题在Twitter上转发过千，点赞数万，场面极其激烈。
究其源头，起于一个直击灵魂的问题：什么是深度学习？
什么是深度学习？
你可能会很自然地想起那段再熟悉不过的定义：
深度学习（DL）是一类机器学习算法，使用多个层逐步从原始数据中提取更高层的特征。
——维基百科
有点懵逼？
现在，有人给出了更明确的说法，出手者不是旁人，正是深度学习三巨头之一，图灵奖得主Yann LeCun。他说：
有些人似乎仍然对什么是深度学习感到困惑。以下是深度学习的定义：深度学习就是构建由参数化功能模块构成的网络，并利用基于梯度的优化方法进行样本训练。
与此定义正交的是学习范式：强化学习、监督学习或自监督学习。不要说“深度学习没法做X” ，如果你真正想的是“监督学习需要太多数据所以没法做X”。
对于其扩展形态(动态网络、可微编程、图神经网络等)，网络结构可以依数据动态变化。
这话之后还没完，他又一口气放出了5个排比句，对当前深度学习领域出现的“术语”进行了解读：
别说“DL对对抗样本很敏感”，你真正的意思是“受监督的卷积神经网络对对抗样本很敏感”。
别说“DL存在偏见”，你真正的意思是“纯监督学习再现了训练数据中的偏见”。
别说“DL无法处理组合性”，你真正的意思是“此特定体系结构不能推广到许多以前不可见的部件组合”。
别说“DL不做逻辑推理”，你真正的意思是“一个简单的前馈神经网络不能做长链的推理”。
别说“DL不做因果推理”，你真正的意思是“一个普通的、有监督的神经网络不会自发地发现因果关系。”
本来是对自己去年初提出的观点——“深度学习不再是流行概念”进行了一次回应。
但谁能想到，推文一出，各路大神纷纷出面发表观点，展开了激烈的讨论。
一场大型“互怼现场”就此拉开序幕。
机器学习奠基人下场激辩
马库斯开杠LeCun
第一批下场的，有DeepMind的高级研究科学家Danilo Jimenez Rezende。
他点赞认同，对Yann LeCun的观点进行了简要总结：
深度学习是用于构建复杂模块化可微函数的工具的集合。讨论深度学习能做或不能做什么毫无意义。真正有意义的是如何训练它，以及如何把数据喂给它。
但知名AI“杠精”——马库斯看到这条推特，当场不干了：
如果不能讨论一种方法可以做什么不能做什么，那它还算是一种方法？
推崇深度学习的人现在为了不被批评，总是在尽量避免提出具体、可验证的主张。这是有一个很危险的信号。
机器学习先驱下场反击：深度学习是方法论
对此，机器学习领域奠基人之一、AAAI前主席Thomas G. Dietterich迅速下场回击：
深度学习本来就不是一种方法，而是方法论。是一种研究路径。
结果，这一辩论分会场又炸出了另一位大佬——机器人教父Rodney Brooks。
他说：啊，所以深度学习是AI还是AGI哇？还是说人能想到的未来科技都基于深度学习？
这一发言似乎又点燃了马库斯新的战斗热情：
Rodney Brooks说得对啊！深度学习社区现在给自己的定位就是所有未来科技都将归功于DL，但他们并没有真正致力于任何事情。
等着吧，我马上就会火力全开。
面对这样的“挑衅”，Dietterich表示图样图森破：DL（以及AI社区）的目标是推动智能系统的科学和工程进步，而不是成为嘴炮王者。
深度学习没有定义“是什么”，而是“如何进行”
在各方互怼之外，Keras创造者François Chollet也另开新帖，对“什么是深度学习”发表了观点。
他认为，截至现在，深度学习的定义对他来说过于“严格”。并且和以下情况是相反的：
⑴ 非表征性学习(如SIFT、symbolic AI等人工特征工程)；
⑵ “浅层学习(shadow learning)”，其中只有一个特征提取层。
此外，它没有规定一个特定的学习机制(如反向传播)或一个特定的用例(如监督学习或强化学习)，也不需要端到端的联合学习。
现在的定义描述的是我们该如何进行深度学习，而不是它是什么。
而现在的深度学习的定义，只是给出了一个比较清晰边界：哪些是深度学习，哪些不是。例如：
DNN是深度学习，而遗传编程、快速排序和支持向量机就不属于深度学习。
单个的密集层(dense layer)不是深度学习，而密集堆栈(dense stack)是深度学习。
K-means不是深度学习，而堆叠K-means特征提取器是深度学习。
通常由人类工程师编写的程序不是DL，参数化这样的程序来自动学习一些常量仍然不是DL。
需要用一连串的特征提取器来进行表征学习。
François Chollet认为，深度学习模型只代表了很小很小的程序空间。
本来Chollet并未加入论战，谁知道还是被拉下了水。
有好事网友Ben Kamphaus在马库斯的推文下，当场@了他，还有另一位深度学习巨头、图灵奖得主Bengio，他说：
Bengio、Chollet以及其他人正在对需要解决的问题进行实质性的处理了。
不知道那些愤怒高呼让DL研究人员去做他们已经做了很多年工作的人，对解决这个问题有什么帮助。
马库斯则坦然解释说：
我很了解Bengio和Chollet，只是希望他们更坦率些。
你曲解我的意思了。
对于马库斯的这一说法，Bengio和Chollet都没有给出直接回应。
吃瓜群众一脸懵逼
场面上，感觉大半个AI学术圈都下场争鸣了。如此盛景，吃瓜群众不免有些懵逼。
有人问：这个问题这么棘手的吗？
当然，还有一脸懵逼的。
那么，你是怎么看的呢？
第一现场传送门
https://bit.ly/2ZqjKkA
- AI版《黑客帝国》：无限生成逼真视频，3A画质，还能实时交互2024-11-21
- 国产4o大模型，秒懂国风李子柒2024-11-20
- 大模型上了火山方舟：数据唯你可见，唯你所用，唯你所有2024-11-14
- Keras之父，离职谷歌2024-11-14
相关阅读
