UC伯克利教授马毅投稿ICML，4个评审一致接收却遭AC一票否决

鱼羊 2021-05-25 13:24:09 来源：量子位

鱼羊 丰色 发自 凹非寺
量子位 报道 | 公众号 QbitAI

4位评审一致接收，按理说这篇顶会论文就没跑了。

可就在这两天，UC伯克利的马毅教授却遇上了一件“奇事”：

课题组投稿ICML 2021的论文，在4个评审都给出了接收意见的情况下，被领域主席（AC）一票否决了。

而根据马毅教授微博透露的信息，AC的理由是：

这篇论文尚不能解释目前深度神经网络所有的tricks。

看到这样的理由，马毅教授的心情可能是这样的：

于是，他直接在微博中质疑道：

那已经发表的成千上万的关于深度网络理论的文章是怎么发出来的就很让人困惑了。

甚至表示“有的人可能并不希望把深度学习的原理搞清楚”。

究竟是怎样一项研究，引起了这样的争议？

现在，马毅课题组已经将这项研究整理成一版期刊论文，公开发布在了arXiv上，并释出了代码和数据。

究竟是什么样的研究

论文标题是《ReduNet：A White-box Deep Network from the Principle of Maximizing Rate Reduction》。

论文总共97页，正文部分就达到了45页。

根据摘要，这项工作的目的是提供一个合理的理论框架，旨在从数据压缩和判别性表征原则的角度，来解释现代深度（卷积）网络。

文章还介绍了“白盒”神经网络ReduNet。这是一种通过推导最大编码率衰减（MCR2）目标的梯度而自然构建的深度神经网络，网络的每一层都可以用数学运算来解释，并且网络的参数都是通过前向传播逐层明确构建的，无需用反向传播算法进行学习。

△ReduNet一层的权重和算子

此外，通过给网络添加平移不变性的特征，卷积算子可以只使用数据和MCR2目标函数来推导，这就使得ReduNet网络设计具有原则性和可解释性。

根据清华大学智能产业研究院学术沙龙海报中的信息，马毅团队还表示，这种基于原理的方法还有以下好处：

• 揭示了不变深度网络和傅里叶变换之间的基本联系——也就是在谱域中计算的优势；
• 揭示了前向传播算法（优化）和反向传播算法（变分）分别扮演的数学角色。

简单来说，这项研究是基于信息论，进行了神经网络可解释性方面的研究。

为此，论文从最大编码率衰减的原则，到ReduNet的构建，都给出了详细的理论推导。

这篇论文也是此前马毅课题组NeurIPS 2020论文《Learning Diverse and Discriminative Representations via the Principle of Maximal Coding Rate Reduction》的延伸。

马毅教授本人也对这项工作极有信心，他在微博中表示：

个人认为，这是迄今为止真正最接近揭示深度神经网络理论与实践基本原理的框架。

它隐含的意义甚至远远超出了仅仅解释目前深度学习的范畴。

“已经不是第一次了”

对于AC一票否决的评审结果，马毅课题组提出了rebuttal。但他本人在评论区透露，AC并没有改变看法，因此拒稿的结果不变。

而这样论文被拒的经历，对马毅来说“已经不是第一次发生”。

他表示，其引用量最高的《基于稀疏表示的人脸识别》就曾在类似情况下被拒。这篇文章最后发表在了TPAMI（IEEE Transactions on Pattern Analysis and Machine Intelligence）上。

看到这种4个接收仍然被拒的情况，也有网友提出疑问：领域主席（AC）有权利直接否掉多达4名reviewer达成的意见吗？

根据ICML的规则，领域主席的职责包括：为论文分配审稿人，确保审稿人按时提交审稿意见，为他们负责的每篇论文写一份终审意见（meta-review），这份意见必须明确提出接受/拒绝的建议并概述理由。

一般而言，如果审稿人的意见比较一致，比如一致接受或一致拒绝，AC很少会做出相反的判断。但此前也不乏审稿人评价不高的投稿论文，被AC重新“捞”出来的例子。

目前，马毅已经向ICML组织者提出：今后应该做open review，如果AC要推翻reviewer们的一致建议，必须敢于公开身份拿出客观证据。

网友热议

对于这么一桩“奇闻”，有做过可解释AI研究的网友认为，这本就是一个巨大无比又各说各话的领域，加上视角差异，不要说解决可解释性，能在一致认知上取得进步都不容易。同时，他认为马毅教授的这项研究足够solid，后续还可以深入拓展。

也有网友认为，AC可能是觉得“第一性原理”提的太大了，所以会给一个没有解决全部问题的拒绝理由。

相关论文本身，同样引发了不少学术圈网友的探讨。不少网友在肯定的同时指出了一些问题。

有人认为这项工作没有揭示神经网络本身函数空间的性质，对神经网络的可解释性研究的还不够全面。

知乎网友@Bio-voyager详细听完了马毅老师的报告后也表示，该论文只给出了一个可解释的观点，这个观点又有很多没有说清楚和不够普适的地方，需要等待马毅老师后续工作跟进，或者其他感兴趣的人follow验证。

还有一位匿名网友认为，论文提出的方法显然合理，但论文中信息论的方法只是给出了一个现象性的描述，没有触及问题的本质。和上面的网友的想法差不多，认为该方法在深度网络领域不够普适，马老师提出的这个准则应该也不是fundamental的。

而马毅教授本人也在后续微博中表示：

真正想搞清楚深度学习的学者，认真读论文，严肃质疑吧。形成自己的观点，不要道听途说，不要拾人牙慧，不要盲从权威——连马老师的话也不要全信。我们的工作也只起了个头，后续还有很多可以发展改进的。

关于马毅

马毅教授是IEEE Fellow，ACM Fellow，SIAM Fellow，现任加州大学伯克利分校教授。

研究方向为计算机视觉、高维数据分析、智能系统。

他1995年本科毕业于清华大学自动化专业；1997 年获UCB电子工程与计算机科学硕士学位；2000年获UCB数学硕士学位和电子工程与计算机科学博士学位。

博士毕业后，马毅先获UIUC教职，后于2009年至2014年间任微软亚洲研究院计算机视觉组主任及首席研究员。2014年，他以全职教授身份加入上海科技大学信息科学与技术学院，成为信息学院在计算机视觉研究方向上的带头人。

2017年，他从上海科技大学离职。

截至目前，他的论文在谷歌学术上已被引数57797次。

论文链接：
https://arxiv.org/abs/2105.10446
https://arxiv.org/abs/2006.08558

参考链接：
[1]https://weibo.com/u/3235040884?profile_ftype=1&is_all=1#_0
[2]https://www.zhihu.com/question/423767542

— 完 —