NeurIPS 2019最佳论文出炉，今年增设“新方向奖”，微软华人学者获经典论文奖

晓查 2019-12-09 12:16:16 来源：量子位

晓查 发自 凹非寺
量子位 报道 | 公众号 QbitAI

第32届神经信息处理系统大会（NeurIPS 2019）今天在加拿大温哥华正式召开。

据大会官方介绍，今年的参会人数达到了空前的1.3万人。另外大会的投稿数量、接收论文数量也创下了历史新高，总共有1428篇文章被收录。

在NeurIPS 2019召开的第一天，大会评委公布了杰出论文奖和经典论文奖。

大会评委还希望能够避免一些效率低下、过于复杂的论文，推荐一些趋势性的杰出文章，为此增设了杰出新方向论文奖，以表彰那些为未来研究提出新方向的杰出工作。

此外，大会还推荐了另外4篇获得最佳论文提名的文章。

最佳论文

今年分别各有一篇文章获得杰出论文奖和杰出方向论文奖，另外各有两篇获得相应提名。

杰出论文奖

Distribution-Independent PAC Learning of Halfspaces with Massart Noise

论文地址：
https://papers.nips.cc/paper/8722-distribution-independent-pac-learning-of-halfspaces-with-massart-noise

这是来自威斯康星大学麦迪逊分校、马克斯·普朗克研究所的研究。

推荐理由：

本文研究了在训练数据中存在未知、有界标签噪声的情况下，用于二元分类线性阈值函数的学习。

通过推导一种有效的学习算法，这篇论文解决了一个长期存在的根本性问题。本文在机器学习核心长期存在的开放性问题上取得了巨大进展，即在Massart噪声下有效地学习半空间。

举个简单的例子，在1％的Massart噪声下，即使是弱学习析取（误差为49％）也是开放的。本文展示了如何有效地实现等于Massart噪声水平加上epsilon的超额风险。该算法方法复杂，结果难以确定。

杰出新方向论文奖

Uniform convergence may be unable to explain generalization in deep learning

论文地址：
https://papers.nips.cc/paper/9336-uniform-convergence-may-be-unable-to-explain-generalization-in-deep-learning

这篇文章是来自CMU和博世AI中心的研究。

推荐理由：

本文提出了本质上是负面的结果，表明许多现有的（基于规范的）深度学习算法的性能边界无法达到他们要求的结果。

作者进一步说，当其他研究者继续依靠双边一致收敛的机制时，他们将无法达到自己宣称的结果。虽然本文没有解决（也不假装解决）深层神经网络中的泛化问题，但是将该算法“钉死在十字架上”（培根原话“An Instance of the Fingerpost”），指出机器学习领域应该关注另一个不同的地方。

最佳论文提名

除了以上两篇论文外，大会委员会还推荐了4篇获得最佳论文。

杰出论文奖提名

Nonparametric Density Estimation & Convergence Rates for GANs under Besov IPM Losses

论文地址：
https://papers.nips.cc/paper/9109-nonparametric-density-estimation-convergence-rates-for-gans-under-besov-ipm-losses

推荐理由：

本文以严格的理论方法表明，在密度估计方面，就收敛速度而言，GAN的性能优于线性方法。利用先前关于小波收缩的结果，本文为GAN的表示能力提供了新的见解。

具体而言，作者在大型函数类别（Besov空间）中的一大类损失（即所谓的积分概率度量）下，得出了用于非参数密度估计的极小极大收敛速度。

审稿人认为，这篇论文将对从事非参数估计和GAN的研究人员产生重大影响。

Fast and Accurate Least-Mean-Squares Solvers

论文地址：
https://papers.nips.cc/paper/9040-fast-and-accurate-least-mean-squares-solvers

推荐理由：

最小均方求解器是许多机器学习算法的核心，从线性和套索回归到奇异值分解和弹性网络，都要用到这种算法。

本文展示了如何将它们的计算复杂度降低一到两个数量级，而且没有精度损失，并改善了数值稳定性。该方法依赖于Caratheodory定理，建立了一个核心集（d维中d2 +1个点的集合）足以表征凸包中的所有n个点。

这篇论文的新奇之处在于提出的分治算法，该算法可提取具有可承受复杂性的核心集（O(nd + d5 log n），d<<n。

审稿人强调了该方法的重要性，因为相关研究人员可以轻松实现该方法以改进现有算法，并且可以扩展到其他算法，因为该方法的递归划分原理使其易于推广。

杰出新方向论文提名

Putting An End to End-to-End: Gradient-Isolated Learning of Representations

论文地址：
https://papers.nips.cc/paper/8568-putting-an-end-to-end-to-end-gradient-isolated-learning-of-representations

开源代码：
https://github.com/loeweX/Greedy_InfoMax

推荐理由：

本文使用从van Oord等人得到的自监督标准，重新审视了深度网络的分层架构，特别是当前输入表示和输入在空间或时间上接近的共有信息。

正如评审人所指出的那样，这种感知网络中的自组织可能会在算法观点（避开端到端优化，因其巨大的内存占用和计算问题）和认知观点（利用所谓的慢速功能的概念，转向生物学上更合理的学习过程）的十字路口上提供新的思考。

Scene Representation Networks: Continuous 3D-Structure-Aware Neural Scene Representations

论文地址：
https://papers.nips.cc/paper/8396-scene-representation-networks-continuous-3d-structure-aware-neural-scene-representations

推荐理由：

这篇论文提出了CV中两种广泛方法——多视图几何和深层表示的合成。具体来说，本文做出了三点贡献：

1）每个体素的神经渲染器，它能以3D感知的方式实现不受分辨率影响的场景渲染；

2）可微分的光线步进算法，解决了沿着相机投射的光线寻找表面相交的难题；

3）潜在场景表示，使用自动编码器和超网络来回归场景表示网络的参数。

经典论文奖

和往年一样，大会评委会评选出了10年前在NeurIPS上发表的论文，表彰该论文在人工智能领域产生了特别重大而持久的影响。

评审从NeurIPS 2009选取了18篇被引用次数最多的论文，考察了这些论文的持续影响力，即最近是否有论文仍在借鉴参考这些论文中的工作。

最终，评委将今年的经典论文奖颁给了微软研究院高级首席研究院Lin Xiao的论文Dual Averaging Method for Regularized Stochastic Learning and Online Optimization。

论文地址：
https://papers.nips.cc/paper/3882-dual-averaging-method-for-regularized-stochastic-learning-and-online-optimization

这篇文章研究了正则化的随机学习和在线优化问题，提出了一种新的算法——正规化双重平均法。与标准随机梯度法类似，该方法可达到最佳收敛速度，并且每次迭代通常具有较低的复杂度。

今年投稿盛况

今年NeurIPS一共收到6743篇论文投稿，创下历史新高，其中总共有1428篇论文接收入选，入选率21.1%。其中华人一作的论文占到了接受总论文数量的1/3。

今年总共有5大组织入选论文数超过100篇。其中工业界的是Google+DeepMind和微软，学术界则是MIT、斯坦福和CMU。

中国方面排名最靠前的是清华大学，总榜排名13，共有33篇入围；北大位列第二，总榜排名22，共有23篇入选。

今年在加拿大举办的NeurIPS还经历了一场小风波，因为举办地加拿大拒签了很多北美之外的学者参会，导致这些学者他们将无法参加大会。

即使这些人的论文已经被接收，甚至连大会活动的组织者也被拒之门外。

Jeff Dean、Yoshua Bengio等行业大佬出面批评加拿大移民局的行为，认为此举会阻碍学术交流，不过问题并未得到实际解决。

明年的NeurIPS将继续在加拿大温哥华举办，后年将转移到澳大利亚悉尼市举办，不知情况是否会有所改善。

最后附上本届NeurIPS所有被接收的论文：
https://papers.nips.cc/book/advances-in-neural-information-processing-systems-32-2019

参考链接：
https://medium.com/@NeurIPSConf/neurips-2019-paper-awards-807e41d0c1e