20项任务横扫BERT！CMU谷歌发布XLNet，NLP再迎屠榜时刻

问耕 2019-06-21 15:27:53 来源：量子位

共同一作本科都毕业于清华。

这世界变化快。

去年10月，Google团队发布BERT模型横扫一切，在11种不同NLP测试中创出最佳成绩。现在，轮到BERT被碾压了。

CMU和Google Brain团队最新发布的XLNet，在20项任务上超过了BERT的表现，包括SQuAD、GLUE、RACE等等。

这个消息一出，业界又轰动了。

目前这个模型的的论文、代码和预训练模型都已经放出。

XLNet的共同一作，是本科都毕业于清华的Zhilin Yang（杨植麟）和Zihang Dai，目前两人都在CMU读博。

为什么XLNet能够横扫BERT？

作者在这篇论文中表示，BERT在训练时需要mask一些输入，忽略了被遮蔽位置之间的依赖关系，因此产生预训练-微调差异。

而这次提出的XLNet，是一种泛化的自回归预训练模型。一方面，XLNet通过通过最大化所有可能因式分解顺序的对数似然，学习双向上下文；另一方面，利用自回归来客服BERT的缺点。此外，XLNet还在预训练中借鉴了最先进自回归模型Transformer-XL的想法。

最终的测试表明，XLNet在20个任务上的表现优于BERT，而且通常是大幅提升；在18个任务上，获得了最高水平的结果，包括机器问答、自然语言推理、情感分析和文档排序等。

一大批用户在推特上表示了震惊。

“我还以为NLP已经被BERT和ULMFiT解决了”，一位用户发了个哭脸评论道。

这篇论文的作者大牛云集，除了开头提到的两位共同一作，还包括CMU教授Yiming Yang、Jaime Carbonell和Ruslan Salakhutdinov，以及来自Google Brain团队的大牛Quoc V. Le。

最后送上传送门。

论文地址在此：

https://arxiv.org/abs/1906.08237

GitHub地址在此：

https://github.com/zihangdai/xlnet