华人斩获最佳Demo论文，Bengio获时间检验奖，最佳论文突破NLP传统测试方法 | ACL 2020
最佳论文突破传统NLP测试方法
萧箫 发自 凹非寺
量子位 报道 | 公众号 QbitAI
NLP领域顶会ACL 2020颁奖刚刚结束，今年的最佳论文奖也尘埃落定。
在昨天的议程中，共颁布了最佳论文奖、最佳Demo论文奖、最佳主题论文奖三大奖项。
从今年投稿数量上来看，中美依旧领跑NLP领域，其中中国的论文数量还要更多一些。
△ 今年论文投稿数量
这次的最佳论文奖被微软一举夺下，从论文内容上来看，的确值得仔细研读。
最佳论文突破NLP传统测试方法
这届ACL的最佳论文是《Beyond Accuracy: Behavioral Testing of NLP Models with CheckList》。（文末附论文链接）
这篇论文提出了一种全新的NLP模型测试方法CheckList。
与之前提出的测试方法相比，它具有两点突出的特性：与任务无关、快速生成大量不同测试案例。
这一测试方法颠覆了之前NLP模型普遍采用的留出法（held-out）测试方法，相较而言，后者通常会高估NLP的性能。
经过测试，使用CheckList进行测试的NLP模型创建了比未使用CheckList的模型2倍的测试数量，发现了比平时测试多出3倍的bug量。
这种测试方法的提出，对于完善各种NLP模型具有很好的效果。
而在今年的会议上，来自微软的论文第一作者Marco Tulio Ribeiro，对CheckList的测试方法和原理进行了清晰简洁的解析。
△ 生动的PPT解析
目前已有最佳论文解析的高清录像，对这篇论文感兴趣的小伙伴，可以一睹为快（文末附视频链接）。
顺带一提，论文的二作是华人女博士吴彤霜，来自华盛顿大学，本科于香港科技大学完成学士学位，专注于交互式机器学习、人机交互和可视化方向的研究。
△ ACL 2020最佳论文奖二作吴彤霜
华人斩获最佳Demo论文奖
除此之外，今年的华人团队还斩获了最佳Demo论文奖，华人一作Manling Li曾于国科大获得硕士学位。
这篇论文的题目是：《GAIA: A Fine-grained Multimedia Knowledge Extraction System》
论文提出了首个全面、开源的多媒体知识提取系统GAIA。（文末附GitHub开源链接）
GAIA通过各种途径来源获取非结构化、异构的多媒体数据流，并对这些输入进行处理，创建了一个结构化的知识库。
它能够对复杂图形进行无缝搜索，且能检索包括文本、图像和视频在内的多媒体数据。
在最近的NIST TAC SM-KBP2019评估中，这个提取系统表现最优。
△ ACL 2020最佳Demo论文奖一作Manling Li
最佳主题论文奖
除此之外，ACL 2020还评选出了今年的最佳主题论文奖，题目是《Climbing towards NLU: On Meaning, Form, and Understanding in the Age of Data》。
这篇论文提出了一种理论，基于ACL 2020的主题“Taking Stock of Where We’ve Been and Where We’re Going”下，认为清晰地理解“形式”与“意义”的差异，有助于引导该领域在自然语言理解层面上进行更科学的发展。
除最佳论文奖等相关奖项外，ACL 2020前天也公布了终身成就奖、时间检验奖和杰出服务奖，机器学习知名学者Yoshua Bengio也在这次的时间检验奖作者名单中。
Bengio获时间检验奖
ACL 2020的时间检验奖共4篇，2篇颁给了发表自1995年的经典论文，另外2篇则是发表自2010年的论文。
第一篇是1995年在CL上发表的文章：
这是计算语篇分析（computational discourse）领域中最重要的论文之一，彰显了「语言学」在「计算语言学」中的力量。
即使目前的语言处理方法已从基于逻辑的方法转向基于统计学的深度学习，但这篇论文中所提到的理论至今仍广受推崇。
第二篇是1995年发表于ACL的论文：
这篇论文展示了数据驱动在NLP领域的力量，是「语言学假说与无监督学习相结合」的具有开辟性的工作。
其在领域内提出的问题至今仍然在被研究：监督学习与无监督学习之间的差异，以及数据标记所需花费的成本。
第三篇论文是2010年发表在CL上的论文：
这篇论文提出了自监督预训练的方法（像BERT、word2vec中的应用），提升了计算语义学、语言学理论和认知模型的关联性。
第四篇论文于2010年发表在ACL上：
作为学术界里程碑式的著作，这篇论文首次将向量表示法应用于NLP方向，其倡导理论如今仍然主导着NLP领域。这篇论文的作者之一，就是Yoshua Bengio。
△ Yoshua Bengio
对终身成就奖和杰出服务奖感兴趣的小伙伴，可以戳下方传送门查看相关报道。
传送门
最佳论文奖：
https://www.aclweb.org/anthology/2020.acl-main.442.pdf
最佳Demo论文奖：
https://www.aclweb.org/anthology/2020.acl-demos.11.pdf
GAIA代码传送门：
https://github.com/GAIA-AIDA
最佳主题论文奖：
https://www.aclweb.org/anthology/2020.acl-main.463.pdf
最佳论文视频解析：
https://slideslive.com/38929272/beyond-accuracy-behavioral-testing-of-nlp-models-with-checklist
ACL 2020终身成就奖、杰出服务奖、时间检验奖相关报道：
https://mp.weixin.qq.com/s/8ju0eVuJOurBphly9sSPLQ
- 首个GPT-4驱动的人形机器人！无需编程+零样本学习，还可根据口头反馈调整行为2023-12-13
- IDC霍锦洁：AI PC将颠覆性变革PC产业2023-12-08
- AI视觉字谜爆火！梦露转180°秒变爱因斯坦，英伟达高级AI科学家：近期最酷的扩散模型2023-12-03
- 苹果大模型最大动作：开源M芯专用ML框架，能跑70亿大模型2023-12-07
相关阅读
