阿里开源人机对话模型ESIM,达摩院90后科学家研发,曾创世界纪录
乾明 发自 凹非寺
量子位 报道 | 公众号 QbitAI
阿里巴巴,AI开源又有新动作。
这次是人机对话模型ESIM,全称Enhanced Sequential Inference Model,一种增强序列推断模型。
阿里介绍称,自2017年首次提出以来,这一研究已被谷歌、Facebook等在内的研究者在论文中引用200多次,也一度在国际顶级对话系统评测大赛(DSTC7)上获得双料冠军,将人机对话准确率的世界纪录提升至94.1%。
这一模型的主要应用场景为智能客服、导航软件、智能音箱等,现在已经被阿里巴巴应用到语音点餐机、地铁语音售票机、汽车交互系统等应用中。
开源地址:
https://github.com/alibaba/esim-response-selection
ESIM是什么?
ESIM首次提出是在2017年,论文的名称中就给出了直接的介绍:
Enhanced LSTM for Natural Language Inference,应用到自然语言推断的强化版LSTM。
从论文给出的模型架构图来看,ESIM模型由三个部分组成(下图左边部分是ESIM模型,右侧部分表示包含语法分析信息的网络):输入编码(Input Encoding)、局部推断建模(Local Inference Modeling)和推断合成(Inference Composition)。
首先,在输入编码阶段,输入前提(Premise)和假设(Hypothesis)。在这一部分,BiLSTM学习如何表示一个单词及其上下文。
其次,在局部推断建模阶段。使用基于注意力的软对齐,来获得前提和假设之间的局部相关性。
最后,为了确定前提和假设之间的总体推断关系,使用一个组合层来合成增强的局部推断信息。
在序列推断模型中,继续使用BiLSTM序列来合成局部推断信息,然后将结果向量转化为池化的固定长度向量,并将其提供给最终的分类器来确定总体推断关系。
更多细节,请收好论文链接:
https://arxiv.org/abs/1609.06038
模型发布之后,便引发了极大关注,不仅在DSTC 7上拿下冠军,还成为了许多新发布数据集的评测标准之一,比如纽约大学的MultiNLI数据集、华盛顿大学的SWAG数据集等等。
DSTC 7冠军论文:
Sequential Attention-based Network for Noetic End-to-End Response Selection
https://arxiv.org/abs/1901.02609
达摩院90后科学家研发
ESIM模型,最初由达摩院语音实验室的陈谦等人研发。
陈谦,27岁,90后,博士毕业于中科大。2018年加入阿里巴巴,是2018届的阿里星之一。
进入阿里之后,取花名潭清,也是达摩院中最年轻的科学家之一。
在今年的国际顶级语音会议ICASSP 2019上,陈谦再度大放异彩:基于ESIM的研究在公开的标准数据集Ubuntu(英文)和E-commerce(中文)上均取得了最高的成绩。
论文链接:
Sequential Attention-based Network for Noetic End-to-End Response Selection
https://arxiv.org/abs/1901.02609
阿里巴巴这次开源项目,便是围绕着这一论文进行的。
最后,再放一下开源链接:
https://github.com/alibaba/esim-response-selection
— 完 —
诚挚招聘
量子位正在招募编辑/记者,工作地点在北京中关村。期待有才气、有热情的同学加入我们!相关细节,请在量子位公众号(QbitAI)对话界面,回复“招聘”两个字。
量子位 QbitAI · 头条号签约作者
վ’ᴗ’ ի 追踪AI技术和产品新动态
- 马斯克把超声波雷达也扔掉了!特斯拉再度减配:8摄像头终极传感器方案面世2022-10-05
- iPhone在6人死亡车祸中自动求救,网友:功能很好,但千万别用上2022-10-04
- 渐进派破壁:西有特斯拉,东有毫末智行!用数据智能推动自动驾驶历史进城2022-09-21
- 独家 | 吉利控股集团拟收购图森控股亚太地区业务全部股份,价格暂未公布2022-08-19