就算是戴上口罩，AI也知道你在说什么丨EMNLP 2020最佳论文
这届EMNLP的AI，连嘲讽都听得出来
萧箫 发自 凹非寺
量子位 报道 | 公众号 QbitAI
吃饭的时候，想要和对面聊聊天，然而周遭嘈杂的声音，让你根本不知道ta在说什么？
又或者，想与听障人士交流，然而对方听不见你的声音？
现在，检测面部肌肉变化的AI来了，只要你动了嘴，哪怕没出声，它也能知道你在说什么。
这是EMNLP 2020的最佳论文，来自UC伯克利的两位作者，用AI和电极做了个“沉默语音”的检测模型，可以检测到你想说、但没说出声的话。
其中的原理究竟是什么，我们来一探究竟。
用电极收集你小声哔哔的证据
“无声语音”的本质，是人在说话时面部、颈部肌肉的变化。
说白了，你在对口型时虽然没有出声，但你的脸和脖子“出卖”了你。
而能够检测“无声语音”的AI，也正是这么被做出来的。
在收集数据时，研究者会先在实验者的脸上等部位贴8个贴片，每个贴片都是一个“监视肌肉变化”的传感器，像这样：
在这之后，需要录制一段实验者的有声语音，并与肌电图进行对应，如下图（会录制两种语音数据，一种每句话4个词左右，另一种每句话16个词左右）：
这种方法能够将肌肉的变化情况、和语音的类型对应起来。
在记录数据的过程中，还要再录制一段“对口型”的肌电图，但不需要发声，也就是“沉默语音”。
之所以要收集两份肌电图，是因为人在无声说话时，肌肉的变化与发声说话时的变化有些区别，例如部分发音部位的肌肉震颤幅度会变小，语速也有所变化。
但如果要在无声环境下，根据肌肉变化识别出想说的语音，就只能用对口型时的无声肌电图。
显然，这些原因使得AI的训练变得非常困难。
为了尽可能将识别准确率放大，研究人员额外采用了一种结构来降低模型损失。
不到20小时的语音集，效果还不错
那么，经由这种方法训练出来的模型，效果怎么样？
研究人员分别在封闭词集 （Closed Vocabulary Condition）和开放词集 （Open Vocabulary Condition）上，对这种模型进行了测试。
其中，封闭词集主要指介词、限定词、连词等词汇（如of、and），这种词汇集合少，容易训练，AI也容易形成“肌肉记忆”。
而开放词集的范围，就要广泛得多了，包含名词、形容词等等词汇，目前的词语可以说是不计其数，想要让AI会认这些词汇，难度就要高得多。
判定的方式，是WER，具体的计算方式是这样的（原理类似于计算原句的出错率）：
目前，这个AI在封闭词集上的训练水平已经达到了3.6%的WER（越小越好）：
至于开放词集的检测，AI经过训练后，WER也从高达88%的水平下降到了68%。
虽然在开放词集上的检测，看起来效果并不完美，但别忘了，这个模型所用的数据集并不大。
封闭检测数据集，一共只有不到1小时的语音数据；开放检测数据集，也只有18.6个小时的语音集。
而且，这些语音集还是无声、有声数据的合集。
不到20个小时的语音数据，训练效果就已经达到了这种水平。
如果能获得更大的数据样本，模型的效果还会进一步提升。
作者介绍
一作David Gaddy，来自UC伯克利的NLP组。平时的研究方向是无监督学习、语法分析和无声演讲。
Daniel Klein，一作的导师，研究方向主要是无监督学习、语法分析、信息提取和机器翻译。
One More Thing
这届EMNLP的各种NLP研究，简直不留活路：
来自北京中科院、北京信息工程学院的研究者，还发明了一种讽刺检测模型。
这种AI模型会通过同时检测文本和图像，进行多模态语义理解，从而检测出一个人在社交媒体上发出的动态，是否有讽刺的意思。
就像这句话：“这可真是场座无虚席的比赛，而且我们居然还抢到了位置。”
表面上，这是句再正常不过的话，然而在配上图片后，画风顿时变得诡异了起来：
又例如这句话：“看起来就好吃极了。”
然而当看到散落在盒子边缘的芝士和馅料时，显然这又是一句充满讽刺意味的语句。
现在，这些语义信息都已经被拿来喂给了AI，并训练出了一个“懂得听讽刺话”的模型。
目前这个模型，已经在推特这样的社交媒体上进行了验证，取得了84.33%的好效果。
看了这个AI模型，你还敢偷偷说老板坏话吗？
论文地址：
https://arxiv.org/abs/2010.02960
参考链接：
https://venturebeat.com/2020/11/24/uc-berkeley-researchers-detect-silent-speech-with-electrodes-and-ai/
https://www.aclweb.org/anthology/2020.findings-emnlp.124/
https://dgaddy.github.io/
https://www2.eecs.berkeley.edu/Faculty/Homepages/klein.html
- 首个GPT-4驱动的人形机器人！无需编程+零样本学习，还可根据口头反馈调整行为2023-12-13
- IDC霍锦洁：AI PC将颠覆性变革PC产业2023-12-08
- AI视觉字谜爆火！梦露转180°秒变爱因斯坦，英伟达高级AI科学家：近期最酷的扩散模型2023-12-03
- 苹果大模型最大动作：开源M芯专用ML框架，能跑70亿大模型2023-12-07
相关阅读
