谷歌用AI训练“耳机线”，实现了触摸屏大多数功能
搓揉耳机线，就能切歌调音量
梅宁航 发自 凹非寺
量子位 报道 | 公众号 QbitAI
谷歌在开发可穿戴设备上从未停歇，比如和李维斯合作推出的智能夹克衫Commuter Trucker。
衣服上的袖口加装一块传感器，用户可以通过蓝牙链接与之进行交互。
可以通过双击、滑动等操作进行切歌等操作。
再接再厉，谷歌希望能够把设备做的小一点，功能更丰富一点。
谷歌随后盯上了耳机线。
谷歌AI工程师开发了一款电子交互式编织物（E-Textile），可以让人通过捏、搓、握、拍等手势实现以往触摸屏的大部分功能。
音量控制、切歌换歌等操作更是不在话下，谷歌的新功能指向的是下一步的感知交互，最终目的解放我们的双手。
手势数据集的训练过程
谷歌开发的此款设备是机器学习算法和传感器硬件的结合，而耳机线只是承载物。
实际上线不是普通的耳机线，是柔性电子材料，并且将传感器编织进内，因此可以进行人机交互。
如果你喜欢，连帽衫也可以改造。
首先谷歌招募12名参与者进行数据采集，各做8个手势，重复9次，共计864个实验样本。
为解决样本量过小的弊端，研究者使用线性插值对每个手势时间序列进行再采样。
每个样本提取16个特征，最终得到80个观察结果。
每位用户经过训练的手势识别可启用8个新的离散手势。
不仅有定量的数字，还有参与者的切身感受，研究者希望提供以人为本的交互体验。
参与者还通过排名和评论提供了定性反馈，参与者还提出了多种交互方式，包括滑动、弹指、按压、捏、拉、挤等。
定量分析结果表明，交互式编织品的感知速度比现有的耳机按钮控件要快，并且速度可与触摸屏媲美。
而定性反馈还表明，与耳机线控相比，电子纺织交互更受青睐。
考虑到不同的使用场景，研究者为不同的使用场景开发了不同的设备：
电子纺织USB-C耳机，用于控制手机上的媒体播放；帽衫抽绳，以无形地向衣服添加音乐控制。
算法对手势的精准识别
谷歌能做出电子编织物，难点并不在于机器学习的算法，而在于如何在耳机线上进行手势捕捉和交互。
耳机线等编织物出于体积考虑，无法安装大型和众多的传感器，感知和分辨能力非常受限。
其次是人手姿态的暧昧性和多义性，比如捏和抓到底怎么区分，拍击和上拉怎么分辨？
谷歌工程师用8个电极组成传感器矩阵，对数据集进行划分为8次为训练数据，1次为测试数据，得到9个手势的变换。
他们发现传感矩阵中存在固有关系，非常适合机器学习分类算法，这使得分类算法可以运用有限数据集进行训练，大约只需要30s，便可实现一个手势识别。
最终准确率为93.8%，考虑到他们所使用的数据集规模和训练时间，这个精度足够日常使用了。
耳机操控的下一步
谷歌此次对耳机线的训练，涉及手势姿态识别和微观互动两个内容。
在触摸屏设备上，屏幕下方空间可容纳众多传感器，比如苹果的3D Touch识别模块。
但在诸如耳机线等体外设备上，可能就没有这么轻松了，因为传感器数量和体积要受到限制。
实验过程中，工程师们发现需要对多种手势的多次训练，而且不同个体手势需要多次捕捉动作。
这项研究显示了一种可以在一个紧凑的外形尺寸物体中实现精确的小规模运动可能，我们可以期待智能可交互编织物的发展。
有一天。可穿戴式界面和智能织物的微交互可以任意使用，最终让体外设备如影随形，随时交互，最终解放我们的双手。
你期待这一天吗？
参考链接：
https://ai.googleblog.com/2020/05/enabling-e-textile-microinteractions.html
https://dl.acm.org/doi/fullHtml/10.1145/3313831.3376236
- AI模仿人类看漫画，视频大模型时序定位能力新SOTA2024-11-23
- 知乎整了场“AI上头俱乐部”学术酒吧，李开复看好中国大模型未来2024-11-22
- 大模型玩你画我猜：Claude6局3胜，GPT-4o表现迷惑2024-11-03
- 美图大模型升级视频生成能力，逐步落地美图秀秀/Wink/MOKI等产品2024-09-23
相关阅读
