袖口里的“超能力”：Facebook腕带式AR传感器，可隔空打字、操控界面，LeCun点赞

子豪 2021-03-21 13:15:39 来源：量子位

子豪 发自 凹非寺
量子位 报道 | 公众号 QbitAI

只需动动手，就能「掌」控一切？

Facebook最近公布的腕带式的AR传感器，让你在虚拟世界get绯红女巫同款技能。

这一设备由Facebook的AR/VR研究部门——Facebook Reality Labs（FRL）研发，佩戴者可以通过手腕上的电运动神经信号，以手指动作控制AR眼镜。

就连被称为卷积网络之父的图灵奖获得者、Facebook首席AI科学家Yann LeCun也为之点赞。

功能不断升级

那么，它能用来做什么呢？

据官方介绍，无论是走在路上还是坐着，把手放在身前、两侧或是口袋里，都可以通过腕带实现操控。

最初，腕带只能通过拇指与食指的捏、放手势，实现简单的单击操作。而后，又添加了更为丰富的控制功能，比如可以触摸和移动虚拟对象。

除此之外，研究团队还在进一步探索，力图开发在桌子或膝上高速打字的功能，甚至实现比使用键盘更快的打字速度。

与物理键盘相比，虚拟键盘不仅可以随时使用，而且能够随着时间推移，学习和适应每个人不同的打字风格，并产生适应性的变化，实现更快的打字速度。

FRL团队在个性化模型方面取得了重要进展，使适应个人风格的键盘模型的训练时间得以减少。

不仅如此，FRL研究科学主管Hrvoje Benko表示：

“我们相信，可穿戴的腕带设备可以为AR眼镜，提供超低摩擦、随时可用的输入，但它们本身并不是一个完整的解决方案。

就像鼠标是用户界面的一部分一样，需要在意图预测和用户建模方面为他们提供帮助，以实时适应用户以及特定的环境。”

因此，FRL团队近期正致力于，探索适应特定环境的自适应界面，实现“智能点击”。

也就是，无需用户移动视线、浏览菜单，系统通过在不同环境中预测用户意图，主动提供自适应界面，而用户只需轻量级的反馈，就可以进行控制。

FRL研究科学经理Tanya Jonker也补充道：

“系统会学习有用户位置和关键对象的信息，例如跑鞋或活动识别，根据用户过去的行为预测意图。

比如，往常你穿着某一双鞋出门时，通常会启动音乐程序。那么当你再次穿上它出门，系统认为你最有可能想要收听音乐，于是显示屏上会出现‘是否播放音乐？’选项，用户使用简单的手势确认或更改建议即可。”

利用这些微手势，用户无需停止正在做的事，或是为其分心，从而节省了时间。

Facebook官方介绍中也提到，实现这一功能，需要应用机器学习、人机交互、用户界面设计等技术，目前仍存在许多技术挑战。

虽然利用超低摩擦的输入方式，能够实现与自适应界面的交互，但是要想对虚拟物体有所感知，还需要触觉技术。

对此，FRL研究科学总监Sean Keller表示：

“人们从出生时的第一次抓握，直到灵巧地操作物体和在键盘上打字，手和手指会拥有非常丰富的反馈。

我们利用触觉信号来了解世界，触觉使我们能够使用工具和精细控制。从使用手术刀的外科医生到感觉到琴键边缘的钢琴演奏家，这一切都取决于触觉。”

利用腕带，用户无需进行查看，就能够通过触觉作出识别，并进行决策。比如：

虚拟弓箭就利用腕部的触觉，使佩戴者有近似拉弓的感觉，从而知道自己是否做对了动作；

根据用户设置，收到紧急邮件时，手环能发出比收到普通邮件更为强烈的震动；

当有电话呼入时，通过不同的触觉反馈，用户即可得知对方的身份。

甚至，研究人员还补充说：“触觉还能够传达不同的情感，这可能是改善社交沟通的一种新的方式。”

目前，Facebook团队正在构建研究原型，包括拥有8个气动波纹管的Bellowband，以及使用了6个震动触动器和新颖的手腕挤压机制的Tasbi，以进一步探索的触觉反馈的类型。

利用EMG技术实现控制

这些功能，都是依赖EMG（肌电图）技术实现的。

EMG技术，就是使用传感器，将通过手腕传到手部的电运动神经信号，转化为数字指令。用户可以用这些指令来控制设备的功能，这种控制程度是高度个性化的，可以用于多种情况。

据Facebook介绍，通过手腕发出的信号非常清晰，哪怕是一毫米的手指运动，EMG也可以感知，因此可以毫不费力地输入。甚至在未来，连移动手指的意图也可能感知到。

现任神经运动接口主管的Thomas Reardon表示：

“我们要做的神经界面，就是让用户利用周围神经系统的输出，特别是脑外神经，激活手和手指肌肉的动作，来直接控制机器。”

为什么要选择手腕？

FRL团队对此作了解释：

手是人们接触世界的重要身体部分，戴在手腕上能够利用手部丰富的控制功能，实现更好的交互功能。

与语音控制相比，穿戴设备更便于在公共场合使用；

类似手表的设计使其能够用于日常生活和社交环境；

并且，手腕位置也适合舒适地佩戴一整天；

而设计成一款单独的设备，能够实现更便捷的应用，无需通过手机或是其他设备控制；

置于手腕的可穿戴设备还可以轻松地作为计算、电池和天线的平台，同时支持多种传感器。

网友关注

这项获得LeCun点赞的技术，自然也引起了网友的广泛关注。

不少网友为此感到惊喜：

“这是实际的延迟效果吗？看起来很棒。”

还有一些网友，对这项技术的应用提出了设想：

“这可以让失去手的人，仍然能依靠神经来模拟手势，不是吗?”

“毫无疑问，这可以用于连接假肢，并且推进恢复和学习过程。”

不过，有人提出了质疑：

“什么？这不是很多年以前的MYO手环吗？”

事实上，这款基于EMG技术的腕带的雏形MYO，最初由AR眼镜公司North的前身Thalmic Labs开发，而后其专利被初创公司CTRL-labs收购。

2019年，Facebook斥资数亿美元收购了CTRL-labs，原研究团队也随之加入FRL。

与此同时，也有网友对此感到欣喜：

“早在几年前，当我第一次阅读有关Myo的文章时，我就想知道它对于VR的潜力。很高兴它取得现在的成果。”

这款手环主要用于配合Facebook正在研发的AR眼镜使用，上市时间尚未公布。

参考链接：
[1]https://tech.fb.com/inside-facebook-reality-labs-wrist-based-interaction-for-the-next-computing-platform/
[2]https://twitter.com/schrep/status/1372568994738180098