Facebook：为什么EMG腕带是AR眼镜最理想的交互方式

上周，Facebook Reality Labs在官方博客中描述了未来基于场景感知AI算法和体感手环的AR交互方式，可以通过推断使用者的意图来控制AR眼镜智能处理点咖啡、办公等日常任务。

而本周，FRL继续公布了关于手腕式人机接口和场景感知/自适应交互界面的最新成果，并预告将于年末公布在柔性机器人以及应用于全天候穿戴设备上的突破，还有在触觉手套上的最新研究。

FRL表示：上周分享了对于基于AI的AR交互界面的10年愿景，而今天将分享一些近期的科研成果，即：体感手腕交互+有限场景感知AI的方案，可动态适应用户习惯和环境。

理想的AR交互方案

实际上，FRL从6年前成立之初就开始构思AR理想的输入方式，它将不受使用者、场景限制，具备界面直观、无干扰、全天候、易使用等特点，并且支持丰富、高带宽的交互，可用于模拟键盘输入或是抓取虚拟图像等等。除此之外，AR输入设备还需要舒适的外观设计，适合全天候佩戴，续航足够长。

对于AR交互界面，FRL的目标是让使用者可以同时与AR和周围环境互动，AR眼镜将不会打扰使用者的日常生活。因此，AR交互方式需要足够自然直观，让远程交流和面对面交流一样容易。正如FRL老大Andrew Bosworth所说：AR眼镜承诺带给人们一种可以穿越到世界任何地方，与远方的亲人朋友共同体验的方式。也就是说，将虚拟和显示结合，从根本上提高日常生活质量。

因此，FRL并不认为手柄是一种适合AR眼镜的交互方式，手柄还是会像手机一样干扰使用者的注意力。而为了让人成为AR体验的中心，让你在3D空间中更自然交流、导航、学习、分享和互动，FRL决定探索情景感知的AI和超低用户阻力输入方案。

FRL表示：未来的人机界面需要具备易使用、可靠、私密等特征，与此同时，这项技术需要突破多项创新才有可能成为与数字界面交互的主要方式。理想中的人机界面将由理解使用者意图和动作，以及周围环境背景的AI算法，以及与硬件自然交流和交互的输入方式。也就是说，AI算法可以深度推算使用者在不同场景中可能需要获得的信息或执行的动作，并为你量身打造一系列指令。此外，通过低阻力输入方式，你可以毫不费力的确认AI推断的指令，比如用手指轻点虚拟的按钮。

就目前来讲，上述技术还需要多年研发，因此今天将展示的版本是根据此前收购的CTRL-labs现有基础上，结合有限空间感知AI算法的方案，目的是为了展现应用概念。

腕带形态的优势

FRL表示：为了满足自然AR交互所需的要求，我们进行了一系列探索，发现最适合的交互形态将是一种穿戴在手腕上的方案。

为什么这么说呢？目前市面上有多种人机交互方式，如：语音、手柄等等，不过这些方案无法保证隐私性、可靠性，使用起来也不方便。相比之下，腕带式方案更具优势，因为人们已经习惯于戴手表，即使日常使用也不奇怪，而且也足够舒适。此外，腕带位于人类最主要的交互工具手的旁边，它可以更准确预测手的位置，实现手势识别等功能。

除了手势识别外，腕带也可以搭载计算模块、电池、天线、传感器等元件，比如搭载EMG传感器或许可以实现丰富的AR交互效果。

注：EMG又叫肌电图，指的是利用传感器将从手腕到手掌的电运动神经信号转化成数字指令，用于快速灵敏的控制电子设备，支持高度个性化，适用于多种场景。据悉，手腕的肌电图信号足够清晰，因此只需要几毫秒即可分析和识别手指动作，结合AI算法后甚至可以预测手指动作，使用起来足够方便。

实际上，EMG腕带的主要功能是识别使用者的手势，与基于光学的手势识别或手势识别手套相比，肌电信号更灵敏，甚至可能在你手指没开始动的时候就能识别到你从大脑发送的意图。甚至，这种交互方式比手机触屏、键鼠还要快速。

体感腕带的特点

接下来将详细讲解一下Facebook EMG腕带方案的一些关键特点：1）支持多种输入方式/功能；2）自适应界面和智能敲击；3）体感反馈。

1）支持多种输入方式/功能

最初，EMG手环智能识别手指敲击、捏的动作，未来还将识别更加丰富的手势，可以让你触摸或移动AR虚拟菜单或物体，或是操控远处的虚拟物体。此外，EMG腕带未来也有可能实现虚拟键盘应用，可识别的敲击灵敏度甚至可能高于键盘。

据悉，CTRL-labs在2019年加入FRL的时候已经在培训键盘手势识别模型上得到重要突破，可减少定制化手势识别的训练时间，训练完成后算法可自动适应使用者的打字速度和习惯。

实际上，自传统的QWERTY键盘出现至今的150多年里，为了优化打字方式，市面上也出现了触屏键盘、分体式键盘等多种形式。接下来，通过EMG腕带，你将不再需要使用实体键盘，只需要让AI算法去学习和适应每个人的打字习惯，让你可以随时随地隔空打字，灵敏度甚至可能比触屏要更快。

2）自适应界面和智能敲击

利用EMG可快速识别手势，那么结合意图预测和用户模型后，腕带便能逐渐适应使用者和不同场景，学习和提升使用效果。也就是说，将敲击等细微的手势与自适应界面结合，来实现智能敲击功能（Intelligent Click）。

举个例子，当你出门去慢跑，自适应系统会根据你以往的行为规律，可能会提示你是否需要播放歌单，这时候你只需要利用手势快速确认或取消建议即可，几乎不耽误时间。除此之外，自适应系统还可以节省你选择和打开app的时间，根据不同的场景为你智能推荐应用，或是在不需要的时候自动隐藏。

随着长时间使用，自适应界面还会根据你的反馈来进行优化，或是记住你所在的地理位置、常用的物品和动作等等，根据你出门穿的鞋来预测你的需求。

FRL表示：目前我们的研究正在探索简单的行为和意图预测，不过这将需要解决一些技术难题，比如：训练高级机器学习算法、打造人机界面、设计UI。

3）体感反馈

除了手指敲击、微手势等低阻力输入方式外，未来FRL还计划让腕带支持体感反馈。FRL科研主任Sean Keller表示：人们通过体感来适应周围的环境，体感反馈让人们更好的使用和控制工具，因此体感对于日常操作足够重要。

比如：外科医生、钢琴家都需要通过触觉等体感反馈来控制手的动作，而且很多人在打字时也觉得有“敲击感”的键盘用起来更舒服。Keller补充：腕带是AR交互的开始，尽管并不一定能模拟每一种体感，但FRL目前正在研发多种类型的体感反馈。

举个例子，利用两个腕带来模拟拉弓的体感，你的左右手腕可感受到不同程度的拉力，模拟弓和弦不同程度的变化，如此一来也能提升弓箭交互的准确性。除此之外，腕带也可以通过振动或脉冲提示收到新邮件，如果是一连串的震动说明是紧急邮件，如果只震动一次则可能是普通邮件，当然你也可以将震动取消。

甚至，你还可以为不同的联系人设置特定的体感震动规律，如此一来甚至无需AR眼镜显示联系人，你就可以通过手势来接电话或挂电话。

FRL科研经理Nicholas Colonnese表示：体感反馈也可以和emoji结合，比如你在收到别人发来的表情包时也会感受到对应的各种体感，为社交带来趣味性。

目前，FRL开发了多款原型体感腕带，代号分别为Bellowband、Tasbi等等。其中Bellowband是配备了8个气动囊的柔性、轻便腕带，其原理是通过控制气囊中的空气来动态调整压力和震动。而Tasbi（震动和挤压手环界面）腕带则采用4个震动触觉马达，以及特殊的挤压体感方案。

利用Bellowband和Tasbi手环，FRL进行了多种虚拟交互实验，涉及主题包括：测试人能否识别不同虚拟按钮的硬度、不同虚拟纹理、移动虚拟物体等等。

总之，FRL研发原型体感腕带是为了寻找更加逼真的体感反馈方案。他们认为，由于感知替代这种生理现象，体感反馈将有越来越接近真实物体的触觉和交互。尤其是在结合视觉、音频和体感刺激后，虚拟体验会更加真实，并且为丰富的虚拟社交体验带来可能。

Keller表示：未来，人们可以通过体感反馈或是腕带来学习语言，基于腕带的丰富体感反馈将可以用于很多场景。

除了用于日常生活场景外，EMG腕带还可以帮助发育不完全的手掌控制虚拟界面。在2019年的时候，CTRL-labs就已经展示用原型腕带重建完整的3D手掌模型，并推断使用者握拳、抓取、摊手等不同的手势意图。

看起来，Facebook似乎正在研发更加智能的手环控制器，那么考虑到此前The Information报道Facebook正在研发智能手表的新闻，或许未来两种技术会得到结合。未来，可能AR/VR头显会与具备体感反馈、手势识别等强大功能的智能手表互动，省去了手柄，使用起来更加方便。

FRL神经运动界面主任Thomas Reardon表示：对于FRL来讲，实现更多功能，提升速度，进行更多实验，更多创作和探索，才是下一代计算平台的核心。