Meta分享:深入了解AR/VR腕带式表面肌电传感技术
介绍腕带式表面肌电传感技术的白皮书
(映维网Nweon 2025年01月17日)Meta日前发布了一份关于介绍腕带式表面肌电传感技术的白皮书,并主要介绍了这项技术是什么,描述了它作为人机交互新输入范例的潜力,以及解释了表面肌电信号传感及其设备输入应用与医疗技术和脑机接口的区别。
下面是所述白皮书的具体整理:
1. 执行摘要
手腕表面肌电图(sEMG)技术代表了控制设备的下一个突破性方式。这种非侵入式手腕设备可以感知和解释肌肉激活,并以人机界面的形式作为计算机输入。这将允许人们使用简单、容易和富有表现力的输入来“随时随地”控制设备,无需将注意力转移到触控屏或其他物理输入设备。鉴于基于手腕的表面肌电信号有望改变人们与计算设备的交互方式,理解这项技术的基础非常重要。
本文介绍了表面肌电信号的背景及其作为人机交互新输入范例的包容性潜力,并描述了表面肌电信号传感及其设备输入应用不同于医疗技术和脑机接口的四种关键方式,包括侵入性表面肌电信号技术和大脑植入设备:
-
表面肌电信号输入技术的目标是消费者广泛采用与计算设备的交互。
-
手腕表面肌电图是一种安全且无创的技术,与特定临床肌电图方法和植入式脑机接口相比,它不需要植入或手术。
-
表面肌电信号作用于外周,不能感知来自大脑的神经信号。
表面肌电信号作用于外周,不能感知来自大脑的神经信号。 -
表面肌电只能通过肌肉激活产生的电信号来感知用户的输出,不能将信息反馈给身体。
2. 介绍
诸如AI和AR眼镜等新型计算设备的发展在设备控制方面给产品设计师和消费者带来了全新的挑战。当键盘和鼠标或触控屏等传统的输入设备不方便使用,并且不能在行进中工作时,用户如何无缝地提供输入呢?肌电信号腕带将解决这一挑战,因为它允许人们能够使用各种手势与计算设备进行交互,比如在外面走动时滑动拇指来滚动播放列表歌曲。这是可能的,因为表面肌电信号技术可以可靠地根据从手腕附近皮肤表面的传感器所检测到的肌肉活动来识别手势。这种手腕可穿戴的技术允许人们以最小摩擦在任何地方使用计算设备,因为用户无需操纵触控屏或其他物理输入设备即可提供输入。
当一个人弯曲手指时,大脑中的运动皮层就会向脊髓发送信号,而脊髓再通过脊髓运动神经元向肌肉发送电信号。运动神经元致使肌肉纤维收缩,产生肌肉力量和运动。放置在皮肤表面的传感器可以观察到产生肌肉收缩的电信号,从而允许肌电图设备检测到用户何时在控制手臂的肌肉。这在概念上类似于用键盘检测手指的运动,但它依赖于感知肌肉产生的电信号,而不是检测按键的运动。即便十分微妙,或者当一个表面提供了一个阻止运动的相反力,传感器都能检测到肌肉信号。由于感应不需要运动,所以表面肌电信号作为一种包容性技术具有巨大的潜力,适用于具有广泛身体能力的用户。一个由于受伤或运动障碍而无法正常移动的人可以比使用键盘等传统控制器更容易地控制sEMG设备。重要的是,肌电图只能检测到用户激活肌肉的时候,它不能观察大脑活动或读取“内心想法”。
3. 表面肌电信号作为一种广泛可扩展的输入法
3.1 简单而富有表现力的“开箱即用”手势
利用手腕表面肌电图,人们可以快速学会用熟悉和直观的手势来控制设备,比如手指轻敲、拇指滑动和手腕转动。除了简单的手势,这项技术同时有可能检测更复杂的交互,比如在一个表面之上进行手写和打字。
值得注意的是,sEMG输入可以在不同的用户范围内开箱即用。这是可能的,因为底层算法可以泛化到新用户,只要它们接受了在不同环境中从不同参与者收集的研究数据的训练(使用机器学习),即(i)皮肤和手腕结构的解剖差异;(ii)手腕肌肉如何激活以控制手部运动的生理差异;(iii)不同的人口统计数据(例如年龄,种族,民族,性别等);(iv)在做同一手势的方式方面的变化。这种创建通用(多用户)算法的能力可以立即支持新用户,并且是令所述技术成为与新设备无缝交互的突破的重要一环。
3.2 跨越一系列物理运动的检测
现有的消费者HCI主要使用硬件控制器,如鼠标和键盘或带有计算机视觉算法的摄像头来追踪用户的眼或手。采用表面肌电信号技术的腕带提供了额外的功能,使其能够单独使用,或可以与计算机视觉和其他输入方式结合使用。表面肌电信号腕带功能包括:
-
它不需要手在摄像头传感器的视场。这允许用户在一个舒适的位置范围内执行手势,包括斜倚姿势。
-
它可以检测细微的动作,这可能更符合人体工程学。
-
它可以用来感知不同程度的肌肉力量,比如当两个手指挤压在一起时施加的不同压力,从而提供了一个额外的控制维度。这同时包括用户的手忙于其他事情的时候所执行的手势(例如拿着包,饮料或其他物体),从而开辟了额外的交互机会。
总的来说,所述功能允许用户以舒适、自然和易于访问的方式执行手势。手腕表面肌电信号的固有特性可以为广泛运动能力的人群提供巨大的好处。例如,初步研究表明,基于手腕的肌电图技术可以识别脊髓损伤和手部瘫痪患者的手部或手指预期运动。即便不能像传统输入技术那样进行手部运动,研究参与者依然能够在手腕产生可检测到的电活动。
4. 表面肌电信号原理
4.1 皮肤表面检测到的肌肉电活动
创造一个动作的过程始于大脑中一个名为运动皮层的区域,它负责准备和控制随意的动作。运动皮层的神经元产生电信号(称为动作电位),而电信号沿着脊髓传播,激活脊髓运动神经元,脊髓运动神经元反过来向肌肉发送信号。当肌肉纤维接收到输入信号时,它会致使纤维收缩并在肌肉中产生力量。
手腕表面肌电信号技术可以感知调节身体动作的肌肉激活。手腕表面检测到的电信号并不代表个人的内心想法或认知(这或许可以由其他测量大脑神经信号的技术捕获到)。手腕肌电信号在身体和认知方面都是非侵入性的,是一种“只读”技术,不能向大脑写入信息。
4.2 手腕肌电图是消费者的突破
尽管用于消费设备控制的肌电图是最近的技术进步,但侵入性肌电图技术已经在临床环境中使用了数十年,并支持监测或诊断神经肌肉疾病。手腕肌电图与临床肌电图系统有两个关键的区别:
-
临床肌电图系统通常包括将电极插入病人的肌肉。手腕的肌电信号使用与皮肤接触的生物兼容传感器,对消费者来说全天使用更安全、更舒适。
-
侵入性临床系统是为医疗诊断程序的一部分而设计,并通常涉及电刺激和执行特定肌肉收缩的指令。可插入电极允许从单个肌肉进行隔离记录,并且记录在到达皮肤表面之前由身体组织过滤的高分辨率信息。相反,手腕肌电表面肌电信号的设计是为了实现人机交互的输入。在皮肤表面测量的低分辨率信号混合了来自多个肌肉的信息,不与电刺激或临床程序结合使用。
4.3 表面肌电信号优于脑机接口
一系列的脑机接口公司正在开发可直接与大脑连接的植入式设备。与手腕肌电图不同,植入的脑机接口直接测量大脑活动,并应用算法来解释相关信号(在某些情况下还会刺激活动),以控制假肢装置或为神经系统疾病(如癫痫或帕金森病)提供治疗。
脑机接口可以根据是否使用侵入性植入电极或非侵入性方法进行大致分类。脑电图(EEG)、脑磁图(MEG)、功能性磁共振成像(fMRI)等非侵入性脑机接口方法,或其他通过头骨和皮肤感知大脑活动的方式,无需使用植入电极。非侵入性脑机接口通常具有比植入设备更低分辨率和噪点的信号,但依然提供了访问与内部认知相关的大脑信号的访问。这种非侵入性脑机接口在科学研究和医学中非常常见,但在消费技术中尚未得到广泛应用。
侵入性和非侵入性脑机接口都面临着诸多社会和伦理方面的考虑,包括隐私和数据保护,因为它们可以进入大脑,(在某些情况下)能够向大脑写入信息或调节其活动。基于手腕的表面肌电信号设备减轻了所述担忧,因为这种设备在外周操作,不具有与大脑相同的访问。表面肌电信号腕带设备只能感知驱动用户向外运动行为的信号,而不能感知产生这种行为的内部认知。用户可以随意控制何时以及如何移动手臂来接触设备。另外,故障的腕部肌电图设备不会直接伤害用户,而侵入性脑机接口系统或具有刺激大脑能力的脑机接口而言则不一定是这样。用户可以随时关闭或移除肌电信号腕带设备。
通过腕部肌电信号实现的安全、舒适、非侵入性和意志控制的结合,使其成为广泛可扩展的消费者输入设备的一个有前途选择。所以,基于表面肌电信号的HCI是一种实用且令人兴奋的新范例,可以精确控制下一代计算设备,同时提供更隐私的方法。
5. 结论
手腕肌电信号有可能彻底改变人们与设备的交互方式。它能够解释手势和微妙的肌肉力量——无论用户是坐着、站着还是在移动——这使得它广泛适用于一系列不同的应用程序和输入类型。另外,它能够为广泛的人群提供开箱即用的服务,使其非常适合作为一款通用的消费设备。就像之前的触控屏、鼠标和键盘一样,基于手腕肌电信号的HCI可以重塑我们与物理和数字系统的交互,为人们提供一种安全、无缝和以用户操作为中心的方法来控制他们的数字设备。