Meta研究称肌电信号可作为普适性AR/VR人机交互输入方案

小编 ovaliu | 分类：论文 | 2025年7月24日

加入映维网会员

验证了肌电信号作为一种直观、无缝的输入方法适用于大多数人

（映维网Nweon 2025年07月24日）从键盘到鼠标，再到触控屏，我们一直在适应与计算机交互的新方式，以便进行交流、创造和完成工作。但是，如果有一种方法是令设备适应我们，由机器学习和人工智能驱动，同时控制方案不那么机器人化，而是更直观，本质上更人性化呢？

由于计算机视觉和自然语言理解，我们已经看到了这一领域的进步，并允许我们使用我们的声音进行交互，而且计算机可以像我们一样看到世界。但是，如果我们可以利用手部的细微动作来控制我们的计算机呢？毕竟，手是我们与周围世界交互的第一种方式之一。

实际上，这正是Meta Reality Labs多年来一直在探索的未来。基于研究结果，团队认为手腕表面肌电图（sEMG）是开启人机交互下一个范式转变的关键。

日前，团队在《自然》发表了一项最新研究，并验证了肌电信号作为一种直观、无缝的输入方法适用于大多数人。

为了建立一个既高性能又易于访问的接口，Meta团队专注于一种基于使用肌电图（EMG）读取肌肉电信号的非侵入性神经运动接口。肌电位是由运动单位动作电位（MUAPs）的总和产生，代表了一个了解中枢神经系统发出的运动命令的窗口。表面肌电信号（sEMG）记录通过放大肌肉中的神经信号提供高信噪比，从而实现实时的单次手势解码。

表面肌电信号的性质使其自然地适用于人机接口应用，因为它不受计算机视觉方法所困扰问题的影响，例如遮挡、光线不足或最小运动手势等等。事实上，肌电图已经在临床环境中广泛应用于诊断和康复，以及假肢控制。

然而，目前的肌电图系统，包括假肢控制系统，在大规模使用和部署方面存在诸多局限性。实验室系统通常有连接外部电源和放大器的电线，并放置在不舒服的位置。商业可用的肌电图神经运动接口在控制方面一直具有挑战性，涉及到无数的技术问题，如跨姿势的鲁棒性差，缺乏标准化数据，电极位移，以及缺乏跨会话和跨用户的泛化。

最近，深度学习技术在解决相关限制方面取得了一定的成功，但普遍缺乏可用的肌电图数据和低样本量限制了它们的有效性。

为了验证表面肌电信号可以提供直观和无缝的计算机输入的假设，Meta开发并部署了强大的、非侵入性的硬件，以用于在手腕记录表面肌电信号。之所以选择手腕，是因为人类主要是用手与世界接触，而手腕提供了广泛覆盖的手、手腕和前臂肌肉的肌电信号，同时提供了社会可接受性。

团队研发的表面肌电信号研究设备（sEMG- RD）是一种干电极，多通道记录平台，能够提取单个假定的MUAP。它舒适，无线，适应不同的解剖结构和环境，可以在数秒钟内穿上或脱下。

为了将表面肌电信号转化为驱动计算机交互的命令，研究人员构建并部署了根据数千名被试的数据进行训练的神经网络。他们同时创建了自动行为提示和参与者选择系统，以在大量不同的人群中扩展神经运动记录。另外，团队展示了sEMG-RD驱动计算机交互的能力，例如一维连续导航（类似于基于手腕姿势的激光笔），手势检测（手指按压和拇指滑动）和手写转录等等。

表面肌电信号解码模型在没有特定训练或校准的人群中表现出色。在离线评估中，sEMG-RD平台在手写和手势检测中的分类准确率超过90%，在手腕角速度解码的误差小于13° s−1。对于在线评估，团队在基于手腕的连续控制中实现了每秒0.66个目标获取，在离散手势实现了每秒0.88个目标获取，在手写方面实现了每分钟20.9个单词（WPM）。

研究人员总结道：“据我们所知，这是由神经运动接口实现的最高水平的跨参与者表现。我们的方法为基于表面肌电信号的人机交互研究开辟了方向，同时解决了当前和未来脑机接口研究的诸多基本技术问题。

这项研究为更广泛的科学界提供了一个创造神经运动接口的蓝图。除了一套重要的设计规则和硬件、实验设计、数据需求和建模的最佳实践之外，团队同时公开发布了相关的数据集，包含来自300多名研究参与者的100多个小时的表面肌电信号记录，涉及三个不同的任务。加上之前开源的用于姿态估计和表面类型的表面肌电信号数据集，Meta希望这有助于加快领域学者和研究人员的未来工作。