MIT研发超声腕带：实时追踪手部动作，赋能VR自然交互
“我们认为这项研究具有立竿见影的效果，有望在虚拟现实和增强现实中用可穿戴超声腕带取代现有的手部追踪技术。”
（映维网Nweon 2026年04月07日）你知道吗，你滑动手机屏幕时，这一看似平常的动作实际上是得益于手部34块肌肉、27个关节以及超过100条肌腱和韧带的协调配合。的确，我们的双手是身体最灵巧的部位，而模仿其众多细微的手势，一直是机器人和虚拟现实领域长期面临的挑战。
如今，麻省理工学院的工程师设计出了一种能够实时精确追踪佩戴者的手部动作的超声波腕带。设备可在手部移动时生成手腕处肌肉、肌腱和韧带的超声图像，并配有人工智能算法，以便持续地将图像转换为五根手指和手掌对应的位置。
研究人员指出：“我们认为这项研究具有立竿见影的效果，有望在虚拟现实和增强现实中用可穿戴超声腕带取代现有的手部追踪技术。”
团队写道：“人类手部灵巧且多能，能够与物理环境和虚拟环境进行交互。在日常活动中追踪手部动作的能力，可用于空间计算、虚拟现实与增强现实、机器人技术以及假肢等领域的发展。然而，当前基于摄像头、应变传感器和惯性传感器以及肌电传感器的技术，分别存在视角和手部位置受限、约束手部活动与触感、以及只能追踪离散手势等问题。在此，我们报告一种完全集成、无线、可穿戴的超声成像腕带，并结合了人工智能算法。腕带能够在日常活动中实时连续追踪五根手指和手掌的任意手部构型，延迟小于120毫秒。我们展示了腕带可用于虚拟现实和机械手应用中的直观且多功能控制。”
目前捕获和模拟人类手部灵巧性有多种方法。有的方法使用摄像头记录人手在操作物体或执行任务时的动作。其他方法则是佩戴带有传感器的手套。然而，为不同应用搭建复杂的摄像头系统不切实际，且易受视觉障碍影响。布满传感器的手套则可能会限制人手自然的动作和触感。
第三类方法利用手腕或前臂肌肉的电信号，并将其与特定的手部动作相关联。研究人员在这一方法上取得了显著进展，但信号容易受到环境噪声的干扰，灵敏度同时不足以区分动作的细微变化。例如，它们或许能分辨拇指和食指是捏合还是分开，但无法捕获中间过程的连续变化。
麻省理工学院的团队思考，超声成像是否能够捕获更灵巧、更连续的手部动作。他的团队一直在开发各种形式的超声贴片，并配合可安全贴合皮肤的水凝胶材料。
在这项新研究中，团队将超声贴片的设计融入可穿戴腕带中，以连续对手腕处的肌肉和肌腱进行成像。
他们解释道：“手腕中的肌腱和肌肉就像牵动木偶（即你的手指）的绳子。所以思路是：每次你对绳子的状态拍一张照，就能知道手的状态。”
团队设计的腕带包含智能手表大小的超声贴片，并集成了大约手机尺寸的机载电子设备。在实验中，当志愿者做出各种手指动作时，设备能生成清晰、连续的手腕图像。
接下来的挑战在于，如何将手腕的黑白超声图像与手部的具体位置联系起来。事实证明，手指和拇指共有22个自由度，即伸展或弯曲的不同方式。研究人员发现，他们可以在手腕超声图像中识别出与这22个自由度分别对应的特定区域。例如，一个区域的变化与拇指伸展相关，而另一个区域的变化则与食指的动作相关。
为了建立关联，佩戴腕带的志愿者会做出各种手部姿势，同时研究人员用志愿者周围的多个摄像头记录下手势。通过将超声图像特定区域的变化与相机记录的手部位置进行匹配，团队可以将手腕图像区域标记上对应的手部自由度。然而，要连续、实时地完成这种转换，对人类来说是不可能完成的任务。
因此，团队转向了人工智能。他们使用一种可以识别图像模式并将其与特定标签相关联的AI算法。其中，标签就是手部的各种自由度。研究人员用经过细致标注的超声图像训练算法，标注出与特定自由度相关的图像区域，然后在一组新的超声图像上测试算法，并发现它能正确预测出对应的手部姿势。
为了展示潜在应用，团队开发了一个简单的计算机程序，并与腕带无线配对。当佩戴者做出捏合和抓握的动作时，手势对应着物体的放大和缩小，而他们能以流畅连续的方式虚拟移动和操控该物体。
团队计划进一步微型化腕带的硬件，并利用更多来自不同手部尺寸和形状志愿者的手势和动作来训练AI软件。最终，他们希望打造一款任何人都能佩戴的可穿戴手部追踪器，并以高灵巧度无线操纵虚拟物体。
研究人员总结道：“我们相信，这是通过腕部可穿戴成像追踪灵巧手部动作的最先进方法。我们认为这种可穿戴超声腕带能为虚拟现实和机械手提供直观且多功能的控制方式。”
值得一提的是，本研究得到了麻省理工学院、美国国立卫生研究院、美国国家科学基金会、美国国防部等的支持。
