爱丁堡大学研发液态金属柔性手套实现高精度手势识别
在30个手势中实现了99.15%的准确率
（映维网Nweon 2025年07月24日）随着人机交互（HCI）需求的增加，柔性可穿戴手套已成为虚拟现实等领域的前景解决方案。然而，这项技术目前依然存在灵敏度不足、耐久性有限等问题，阻碍了其广泛应用。在一项研究中，英国爱丁堡大学团队介绍了一种基于线形电极和液态金属（EGaIn）的高灵敏度、模块化和柔性电容式传感器，并将其集成到适合人手解剖结构的传感器模块中。
所提出的系统可以独立捕获每个手指关节的弯曲信息，而相邻手指之间的额外测量可以记录手指间距的细微变化。设计可以使用点云实现精确的手势识别和复杂运动的动态手部形态重建。
实验结果表明，基于卷积神经网络（CNN）和多层感知器（MLP）的分类器在30个手势中实现了99.15%的准确率。同时，基于transformer的深度神经网络（DNN）在平均距离（AD）为2.076\pm3.231 mm的情况下，准确地重建了动态手部形状，单个关键点的重建精度比SOTA基准高出9.7%至64.9%。手套在手势识别和手部重建方面具有优异的准确性、鲁棒性和可扩展性，是下一代人机交互系统的理想解决方案。
人类双手在日常任务和专业操作中发挥着关键作用，因为它们的高自由度能够实现卓越的灵活性和精确控制。然而，传统的刚体传感技术在适应性和响应性方面存在固有的局限性，使其难以捕获手部的全部结构。嵌入软传感器的可穿戴手套已经成为测量手和手指物理变形和运动的有效解决方案。
近年来，业界提出了多种提高柔性手套传感能力的策略。一种方法是利用基于视觉的系统，通过摄像头和标记来捕获手部姿势。尽管所述方法受益于先进的计算机视觉算法，可以达到较高的精度，但其有效性受到环境因素和遮挡的限制。
另一种策略利用人手的固有特性，如表面肌电图（sEMG）来推断手势。相关方法通过利用生理信号提供强大的传感，但它们通常需要紧密的皮肤接触，并且模型需要逐个进行训练。所以，用户如何佩戴手套的变化会显著影响传感器的性能和有效性。
一种更直接的方法是使用应变传感器，将机械变形转换为电信号。传感器能够捕获手部运动，不依赖于摄像头的帮助，同时不需要与手完美配合。这类应变传感器根据传感原理进一步分类，包括电阻、电容、光学]和摩擦电传感器。尽管应变传感器比其他传感技术具有优势，但在重建全手运动方面依然存在重大挑战。
电阻式传感器易于集成和校准，但其固有的灵敏度较低。基于摩擦电的传感器可以实现自供电传感，但在长期使用过程中，由于持续的摩擦，它们会受到材料磨损的影响，从而降低性能和寿命。相比之下，电容传感器通常提供高灵敏度、快速响应和良好的重复性，因为它们能够检测微小的结构变化（如电极间距或重叠区域的变化），而变化会改变电容。所以，由于所述优点，电容式传感器已成为可穿戴传感的潜在候选者。
然而，电容式传感器组件材料的选择——包括介电层、电极和封装——会显著影响其性能和耐用性。以往的研究已经探索了用于柔性电容传感器的各种电极材料，包括炭黑复合材料、碳纳米管、金属纳米粒子和导电纺织品。然而，它们无法达到共晶镓(75.5%)-铟（24.5%）（EGaIn）的高导电性和稳定的变形响应。其中，EGaIn的导电性为（3.4×107 S m−1），并拥有优异的机械适应性。
除了传感硬件，重建手的完整3D形状具有挑战性。目前，大多数手部形状重建方法依赖于测量关节角度的传感器。所述传感器通常只放置在手指关节处，捕获局部曲率，但忽略了相邻手指之间复杂的空间相互依赖性。另外，所述方法往往依赖于运动学模型，并包含手部解剖和运动模式的先验信息或假设，这进一步限制了它们的准确性和适应性。有限的传感器布局使它们无法完全代表手部运动的复杂和动态性质。
为了同时检测关节弯曲和测量手指间距，早期的研究不得不在关节和手指间距部署多种类型的传感器或部署更多的传感器模块。相比之下，英国爱丁堡大学团队的方法利用流线型传感器布局和独特的传感策略，不仅可以捕获单个手指弯曲，而且可以直接记录手指之间微妙的空间关系。如图1所示，研究人员展示了一种由硅树脂和液态金属制成的柔性可穿戴手套，可用于高精度手势识别和具有点云的复杂手部运动实时重建。
在手势识别方面，团队使用所提出的柔性传感器模块来收集每个手指的弯曲数据，然后使用基于卷积神经网络（CNN）和多层感知器（MLP）的分类器进行处理。在训练过程中，模型构建手势类别识别模式。在测试过程中，系统高效准确地将输入特征分类到相应的手势类别中，实现了实时手势识别。
CNN-MLP模型参数详见表1。分类结果平均识别准确率达到99.15%，其中男性样本达到99.61%，女性样本达到98.69%，表现出极高的分类一致性和鲁棒性。结果验证了所提出的传感器设计和传感策略的有效性，仅通过14个电容测量就可以捕获手指曲率信息，从而实现对复杂手势的精确识别。
尽管参与者群体之间存在微小差异，但总体分类一致性和稳健性依然非常高，显示出在不同环境中的广泛适用性。表2比较了所提出方法与SOTA方法。系统在传感器数量，多样性和识别精度之间实现了平衡权衡，同时优于最近的研究。
在手重建方面，图7给出了追踪测试结果的几个例子，其中比较了视觉标记的估计坐标（红色）和ground truth值坐标（黑色）。在所有给定的情况下，估计的标记位置与ground truth情况密切一致，表明重建精度高。对于整个测试数据集，模型的AD值为2.076±3.231 mm。实验结果表明，重建的手形在指尖位置、关节曲率和指间距离等关键方面与摄像头捕获的真实三维坐标高度一致。
目前的SOTA仅针对单个指尖的三维坐标进行评估，两种手尺寸的平均误差分别为3.24 mm和4.02 mm。为了更好地评价它们，研究人员计算了15个点的平均误差分别从1.412 mm到2.9250 mm，每个点的重建精度比SOTA提高了9.7%到64.9%。
相关论文：Modular Soft Wearable Glove for Real-Time Gesture Recognition and Dynamic 3D Shape Reconstruction
总的来说，团队开发了一种具有液态金属电容传感器的柔性可穿戴手套，通过线状电极阵列和模块间传感策略，可以精确捕获手指关节弯曲和手指间距。对于手势识别，系统仅使用14个关键测点就达到99.15%的准确率。对于手部形态重建，使用基于transformer的深度神经网络处理28个复合测量，实现了精确的实时手部追踪，AD为2.076±3.231 mm，单个关键点的重建精度比SOTA基准高出9.7%至64.9%。
实验结果验证了系统在静态和动态条件下的鲁棒实时性，使其成为VR等领域的前景解决方案。展望未来，团队将专注于在传感器优化、算法增强和在更复杂环境中的部署。
