索尼研发NeuroTouch神经形态触觉传感器实现高精度手势识别
将弹性体转换为丰富而细致的交互式控制器
（映维网Nweon 2025年05月29日）在一项研究中，索尼团队提出了一种基于光学的触觉传感器NeuroTouch。它将高度可变形的圆顶状柔性材料与集成的神经形态摄像头结合在一起，利用基于帧的动态视觉进行手势检测。
所提出方法通过使用基于事件的方法追踪打印在弹性体表面的标记，并通过基于RANSAC的技术来利用它们的轨迹，将弹性体转换为丰富而细致的交互式控制器。
为了对框架进行基准测试，团队创建了一个25分钟的手势数据集。这个实时、轻量级和低延迟的管道在手势分类方面的准确率超过91%，手指定位距离误差为3.41毫米，手势强度误差为0.96毫米，并有望应用于增强现实/虚拟现实等设备。
交互式设备是用户和数字环境之间的桥梁，其应用范围包括增强现实和虚拟现实等。然而，尽管它们扮演着关键角色，但当前的交互式设备往往会给用户带来限制，尤其是手柄和刚性控制器。尽管它们坚固而精确，但可能缺乏自然和直观交互所必需的表现力和人体工程学适应性。
另外，它们的刚性和传统设计往往不能适应手部功能受损的用户，限制了无障碍性。
在一项研究中，索尼团队介绍了一种基于视觉的柔性材料控制器NeuroTouch。这种交互式装置由高度可变形的硅胶制成，并通过多指手势检测实现了直观和符合人体工程学的触觉交互。通过利用神经形态摄像头实时追踪凝胶之上的标记，系统即便在高速环境下都能保持高性能。所提出手势检测管道提供精确的手指位置追踪，准确的手势类型分类和鲁棒的强度估计。
触觉传感器的概述如图1所示。它由通常在光学触觉传感器中发现的三个组件组成：硅胶、LED和摄像头。然而，这个传感器引入了两个显著的特征。第一个显著特征是硅胶的大小和形状。
与机器人中通常使用的凝胶不同，系统的凝胶相对较大（直径60毫米），具有独特的弯曲形状，类似于圆顶。这种设计适应高变形，多指手势，可以促进自然交互。
凝胶的硬度模仿人类皮肤的硬度，提供直观和有机的触觉体验。凝胶表面由硅胶制成，黑色表面嵌入177个白色标记，形成网格状图案，有助于精确的运动追踪。每个标记是一个直径为1毫米的点，有规律地间隔4毫米。图2演示了从摄像头角度观察到的标记的表示。
第二个特点是使用神经形态摄像头系统，系统结合了标准的有源像素传感器（APS）和基于事件的视觉传感器（EVS）。EVS提供的高时间分辨率对于在快速手势过程中追踪标记运动至关重要。标准摄像头通常以25-50赫兹工作，难以捕捉快速的标记位移，导致运动模糊和位置数据的显著空白，这增加了追踪错误的可能性。
尽管高速APS摄像头可以缓解这些问题，但它们的代价是增加功耗，并且由于计算限制，可能难以实时追踪大量标记。相比之下，EVS技术处理稀疏且接近连续的数据流，即便在高速运动中都能实现高频、可靠和精确的标记追踪。
另外，完全依赖EVS会带来挑战。由于传感器的差异性，静态场景产生的事件最少，其中大部分与传感器噪点有关。所以，很难区分真正的标记和噪点伪影，导致追踪质量随着时间的推移而恶化。
因此，区分两种静态场景变得越来越困难。通过结合EVS和APS的优势，所提出方法实现了最佳结果，利用EVS的高时间分辨率进行动态追踪，APS用于静态场景分析。对于NeuroTouch，团队使用了分辨率为346 × 260的DAVIS-346摄像头，以25 Hz的频率捕获帧，以微秒的分辨率捕获事件。摄像头的分辨率足以准确地追踪标记，同时保持低功耗和实现快速的图像处理运行时间。
团队提出了一个在这种情况下定义和解释手势的基本框架。具体来说，通过三个关键组件来定义手势：
-
接触点的定位：手指触摸硅胶表面并与之互动时的位置。由于手指覆盖的区域有限，而不是单一的点，所以接触点定义为手指相互作用导致硅胶最大变形的对应位置。
-
手势类型：用户动作的分类。将手势分为五种基本类型：推、捏、缩放、顺时针扭曲和逆时针扭曲。
-
手势强度：测量手指周围凝胶的变形程度，提供手势强度的定量表示。
这项研究强调了基于光学的触觉传感在改变人机交互方面的潜力。通过在可变形的硅胶表面实现精确的手势分类和接触点检测，团队引入了一种新的界面范例，将柔性触觉输入与数字响应性集成在一起。在实验中显示的高精度和低延迟表明它适用于AR/VR等。
未来的研究可能会集中在提高设备对法向力的灵敏度。一种潜在的方法是估计标记的深度，以提供3D轨迹。另外，增加标记分辨率可能改善法向力检测，但这可能需要优化运行时效率并相应地调整管道。
另一个有希望的方向是通过完全依赖基于事件的传感器来解决功耗问题。这可以通过使用闪烁LED生成事件帧来实现，在不影响之中器性能的情况下有效地取代APS帧。
团队指出，所述框架具有高度可扩展性，可适应各种硅胶形状，并与现有的输入设备兼容，以增强功能或作为独立的触觉控制器。
总的来说，这项研究提出了一种使用基于视觉的柔性材料控制器NeuroTouch进行手势检测的新方法。系统利用嵌入标记和神经形态摄像头的弯曲硅胶来实时准确地追踪多指手势。在公开可用的数据集上，NeuroTouch的接触点定位误差为3.41 mm，手势分类准确率为91%，强度估计误差为0.96 mm，证明了其在直观和表达交互范式方面的可行性。未来的研究将探索扩展传感器设计，改进检测管道，并扩展系统在不同环境中的效用。
