康奈尔大学演示基于腕带的AR/VR交互解决方案FingerTrak

查看引用/信息源请点击：venturebeat

仅靠手腕轮廓就“足以准确预测整个手部姿态”

（映维网 2020年07月21日）随着虚拟现实和增强现实技术在视觉保真度和头显舒适度方面的稳步提升，研究人员正继续研究比握持式控制器更为自然的输入解决方案。

今天，康奈尔大学的一组研究人员介绍了一种基于腕带的解决方案FingerTrak。所述设备使用热摄像头来追踪手部的三维运动，并从用户手腕轮廓提取出20个手指关节的位置。

FingerTrak由康奈尔大学SciFi Lab和威斯康星大学麦迪逊分校的研究人员研发，其利用一个深层神经网络将三到四个微型热摄像头的输入拼接在一起，从而共同捕捉整个手部的姿态。利用摄像头生成的轮廓，主干网络和回归网络估计指尖和关节的位置。

尽管结果并不完美，但它们可以用于某些形式的VR和AR输入。FingerTrak的其他潜在应用包括人机交互与控制、手语翻译和健康监控，包括发现早期的帕金森氏症和阿尔茨海默氏症等退化性疾病。

有趣的是，研究人员表示仅靠手腕轮廓就“足以准确预测整个手部姿态”。所以，团队能够将整个传感系统放置到手腕，不需要手套、戒指或其他此前介绍的任何技术。下面这个视频演示了FingerTrak将手部运动追踪转化为一只仿生手的运动，并允许计算机确定用户何时在写字，喝咖啡，以及与智能手机交互。

目前尚不清楚系统是否能够快速追踪特定的手势，比如一个人正在写什么。研究人员指出，取决于测试背景，FingerTrak在测试期间的平均角度误差率在6.46到8.06度之间。换句话说，它可能是最好的补充性技术，而不是完全取代更高精度的手指追踪解决方案，至少对某些应用而言是这样。

相关论文：FingerTrak: Continuous 3D Hand Pose Tracking by Deep Learning Hand Silhouettes Captured by Miniature Thermal Cameras on Wrist

手腕型摄像头可以增强VR头显的由内向外追踪摄像头。原型版本的FingerTrak已经非常小，而随着进一步的工程设计，它可以进一步缩小。它主要依靠非常低分辨率（32×24像素）的热敏摄像头，而这种摄像头的尺寸和厚度都比最薄的苹果手表还要薄。