Meta为MR虚拟键盘打字输入提出TouchInsight神经网络
可以检测所有十个手指在任何物理表面的触碰输入
（映维网Nweon 2024年10月16日）尽管被动表面为混合现实中的交互提供了诸多好处，但仅通过头戴式摄像头检测触碰输入一直是一个长期的挑战。摄像头的特殊性，手部的自遮挡，以及头部和手指的快速运动都导致了触碰事件的确切位置的不确定性。所以，现有的方法无法实现稳健交互所需的性能。
在一项研究中，Meta和苏黎世联邦理工学院提出了一个可以检测所有十个手指在任何物理表面的触碰输入的实时管道，而且它完全是基于自中心的手部追踪。
所述方法TouchInsight包括一个神经网络来预测触碰事件的时刻，手指进行接触和触碰位置。TouchInsight通过二元高斯分布表示位置，以解释由于传感不准确性而产生的不确定性。研究人员首先进行了离线评估，并发现它定位输入事件的平均误差为6.3 mm，能够准确地检测触碰事件（F1=0.99）和识别使用的手指（F1=0.96）。
在一个双手文本输入的在线评估中，参与者每分钟输入37.0个单词，平均错误率为2.9%。
......（全文 2066 字，剩余 1700 字）
请微信扫码通过小程序阅读完整文章或者登入网站阅读完整文章
映维网会员可直接登入网站阅读
PICO员工可联系映维网免费获取权限
