剑桥大学、Facebook联手研究用AR/VR虚拟键盘进行十指输入
能够轻松集成到基于虚拟输入表面范式的概率解码框架中
（映维网 2021年05月26日）现代虚拟和增强现实头显提供了以自我为中心的手部追踪，这鼓励着社区探索有效的徒手空中文本输入方法。在传统的计算环境中，十指文本键入是一种常见且有效的文本输入策略，而随着手部追踪进一步的改进优化，十指文本键入对虚拟现实头显和增强现实头显变得越来越可行。然而，缺乏固定的物理参照系和按键的无源抗感对所述输入方式造成了影响。
XR交互环境中存在众多噪点，并会加剧将人类行为精确地解析成文本的挑战。一个特别具有挑战性的输入噪点源来自手的生理学。有意识的手指运动可以造成其他手指产生无意识的共活动。这种与物理键盘文本键入的根本区别暴露了一个不寻常的挑战：如何区分手和手指的耦合所产生的手指共运动。
对于物理键盘，按键的电阻可以缓解这个问题。但虚拟键盘则不同，共激活可能会引入不期望的输入事件。在一篇名为《Understanding, Detecting and Mitigating the Effects of Coactivations in Ten-Finger Mid-Air Typing in Virtual Reality》的论文中，Facebook Reality Labs和剑桥大学的研究人员探究了理十指键入的共活动操作。
团队主要研究了区分有意识手指运动和无意识手指运动的特征。为了简洁起见，研究人员将无意识的手指运动称为共活动。提供虚拟键盘的一个简单且高度可扩展的策略是输入表面的虚拟化。所以，被追踪的指尖和虚拟表面之间的交点可以视为输入观测值。但在这种检测策略下，与输入表面相交的共激活产生了假观测。
在输入字段中插入相应字符的无意观察会令用户感到沮丧，并可能产生高错误率。基于与虚拟表面相交的输入检测策略简单有效，但比其他潜在策略更容易受到共激活的影响。例如，一个深层神经网络可能训练成将追踪的手指运动直接解码成字符或单词，并学会忽略手指的共活动。然而，这种方法的可扩展性不如虚拟化的输入界面，并且需要大量目前难以收集，同时不能广泛使用的用户数据。
所以，Facebook Reality Labs和剑桥大学的研究人员提出了一种新的软件模块设计，其能够检测根据打字时的手指动态特征来检测共活动。这种设计策略确保了所提出的技术具有超出特定键盘配置限制的实用性。另外，所述模块能够轻松集成到基于虚拟输入表面范式的概率解码框架中。
为了更好地理解共活动并评估检测策略，研究人员利用了以前收集的数据集，并挖掘相关数据集来理解与共激活相关的因果因素和分布，其发现共激活的最大影响是：键间间隔、键间深度、键间速度和键间速度相关性。这种理解有助于识别区分共活动和预期手指运动的主要特征。
团队随后对数据集进行分区，从检测精度的角度评估三种可选检测策略的性能。
实验表明，最终的模型成功地确定了97个±1%的共激活，仅错误标记2± 1%的共激活。因为4%的字符属于共激活，这相当于2± 误差减少1%。最后，团队演示了如何将共激活检测集成到统计解码框架中，并实现了约10%（相对）和0.9%（绝对）的无自动校正CER减少。
