谷歌等研究员展示XR文本输入的主要趋势和挑战

小编刘卫华 | 分类：论文 | 2024年12月26日

加入映维网会员

讨论了XR带来的独特挑战和机遇，并综合了现有解决方案的主要趋势

（映维网Nweon 2024年12月26日）XR技术在生产力方面具有巨大的潜力。所以，有必要改进XR的文本输入解决方案。然而，在XR环境中实现高效的文本输入是一个重大挑战。

在一项论文中，谷歌，伯明翰大学，哥本哈根大学，亚利桑那州立大学，西北大学考察了XR文本输入技术的现状，并重点关注键盘（物理和虚拟）作为基本工具的重要性。他们讨论了XR带来的独特挑战和机遇，并综合了现有解决方案的主要趋势。

键盘是PC和移动设备进行高效文本输入的主要工具。然而，在XR环境中实现相当高效的文本输入是一项重大挑战。现有的解决方案要么效率低下，要么精度有限，要么需要繁琐的物理设置。如果在XR中没有适当的文本输入方法，生产力工具、沉浸式虚拟世界体验和潜在的超级生产力杀手级应用程序的开发就会受到阻碍。

XR环境的独特挑战需要量身定制的方法。技术上的限制，如高分辨率显示器和准确的手指跟踪，可能会阻碍传统的输入法。

从一开始，键盘设计的目标就是通过优化空间布局，以及使用机械键的声音和触觉来帮助用户尽可能快速准确地按下按钮，从而在计算机系统中输入文本。在某种程度上，这是一种遗留的解决方案，因为键盘早于数字世界，可以追溯到机械打字机。

随着现代传感和机器学习功能的发展，文本输入有了显著的发展，键盘可以改变形状和形式以适应用户的需求。

对于消费者而言，有效的文本输入仍然是XR中的一个公开挑战。目前，使用10根手指的普通打字员在PC端的打字速度可以达到40-60个字/分钟，最高可达80个字/分钟（WPM）。事实上，当涉及到WPM以外的定量指标时，有数个关键指标和考虑因素会起作用，比如N-Key Rollover（同时按键的独立识别）、吞吐量、可纠正的输入错误（语言模型纠正的单词错误的百分比，以及用于纠正准确性的字符编辑距离）。

跟踪其他键入错误同样重要，例如不正确的键注册、一次按下多个键注册以及漏按键。像NASA任务负荷指数这样的主观指标可以洞察用户的认知负荷。当WPM非常低时，用户倾向于使用语音到文本，而不顾语音的隐私和吞吐量限制。

总的来说，XR的文本输入性能比PC差，虚拟键盘很容易下降到5到10个WPM，即便使用物理键盘，VR用户都只能保持60%的输入速度和80%的准确性。原因可能是在VR中，文本输入的技术要求是严格的，特别是对显示分辨率，视场，手指追踪，手部表示，键盘布局和其他考虑。事实上，XR所需的复杂技术栈需要特殊的设计考虑。

物理键盘提供独特的触觉反馈，熟悉的布局，以及高吞吐量文本输入的潜力。在XR中，键盘表示通常依赖于3D跟踪或透视可视化。然而，物理键盘可能并不总是可用，它们也会受到前面提到的设计考虑因素影响，如视场、手部表现和透视需求。

虚拟键盘消除了对外部硬件的需要，并提供了更大的便携性。然而，虚拟键盘与慢速联系在一起。

悬空虚拟键盘在概念上直观，是XR中文本输入的一种广泛探索的方法。它们通常模仿传统的键盘布局，并位于用户的视场范围内。

这种方法的吸引力在于它的相对简单性、利用现有用户熟悉度的潜力以及标准XR设备之外的最小硬件需求。然而，悬空虚拟键盘同样面临着重大挑战。缺乏物理表面和触觉反馈使得精确的键瞄准变得困难，导致更高的错误率。另外，长时间使用经常会导致手臂和肩膀的疲劳和不适。不仅只是这样，悬空键盘会阻碍虚拟环境，潜在地妨碍沉浸感和任务表现。

然而，我们有可能看到用户与悬空键盘交互方式的转变。为XR量身定制的新颖人体工程学光线投射技术，类似于鼠标的CD增益，甚至会产生全新的交互方式，利用未来XR设备独特的传感和ML功能。

另外，行业探索了表面锚定的虚拟键盘。使用表面锚定的虚拟键盘是XR文本输入的一个日益增长的趋势。利用表面的优点主要是支持人体工程学和提供额外的触觉。表面不只是桌子，它可以是专用的可穿戴设备，如手表，甚至可以是用户自己的身体。通过使用物理表面，相关技术提供了固有的触觉反馈，并且与悬空键盘相比提高了精度和减少了疲劳。

除了以上，业界同时有探索支持机器学习的键盘。在虚拟键盘中，“点击检测”识别用户的单个按键选择。但事实证明，原始点击检测对于稳健文本输入具有挑战性。所以，XR键盘仅依靠轻敲检测将是缓慢的，容易出错。

机器学习解码模型通过分析敲击序列而不是单个输入提供了一种解决方案。模型考虑语言和用户输入行为的统计模式，使它们能够纠正可能的拼写错误，预测单词，并个性化建议。这大大提高了准确性，加快了文本输入速度。概率语言模型特别适合这个任务。随着人工智能和大型语言模型的发展，它们与XR文本输入的集成变得越来越引人注目。