高通与Ultraleap联手为XR2带来最新手部交互成果
掌握一流的高性能手部追踪功能
（映维网 2021年01月08日）非接触式人机交互和手势控制技术正在经历快速的增长和采用，有机构估计，这一市场到2025年的规模可能达到306亿美元左右。推动行业的因素很多，包括技术的发展、对非接触式物联网系统的需求（如防疫原因），以及对无约束体验的普遍需求（如虚拟现实和增强现实）。
这一领域正在迅速前进，尤其是手部追踪机制。手部追踪能够捕获用户的手部运动，并允许开发者利用相关的数据建立非接触式用户界面。手部追踪同时是空间计算的关键组成要素，能够帮助人类实现与3D世界的自然交互。
针对这种情况，高通早已与追踪和触觉技术专家Ultraleap进行合作，共同致力于构建高效的手部交互解决方案。例如，高通的一支团队在2020年与Ultraleap（由Leap Motion和Ultrahaptics合并而成）展开合作，努力将Ultraleap的手部追踪技术集成到高通的XR解决方案中。
日前，高通XR业务的战略和合作伙伴负责人布莱恩·福格尔桑（Brian Vogelsang）撰文介绍了手部追踪的基础和Ultraleap的创新解决方案，并探讨了Ultraleap和高通之间的合作将如何为XR开发者带来帮助。下面是映维网的具体整理：
1. 用双手开启一个全新的世界
空间计算允许用户交互超越传统的计算机外设和触控屏，用户周遭的环境将成为用户界面的画布。其中，交互主要由人类与虚拟对象的直接操作和响应组成。（例如按下虚拟按钮的动作）。利用早已熟悉的物理经验，我们可以通过双手自然轻松地操纵虚拟对象，而这可以最大限度地减少新用户的学习曲线。
手部追踪同时可以提升虚拟交互的效用感、真实感和沉浸感，而且是实时地实现。对象可以通过推、捏和抓等对用户而言最为自然的一系列交互来进行操作。虚拟对象就如同物理对象一般，能够清楚地向用户传达对象的用途属性。例如，球体表面的凹槽鼓励用户将手指放到里面并执行拾取动作。另外，这种交互可以通过抽象的姿势或手势来补充，如通过伸出手指和掌心向上以激活菜单，或者抬起一定数量的手指来触发脚本动作。
所以，一系列引人注目的新交互现在已经成为可能，其中许多都特别适合于控制界面和菜单，与虚拟对象进行物理交互，以及在VR社交中表达自己。例子包括：
- 用手指按压虚拟按钮或其他UI元素
- 捏压虚拟对象以实现精确的物理控制，如捏压和释放菜单项、拉伸或拉动小型目标或对象的交互式锚杆
- 允许用户以感觉最为自然的方式抓、推、扔、捡、移、撕的对象
- 可以以物理对象不可能实现的方式操作虚拟对象，例如用双手重新调整对象的大小或将其存储在无限的虚拟口袋之中
- 可以通过独特的、专用的抽象手势来执行特定功能，如打开菜单
手部追踪存在一个额外的优势，不习惯传统外设（如手持式VR控制器）的用户能够更轻松地访问应用程序。手部追踪可以显著缩短学习曲线，意味着任何人都可以直接操作虚拟内容，并立即与虚拟内容进行直观交互。
2. 手部追踪的要素和挑战
手部追踪需要两个基本要素：追踪关节地传感器；转换和分析传感器数据的软件。多年来，数据收集已经能够通过各种外设完成，包括传感式手套和手持式控制器。但两者都难以实现自然的手部和手指操作体验。对于这个问题，当今最先进的摄像头式手部追踪解决方案能够派上用场。
基于摄像头的手部追踪解决方案能够捕获手和手指的图像，同时使用不同类型的算法来分析并将其流式转换为跨帧的关节和骨骼方向和位置，如深度图和3D图像等。
由于必须实时识别和追踪的元素数量众多，手部追踪非常复杂。每只手包含27个不同的骨骼和关节，而且它们可以同时移动。现实世界中的对象，甚至灯光问题都可能会妨碍摄像头对手的捕捉，或者用户的手可能会远离摄像头的视场。
对于手部追踪解决方案，需要克服的挑战是：一边保持高性能，以及低运动到光子延迟，一边努力解决上述问题，特别是要减少晕动症。
3. Ultraleap
Ultraleap最初的手部追踪解决方案是Leap Motion Controller。这种创新设备配备了两个红外摄像头和多个LED。LED用红外光照亮手部，红外摄像头则记录下相关光线，然后系统就能够将其转化为手部追踪数据：
Leap Motion Controller同时可用于XR，方法是将其附接到XR头显，这样设备的LED和摄像头就能够定位并依附于用户的头部运动。
Ultraleap的第五代手部追踪平台（目前已经是第五代，名称是Gemini）提供了分析所述数据并将其转换为手部追踪信息的算法。开发者可以利用Ultraleap提供的SDK来访问相关的信息。所述信息支持多种语言和平台，包括java、C++、Unity等。Unity插件包括Ultraleap强大的Interaction Engine，后者允许开发者构建基于物理的用户界面，如可用于空间计算的3D菜单。
Stereo IR 170是Ultraleap的下一代光学手部追踪模块，其具有更宽的视场和更广的追踪范围。Stereo IR 170能够集成到硬件解决方案、显示器和AR/VR/XR头显之中。
鉴于Ultraleap过去解决方案的成功，Ultraleap现在首次将Gemini与其硬件分开，而我们一直在与Ultraleap合作，并将其集成到Qualcomm Snapdragon XR2 5G Platform。
这将有助于将业界领先的手部追踪带到我们的XR平台，并允许XR开发者利用Gemini来构建自己的无约束设备。开发者可以选择围绕Ultraleap Stereo IR 170构建设备，或者使用不同的摄像头系统，如Snapdragon XR2 HMD参考设计的外部摄像头。
4. 总结
手部追踪在人机界面中起着至关重要的作用，它开辟了全新的交互方式。Ultraleap的Gemini平台与Snapdragon XR2 5G平台的集成将能帮助更多的XR开发者掌握一流的高性能手部追踪功能。
