高通分享:骁龙Spaces XR为什么对开发AR体验十分重要

查看引用/信息源请点击:映维网Nweon

骁龙Spaces

映维网Nweon 2022年11月09日)骁龙Spaces开发者平台是一个支持OpenXR的AR基础平台,支持一系列领先的3D引擎,如Epic GamesUnrealNiantic的Lightship开发者平台,以及Unity AR基础套件(AR Foundation)和Unity MARS。这个套件能够提供环境和用户理解等功能,从而帮助开发者打造可感知用户、可与用户智能互动、可适应用户所在室内物理空间的头戴式AR体验。

日前,高通XR业务的战略和合作伙伴负责人布莱恩·福格尔桑(Brian Vogelsang)撰文解释了骁龙Spaces对AR开发的重要性:

我们相信,轻便的头戴式AR眼镜有望成为智能手机的下一个发展方向。它们提供了比2D屏幕更具沉浸感的体验,并将用户从低头查看手机转变正视前方,并同时保留数字视图。

延伸阅读高通分享:了解骁龙Spaces XR平台的架构设计与技术构建

在《骁龙Spaces平台的架构》一文中,我们介绍了骁龙Spaces XR开发平台是如何设计成促进头戴式AR体验的开发。但只有深入了解相关的细节,你才会意识到为什么骁龙Spaces对开发者而言非常关键。

首先,骁龙Spaces是一个端到端平台,丰富的HDK和SDK可用于为兼容Android的头戴式显示器构建AR体验。它可以配合在Android设备提供AR运行时的Snapdragon Spaces Services AP。我们花费了大量的精力将相关资源整合在一起,这样你就可以专注于自己的开发。

SDK支持Unity和Unreal这两个当今最流行的游戏引擎。我们的工具将内容驱动的工作流程与面向开发者的编程功能相结合。如果你来自游戏和其他多媒体业界,你可能已经拥有了Unity或Unreal的经验。如果没有,你可能都可以迅速跟上。无论如何,你都能利用一个现代的、经过验证的框架,并确信它们能够带来高性能的AR应用程序。

所述工具同时与OpenXR兼容,这意味着API调用能够以最小的移植量支持兼容设备。Unity和Unreal的OpenXR插件构建了渲染和头部追踪等基本功能,并且提供了与OpenXR运行时通信的接口,包括Snapdragon Spaces提供的子系统。这意味着你可以构建针对OpenXR兼容设备的体验,而硬件制造商则可以构建具有满足OpenXR规范的功能的兼容设备。

下面我们来看看骁龙Spaces支持的关键AR功能,为什么它们对构建AR体验十分重要。

位置追踪

可以说,任何AR应用程序最基本和最重要的功能是位置追踪。位置追踪功能精确地绘制环境并估计设备在3D空间中的位置和方向。骁龙Spaces将其捕获为六自由度信息,并作为头戴式AR设备的输入。开发者可以利用这一点来了解和追踪最终用户相对于世界的位置,并根据最终用户的头部位置和方向在场景中渲染AR内容。

我们的Unity示例Unreal示例展示了如何为头戴式AR设备设置六自由度追踪。

手部追踪

手部追踪追踪用户的手和手指关节在3D空间中的位置和方向。它可以用作输入数据来操纵数字对象、与3D GUI交互或动画化用户的数字表示。

这带来了依赖屏幕手势或物理控制的传统设备所不可能实现的全新输入和反馈水平。用户现在可以看到肢体的虚拟表示,而当与对象交互时,肢体的更新和行为会与现实世界中的肢体一样。捕捉用户的动作和举止同样可以为你的AR体验带来临场感。

我们的Snapdragon Spaces Unity包提供了类似AR Foundation的界面。另外,手部追踪是使用基于机器学习的模型和位置追踪摄像头进行。具体运作可访问我们的Unity示例Unreal示例

我们的QCHT Unity Core包提供了Unity的其他手部追踪功能,它随Unity SDK一同下载,位于Unity Package文件夹中的Hand Tracking文件夹。你可以访问相关的交互方法交互组件扩展的手部追踪示例

图像识别和追踪功能识别摄像头捕获的视觉特征或标记。图像识别和追踪功能通常用于触发和显示与真实世界对象相关的数字内容。对于头戴式AR显示器,这可以在用户扫描周围环境时提供一系列的信息。

图像目标是存储在数据库中并作为标记的图像,可由追踪系统识别,以便应用程序在识别每个指定图像时增强或采取其他行动。具体设置请Unity示例Unreal示例

平面检测

平面检测是一种空间映射形式,主要用于检测平面区域以定义边界,例如墙壁和桌面等。这一基本功能为未来的高级构造块铺平了道路,例如数字孪生(物理环境或对象的3D网格表示)。

Snapdragon Spaces SDK命中测试功能同时允许光线投射,通过反弹检测到的曲面来识别与扫描区域中发现的几何体的交互。你可以查看我们的Unity示例Unreal示例

本地锚点

锚点是用于定位、追踪和持久化数字内容的元数据。它提供了将锚点附着到空间中的数字asset的能力,将它们与真实世界中已识别的几何体簇相关联。本地锚点当前仅限于应用程序实例内的设备本地存储,默认情况下,一旦关闭应用程序,本地锚点将立即清除。

本地锚点信息现在可以存储在本地保存文件中,允许在再次打开场景时调用锚点。这就产生了一种物体在环境中随时间变化的错觉。毫不奇怪,锚点依靠精确的位置追踪来实现其放置和定向。

以上是骁龙Spaces支持的关键AR功能,为什么它们对构建AR体验十分重要。更多关于这一开发平台的信息请访问高通骁龙Spaces官网

本文链接https://news.nweon.com/102379
转载须知:转载摘编需注明来源映维网并保留本文链接
素材版权:除额外说明,文章所用图片、视频均来自文章关联个人、企业实体等提供
QQ交流群苹果Vision  |  Meta Quest  |  微软HoloLens  |  AR/VR开发者  |  映维粉丝读者

更多阅读推荐......

资讯