高通分享:骁龙Spaces如何弥合手机App和XR App
骁龙Spaces是如何弥合智能手机应用和扩展现实应用
(映维网Nweon 2023年10月24日)VR和AR是前沿发展基数,而一系列的大型科技公司和初创公司都在努力构建自己的XR软件和硬件。但高通认为,这种相对分散的性质给行业的发展造成了一定的问题,所以需要一个通用的开放平台,从而允许不同的公司和开发者可以基于单一的生态系统开发产品和应用,就如同Android世界一样。
这正是高通技术推出骁龙Spaces技术的原因,从而为开发者提供一种进入XR世界的简单便捷方式。日前,高通撰文介绍了骁龙Spaces是如何弥合智能手机应用和扩展现实应用。
什么是XR?
在深入探索骁龙Spaces提供的所有令人兴奋的功能之前,我们先来谈谈XR扩展现实。这是一个涵盖VR、AR和MR的总称。
VR和AR更广为人知。对于前者,你将发现自己完全处于计算机生成空间之中,而附带的硬件允许你与虚拟世界中的对象进行交互。另一方面,AR融合了现实世界,透明显示屏支持你看到物理空间中的一切,而数字投影则添加了关键信息和细节以增强体验。
最后是MR。它结合了两者的优点。这项技术同样是完全由计算机生成,但可以从现实世界中获取图像,并将它们融入至虚拟现实环境,从而创建混合现实。
尽管基于计算机的“现实”有三种不同的类型,但它们都属于“XR”这个总称。
高通正通过骁龙Spaces带头冲锋
骁龙Spaces来自真正走在XR领域最前沿的高通。市场拥有一系列基于高通XR处理器的产品,例如采用骁龙XR2 Gen 2平台的Meta Quest 3和骁龙AR1平台的Ray-Ban Meta智能眼镜系列。芯片必不可少,它们为你提供了运行不同“现实”环境的处理能力,但高通想做的远不止制造处理器。
在硬件方面,高通帮助创建参考设备,以便合作伙伴可以使用它们来快速完成原型设计,并构建商用产品。同时,开发者可以利用硬件开发工具包来测试应用程序。相关硬件套件提供的不仅仅是处理能力。除了强大的CPU和GPU之外,它们同时包括传感器和其他连接技术,追踪手部运动,平面检测,以及构建和使用XR应用程序所需的所有其他技术。
当然,高通的参与并不仅限于硬件。骁龙Spaces是一款软件开发工具包,可支持开发者为从头戴设备到智能手机的各种产品建XR应用程序。尽管最初只有高通的合作伙伴使用,但现在这一工具已向所有创作者开放。
高通全面参与了相关生态系统的扩展,为开发者提供软件支持、更新、新功能、以及构建XR应用所需的一切。
如果你是一名开发者,有兴趣为各种使用骁龙Spaces、高通处理器或Android的头显构建XR应用, Snapdragon Spaces SDK正是你所需要的工具。
骁龙Spaces令创建XR应用变得容易
涉足一个仍处于萌芽阶段的技术领域可能会让人望而生畏。作为对XR感兴趣的开发者,你可能会担心必须从零开始使用low-level库并构建一切。
骁龙Spaces采用的是全球数十万开发者用来构建3D游戏的工具:Unreal或Unity。由于你现在可以使用其中任何一种来创建XR应用,所以你不需要重新学习所有工具。
内置到Unreal或Unity的Snapdragon Spaces SDK提供了一系列你可以利用的技术,例如锚点,手部追踪,对象追踪和平面检测等等。比方说,锚点可以追踪空间中的特定点,所以你可以确切地知道它在虚拟现实,增强现实或混合现实3D环境中的位置。手部追踪则允许你追踪双手或控制器正在做什么。
另外还有对象跟踪和平面检测,它们对增强现实和混合现实设置特别有用。考虑到物理“3D”环境,图像可以投影到平面、水平或垂直空间,而你可以围绕这一点完成一系列的事项,例如对象建模。
重要的是,所有这一切都内置在SDK中,并且开发者可以在所选择的工具中使用。这意味着你可以在构建XR应用时专注于发挥创意,而不必担心从底层开始构建支持软件。你可以信任SDK处理所有相关问题,并专注于自己的灵感并制作出色的内容。
一个神奇的新功能:双渲染融合
如前所述,高通积极参与支持和扩展生态系统,这意味着新的功能。这个SDK早前增加了一个令人兴奋的新功能:Dual Render Fusion双渲染融合。
现在有一系列的头戴式设备通过有线或无线方式将头显和Android智能手机结合起来。通过这种设置,智能手机可以在处理能力方面承担大多数繁重的工作,从而帮助实现更轻、更薄、更易于佩戴的头显。
通过双渲染融合,你现在可以增加第二个显示器。作为一名开发者,你现在有两个屏幕:同时在Android智能手机和头显显示内容。
真正有趣的是,这同时可以作为从普通3D智能手机端应用到头显端XR应用的垫脚石。你可以添加第二个屏幕,并将智能手机应用或应用功能移动到具有额外功能的XR环境中,而不是从零开始重新构建XR应用程序。
例如当你在智能手机玩游戏,戴着AR头显,你就可以在继续在手机端玩游戏的同时,在头显获得额外的游戏信息,比如你的背包或游戏统计数据。反之亦然,你的头显是主屏幕,额外的细节和信息可以显示在智能手机。所有这一切都可以在不需要为AR或MR重新开发游戏的情况下完成。
双渲染融合为开发者提供了从智能手机应用跳到XR应用的简单方法,无需从零开始。
通过骁龙Spaces跳到XR
通常,在任何新技术领域,由于缺乏支持,硬件和软件之间的鸿沟很难弥合。你如何为难以获得的硬件开发应用?或者,当硬件可用时,开发者又没有软件平台来为它构建应用程序。
针对这一点,高通正专注于同时解决双方的问题。骁龙Spaces为你提供了一种基于Unreal或Unity等现有3D工具的标准方式来开发XR应用,并纳入了一系列的必要功能,如平面检测,对象追踪和手部追踪等,从而帮助避免陡峭的学习曲线。另外,高通一直在添加各种新功能,比如双渲染融合。它可以帮助你从智能手机应用跳到扩展现实应用,而无需从零开始重新创建任何一切。
从高通提供的硬件参考设备,到一加 11等支持骁龙Spaces的安卓智能手机,你可以在一系列的设备测试它们。这确实缩小了软件和硬件之间的差距,使得开发者能够充分发挥XR应用程序的潜力。