Quest v40 SDK新增Spatial Anchors和Scene,带来更逼真MR体验

查看引用/信息源请点击:映维网Nweon

v40新增Spatial Anchors和Scene,而现在开发者终于可以利用完整的Presence Platform功能来开发逼真的混合现实体验

映维网Nweon 2022年06月02日)想象一下,你可以和两位朋友围坐在一张虚拟桌子:其中一人和你在同一个房间,而另一人则在千里之外,并以Avatar虚拟数字人的形式参加聚会。你们三人可以如同置身于同一个空间一样进行交谈和互动。

元宇宙将为构建一系列的体验和业务开辟全新的可能性。尽管所述未来或者尚需5到10年的时间,但Meta正在不断努力,并为社区带来一系列的工具。

这家公司日前正式带来了v40 SDK,新增用于锚定虚拟对象的Spatial Anchors和帮助应用理解场景的Scene。现在,开发者终于可以利用完整的Presence Platform功能来开发逼真的混合现实体验

另外,扎克伯格在5月中旬演示的《The World Beyond》已经正式登陆App Lab。这个应用旨在演示Presence Platform提供的所有功能。Quest 2用户现在已经能够下载体验,而开发者则可以将其作为示例作品。

1. 利用完整的Presence Platform工具集来构建逼真的混合现实应用

对于v40,Meta在Connect 2021大会发布的所有Presence Platform功能都已完全发布。目前,这个完整的工具集包括Interaction SDK, Voice SDK,Passthrough,Hand Tracking API,以及全新的Spatial Anchors和Scene。

  • Spatial Anchors:这个空间锚定功能旨在帮助虚拟对象叠加固定到物理空间,从而带来对于混合现实而言非常重要的持久性。例如,你可以在办公空间自定义多个虚拟显示屏,而每次重新穿戴头显时,你的桌面设置都会以完全相同的方式出现。通过利用Spatial Anchors和Passthrough透视,用户将能够创建一个持久的虚拟工作区,而且你可以与物理环境和生产设备进行自由交互,如鼠标、键盘、触控笔,甚至是周围人群。”
  • Scene:Meta希望通过这个场景理解功能来扩展Presence Platform。Scene提供了物理空间的几何和语义表示,并可以与Spatial Anchors和Passthrough配合使用,从而帮助开发者创建房间规模的混合现实体验。这意味着应用程序可以感知空间中的对象,如沙发或办公桌,并知道如何以及何时将虚拟对象与物理环境混合,以便它们可以共存在同一空间。例如,若你尝试通过彩色透视来创建内容,通过利用Scene场景理解功能,你将不必亲自处理深度重投影或颜色对齐之类的问题。

Meta表示:“对于Presence Platform,我们通过能够隐藏所有复杂性的简单API来解决极具挑战性的机器感知问题。借助Scene、Spatial Anchors和现有的Presence Platform功能,开发者将能快速创建逼真的混合现实体验。”

值得一提的是,这家公司预告称,团队将在今年秋天的Connect大会进一步提升Presence Platform,为其带来更多的功能,包括更丰富的社交临在。

2. 《The World Beyond》

如果大家有印象,Meta首席执行官马克·扎克伯格曾在5月中旬放出了一段关于Project Cambria的视频。其中,他通过所述设备体验了基于彩色透视功能的《The World Beyond》。

现在,所述应用终于登陆App Lab,从而允许用户体验Presence Platform提供的所有功能,包括Interaction SDK, Voice SDK,Passthrough,Hand Tracking API,以及全新的Spatial Anchors和Scene。

其中,你可以与一系列的虚拟对象进行交互,而它们仿佛是真的位于与你相同的物理空间一样。你的手会遮挡你所抓住的对象,而虚拟宠物Oppy将共享你的空间,响应你的声音,并在走动时被家具遮挡。你可以投掷虚拟球,而它会从真实的墙壁和家具反弹。你同时可以看到现实世界被虚拟森林所取代。

值得一提的是,Protocol记者在上手体验了《The World Beyond》之后表示,尽管只有数分钟,但足以“令我确信Cambria拥有一种神秘的超能力”。

《The World Beyond》目前已经上架App Lab,支持免费下载。需要注意的是,彩色透视仅支持将于今年发布的高端一体机Project Cambria。

3. Project Cambria

除了以上,Meta再次强调了即将于今年发布的高端一体机Project Cambria。团队表示:“机Project Cambria将是我们首款新型创新高端VR头显,它将推动我们朝着元宇宙所要求的各种计算方式前进。”

  • Cambria将采用全新的传感器架构,包括高分辨率前置摄像头(RGB和单色),其像素数是Meta Quest 2摄像头的四倍,从而允许头显能够以更高的保真度再现周围的环境。
  • Cambria同时配备了采用红外投影仪的主动深度感应功能。这将是对Meta Quest 2当前的被动立体深度感知的重大升级(仅依赖摄像头来感知深度)。Cambria的深度投影仪会在房间表面创建一个不可见的红外图案,这有助于以更高的保真度和精确度重建表面,尤其是无纹理的表面。然后,先进的重建算法会对房间中由摄像头感应到的3D点位置进行三角化,从而帮助精确重建你周围的空间和视角。

当然,Meta强调团队依然在努力优化Project Cambria,但即便只是早期,它都充分说明了混合现实的潜力。他们写道:“我们今天开始在Meta看到的体验将成为明天元宇宙中可能发生的一切的基础,我们希望你可以继续与我们一起构建未来。”

本文链接https://news.nweon.com/97683
转载须知:转载摘编需注明来源映维网并保留本文链接
入行必读:AR/VR——计算机历史第二次大浪潮

更多阅读推荐......

资讯