Facebook为逼真MR体验发布CV+AI驱动的Presence Platform
开发者工具
（映维网 2021年10月29日）在今天举行的Connect大会，已改名为Meta的Facebook分享了元宇宙的愿景。元宇宙是一种更加互联的数字体验，可允许你无缝地从一个地方传送到另一个地方，并与相距遥远的朋友和家人共度时光，同时又能保持自己独特的虚拟身份。
一个庞大的、可互操作的元宇宙无法由一家公司单独构建。这需要众多企业、开发者和创作者的贡献，而且需要时间。
为了构建感觉自然真实的虚拟环境，我们需要改进在应用中表达运动和空间的方式。在大会期间，Meta发布了一个涵盖一系列机器感知和人工智能功能的Presence Platform。它包括透视功能、空间定位和场景理解，并允许你构建更逼真的混合现实、交互和语音体验，从而在用户的物理世界中无缝混合虚拟内容。
Meta指出，Presence Platform开辟了开创性的机会，并能在当今的虚拟现实中带来混合现实体验和自然交互，从而帮助我们更接近于元宇宙的承诺，以及在未来以全新的、更具沉浸感的方式来联结大家。
下面是关于Presence Platform中的Insight SDK、Interaction SDK和Voice SDK的介绍：
1. Insight SDK
Insight SDK旨在帮助开发者构建混合现实体验，并创造真实的临场感。
Passthrough：Passthrough API允许你构建虚拟内容与物理世界相融合的体验，而Passthrough API将在下一个版本结束实验状态，这意味着你将能够使用Passthrough功能构建、测试和发布体验。
Spatial Anchors空间锚定：这个世界锁定的参考框架允许你将虚拟内容放置在物理空间中，并实现跨会话持久化。对于即将推出的实验性功能Spatial Anchors，你将能够在特定的六自由度姿态下创建空间锚定，追踪相对于头显的六自由度姿态，在设备保留空间锚定，并检索当前追踪的空间锚列表。
Scene Understanding场景理解：与Passthrough和Spatial Anchors一道，Scene Understanding将允许你快速构建复杂的场景感知体验。作为Scene Understanding的一环， Scene Model场景模型提供了用户空间的几何和语义表示，以便你构建房间规模的混合现实体验。Scene Model是物理世界的一种单一的、全面的、最新的表示，它同时是可索引和可查询的。例如，你可以将虚拟屏幕附着到用户的墙壁，或者令虚拟角色在具有真实遮挡的地板上导航。另外，你可以将现实生活中的物理对象带到虚拟现实。为了创建这个Scene Model，Meta将提供一个系统引导的场景捕获流程。所述过程并非自动，而是需要用户手动捕获和标记相关的场景。Scene Understanding将在明年年初作为一项实验性功能与大家见面。
借助Insight SDK中的Passthrough，Spatial Anchors和Scene Understanding，你将能够构建将虚拟内容和物理世界融合在一起的混合现实体验，并为社会联系、娱乐、生产力等解锁全新的可能性。
当然，Meta强调保护物理空间的隐私非常重要。上述工具的设计无需访问来自Quest传感器的原始图像或视频。
2. Interaction SDK
对于Interaction SDK，开发者将能够更轻松地集成裸手交互体验和以控制器为中心的交互体验。Unity手部交互库将于明年年初推出，并提供一套现成的的交互组件，如Grab、Poke、Target和Select。所有组件都可以一起使用或独立使用，甚至可以集成到其他交互框架中。Interaction SDK旨在解决与基于计算机视觉的手部追踪相关的众多棘手挑战，并提供了标准化的交互模式。另外，它提供了帮助你构建自定义手势的工具。
Meta强调，特定于用户手部的图像和估计点将在处理后会删除，并且不会存储在官方的服务器中。
3. Tracked Keyboard SDK
实际上，Quest已经支持物理键盘，如罗技键盘，但一直局限于Home环境中的2D应用，如Oculus Browser。对于将于明年年初发布的Tracked Keyboard SDK，它将能支持所有的VR应用，并帮助开发者为用户提升应用体验。
4. Voice SDK（实验性）
Voice SDK（实验性）将在下一版本中提供。Voice SDK是一组自然语言功能，可允许开发者创建基于语音的导航体验和新的语音驱动游戏。利用Voice SDK，你可以创建语音导航和搜索，或者启用语音常见问题解答。这个工具同时能够支持新型的语音驱动游戏，比如通过语音激活的魔法来进行战斗，或者与角色或虚拟化身交谈。
值得一提的是，Voice SDK由Meta旗下的Wit.ai自然语言平台提供支持，并且可以免费注册并开始使用。
5. The World Beyond
为了帮助启发想象力，Meta构建了一个名为The World Beyond的示例性应用，从而帮助你体验Presence Platform的各种可能性。团队将在明年年初以示例项目的形式提供。
6. 文档
Presence Platform和Oculus Platform SDK旨在协同工作，所以你可以同时使用这两个工具并为Quest构建混合现实体验和自然交互。相关的开发者文档将在即将发布的版本中提供。
