Facebook专利介绍如何将真实环境沙发、电视等融合映射至VR虚拟环境
利用前置摄像头的视频反馈，并以一种类似MR的方式在VR视图中叠加物理对象图像。
（映维网 2021年06月23日）熟悉VR头显的用户应该都知道一种所谓的防护系统，其可以在用户接近游玩区域边界或物理对象时以一系列不同的方式发出警报。这是因为VR头显会用数字内容取代用户周遭的现实世界，所以为了防止用户因失去物理世界视觉感知而与现实对象碰撞，设备需要一种提醒告示系统。
日前，美国专利商标局公布了一份名为“Feed-forward collision avoidance for artificial reality environments”的Facebook专利申请。这份发明主要介绍了一种利用前置摄像头反馈来渲染物理对象相对位置的技术。具体来说，Facebook希望用MR叠加图像数据来避免用户与物理环境中的任何物理对象发生碰撞，从而保持用户的安全并帮助确保不间断的虚拟现实体验。
Facebook指出，由于虚拟现实系统呈现的虚拟现实内容不一定与物理环境的物理尺寸和物理对象一致。当用户与虚拟现实系统交互前，用户可能已经具有物理环境的心理模型，包括物理对象在物理环境中的位置。但当用户开始进入虚拟现实系统并潜在地在物理环境中移动时，用户的心理模型可能变得模糊，从而增加其与物理对象发生碰撞的风险。
所以，作为上述问题的一个解决方案，Facebook构思的虚拟现实系统包括能够生成表示房间物理对象的叠加图像数据的物理对象叠加引擎，以及为物理对象叠加引擎提供视图反馈的前置摄像头。作为示例，叠加图像数据可以包括部分图像、单个图像或一组图像。
通常，叠加图像数据可以以一种匹配虚拟现实视图的方式来生成，然后同样以非突兀的方式过渡叠加到虚拟现实视图，从而允许用户在不中断虚拟现实体验的情况下确定其相对于物理对象的位置。例如，虚拟现实系统可以同时呈现物理对象的叠加图像和虚拟现实图像，从而允许用户同时看到虚拟现实内容和叠加图像数据。
在一个示例中，虚拟现实系统可以在用户接近物理对象时自动叠加物理对象的图像数据。叠加图像数据可以是临时的，并仅在用户与的物理对象的接近度存在导致用户与物理对象发生碰撞风险时显示。对于这一点，可以根据用户与物理的接近度与阈值比较来进行确定。
在另一个示例中，用户可以手动方式命令物理对象叠加引擎生成和叠加物理对象的图像数据，例如通过手持式设备的按钮。对于这种情况，叠加图像数据可以是临时的，并且可以仅在用户激活时显示。除了按钮之外，可以响应于其他用户激活条件来生成和显示覆盖图像，如语音命令、手势或其他形式的用户输入。
通过上述两个示例，物理覆盖引擎可以提供物理对象的图像，而用户可以利用叠加图像来更新自己对房间的心理地图，从而避免与房间中的对象发生碰撞。另外，用户可以利用叠加的图像来规划自己在空间中的移动或其他行为。
在上述专利图示中，专利图7A是虚拟现实头显呈现的虚拟现实视图。在专利图7B中，响应于用户与物理对象的接近度达到或超过阈值，或者响应于用户的主动激活，虚拟现实系统可以利用前置摄像头的视频反馈，并致使物理对象叠加引擎生成物理对象的图像数据，然后在专利图7A中的虚拟现实视图中叠加所述的物理对象图像数据。
以这种方式，用户可以利用叠加图像来更新自己对房间的心理地图，从而避免与房间中的对象发生碰撞。另外，用户可以利用叠加的图像来规划自己在空间中的移动或其他行为。
相关专利：Facebook Patent | Feed-forward collision avoidance for artificial reality environments
名为“Feed-forward collision avoidance for artificial reality environments”的Facebook专利申请最初在2019年12月提交，并在日前由美国专利商标局公布。
