Facebook专利探索AR系统中物理对象之于虚拟对象的遮挡实现

查看引用/信息源请点击:映维网

与手部相关的虚实遮挡

映维网 2021年09月07日)对于增强现实的沉浸感而言,实现逼真虚实遮挡是一个非常关键的因素。如果你对比体验过支持Depth API+LiDAR的苹果设备,以及缺乏所述配置的iPhone或iPad,你就会知道逼真虚实遮挡对于营造数字幻觉的真实性。

所以,相关厂商一直在积极探索各种技术手段来帮助实现逼真的虚实遮挡。日前,美国专利商标局公布了一份名为“Occlusion of virtual objects in augmented reality by physical objects”的Facebook专利申请,其主要涉及物理对象之于虚拟对象的遮挡实现。更具体地说,其主要介绍了与用户手部的虚实遮挡。

在增强现实中,虚拟环境可以作为叠加于真实环境的增强数字层来显示给用户。当用户手部进入AR设备的视场时,用户自然会假定位于视线中的真实手部能够遮挡更远离眼睛的虚拟对象,或者被更靠近眼睛的虚拟对象遮挡。

例如,当你用左手拿起一个玻璃瓶时,大拇指的一部分在人眼看起来可能位于玻璃瓶的前面,并遮挡一部分玻璃瓶,而另外四个手指的一部分则可能位于玻璃瓶的后面,并被玻璃瓶所遮挡。通过显示符合用户期望的手部虚实遮挡,这可以提升体验的真实感和沉浸感。

在一个实施例中,计算设备确定虚拟对象的方向和位置。在一个实施例中,计算设备根据视觉传感器来确定进入视场的用户手部与用户视点之间的方向,距离和深度信息;计算设备将所述距离与用户视点与虚拟对象之间的距离相关联;然后,计算设备创建一个网格,并用于存储手部不同区域的高度信息。

根据视觉传感器图像和三维网格,计算设备确定手部特定点的高度,例如特定点相对于手部平均或中间高度/参考点的高度。接下来,确定的高度可以表示手上各点相对于手部其余部分的位置。结合所确定的距离,高度可用于确定手部各个部分相对于用户的准确位置。

在一个实施例中,可以比较位于同一视线的虚拟对象到视点的距离和真实对象到视点的距离,从而确定哪个部分遮挡哪个部分。

在渲染虚拟环境并向用户呈现虚拟环境时,对于同时位于同一视线的一个或多个虚拟对象和真实手部,用户需要能够看到较所有真实手部和其他虚拟对象更靠近视点的虚拟对象部分,以及较所有虚拟对象和其他真实手部部分更靠近视点的真实手部部分。

所以,在一个实施例中,可以根据上面获取的手部和虚拟对象位置与距离信息及相关深度信息,选择性地禁用头显中用于显示虚拟对象的发光组件(如LED),从而允许来自真实环境的光线通过头显到达用户的眼睛。换句话说,计算设备需要在渲染图像中创建需要允许用户看到真实手部部分的剪切区域。

例如在上述的玻璃瓶示例中,当你用左手拿起一个玻璃瓶时,大拇指的一部分在人眼看起来可能位于玻璃瓶的前面,并遮挡一部分玻璃瓶,而另外四个手指的一部分则可能位于玻璃瓶的后面,并被玻璃瓶所遮挡。

通过指示光发射器不照亮与拇指位置相对应的显示器位置,用户的实际物理拇指可以对用户可见。但由于特定发光组件已关闭,所以不会显示其后面的任何虚拟对象部分。在同一个实施例中,对于应由虚拟对象遮挡的手部部分,则可以继续启用用于显示虚拟对象的发光组件,以防止用户来自真实环境的光线通过头显到达用户的眼睛,从而实现这种虚实遮挡。

相关专利Facebook Patent | Occlusion of virtual objects in augmented reality by physical objects

名为“ Occlusion of virtual objects in augmented reality by physical objects”的Facebook专利申请最初在2020年2月提交,并在日前由美国专利商标局公布。

本文链接https://news.nweon.com/89182
转载须知:转载摘编需注明来源映维网并保留本文链接
入行必读:AR/VR——计算机历史第二次大浪潮

更多阅读推荐......

资讯