Facebook最新AR/VR专利希望解决用户视角突然变化导致的渲染延迟

小编刘卫华 | 分类：专利 | 发布日期 2021年4月2日

加入映维网会员

当出现头部运动时，系统需要快速修改场景的视图

（映维网 2021年04月02日）困扰着AR/VR/MR技术的一个问题是，用户视角的突然变化会导致数字对象的渲染出现延迟。每次头部移动都可能会稍微改变用户对场景的视角。头部运动的幅度可能很小，但零星分散，难以预测。对于这种情况，系统需要快速修改场景的视图。否则，产生的延迟可能会导致不适的用户体验。

重新渲染整个视图以说明视角变化可能是一种资源密集型计算，并且可能只是以相对低的帧速率（如60hz）实现。

一种解决方案涉及生成和处理表示场景中对象的“Surface曲面”。在特定实施例中，图形应用可以构建Scene Graph场景图，并与给定的视图位置和时间点一起使用，以生成要由GPU渲染的原语。Scene Graph可以定义场景对象之间的逻辑和/或空间关系。在特定实施例中，Warp引擎可以生成和存储完整应用Scene Graph的简化形式。简化Scene Graph可用于指定Surface曲面之间的逻辑和/或空间关系。存储Scene Graph允许Warp引擎将场景渲染到多个显示帧，调整当前视点的每个元素（如头部位置）、当前对象位置（如它们可能会相对移动）等等。

另外，基于Scene Graph，Warp引擎可以调整显示子系统带来的几何与颜色失真，然后再将对象合成在一起以生成帧。存储Scene Graph允许Warp引擎以所需的高帧速率近似执行完整渲染的结果，同时实际以显著更低的速率运行GPU。

一个Surface曲面可以对应于一个或多个对象。由于视角透视变化，对象作为一个单元会一起移动/平移、倾斜、缩放、扭曲或以其他方式出现变化。计算系统不必重新渲染整个视图，只需从改变的视角透视中对Surface曲面重新采样，就可以近似地得到相应的外观。

这种方法可能是一种有效的快捷方式，并且可以显著减少所需的处理，以确保视图能够足够快地更新，从而减少延迟。与重新渲染整个视图不同，重新采样曲面可能足够有效，允许头显的计算系统在相对有限的处理能力内和时间内修改视图。

在名为“Generating and modifying representations of objects in an augmented-reality or virtual-reality scene”的专利申请中，Facebook正是描述了这样一种系统，并可用于包含第一计算系统和第二计算系统的虚拟现实系统。其中，第一计算系统可以是笔记本电脑，智能手机，PC；第二计算系统可以是头戴式显示单元的机载计算系统。

在一个实施例中，场景的视图最初可以由第一计算系统以相对低的帧速率（例如60hz）渲染。渲染结果可用于由第一计算系统或第二计算系统生成用于AR/VR场景的一个或多个Surface曲面（例如16个Surface曲面）。除了颜色和透明度信息之外，Surface曲面同时可以包括关于场景中的位置和方向信息。

光线投射器利用位置和方向信息来确定应如何基于用户的当前位置和视角向用户显示Surface曲面。随后，Surface曲面可由第二计算系统的Warp引擎处理。头显可以基于与Surface曲面相关联的信息，以及头显用户的当前视角透视（由头西安的位置和方向确定）来渲染与Surface曲面相对应的对象。视角透视中的任何变化可由头显的传感器追踪，并由头显从调整视点对视图中的Surface曲面重新采样来说明。

由于视点的调整，曲面在重新采样时可能会发生平移/移动、倾斜、缩放、扭曲。由于场景不是从零开始重新渲染，而是仅仅调整Surface曲面，所以可以相对快速地修改场景（如200 Hz以下）。

在特定实施例中，当与第二计算系统相比时，第一计算系统可以相对强大。对于这种方式，由于第二计算系统可以具有有限的系统资源，所以不会导致过多的重量、尺寸和/或热量。

在一个实施例中，Surface曲面可以由空间中的平面四边形表示，或可以由Heightmap高度图表示，以提供关于由Surface曲面表示的对象轮廓信息。

高度图可以从虚拟camera的视点生成，并作为具有拓扑/高度信息的Surface曲面。当Surface曲面在用户的视图中描绘物理对象的虚拟表示时，虚拟对象的轮廓或高度信息可以由使用物理对象的深度传感器或立体计算获得的深度信息来定义。或者，当渲染虚拟对象时，可以基于虚拟对象的已知3D数据来定义轮廓。

在渲染期间，可以使用高度图解决Surface曲面的可见性问题，因为从视点投射到场景中的光线与曲面的高度图相交。这样使用高度图有几个优点。例如，具有高度信息的Surface曲面允许更精确的视角透视调整和真实的子帧渲染。另外，高度图是一种简单而自然的数据结构，因为深度图已经是三维渲染的副产品，所以可以用来生成高度图。另外，由于相关计算可在AR/VR系统本地发生，所以实现高度图所需的数据移动量较低。这可以允许以更高的帧速率渲染场景。

使用高度图的另一个优势是，允许将外部摄像头捕捉到的信息正确地重新投影给用户。例如，在特定应用中，由摄像头捕获的信息将与用户的眼睛捕获的信息不一致，这是因为摄像头不能在空间上与用户的眼睛重合。高度图可用于将由摄像头捕获的信息正确地重新投影给用户。例如，VR/AR头显可以具有两个具有重叠视场的外向摄像头。当摄像头在物理环境中观察到一个共同的特征时，VR/AR系统可以使用三角测量技术来计算特征的深度。根据特征相对于摄像头的计算深度，VR/AR系统可以确定特征在3D空间中的位置。这种测量的深度信息可用于生成表示具有所观察特征的对象的Surface表面的高度图。当系统渲染场景以供显示时，系统可以从用户眼睛的角度执行可见性测试。例如，系统可以通过显示屏幕的表示的像素，从与用户的每只眼睛相对应的视点向3D空间投射光线。如果光线与具有高度贴的Surface曲面相交，则可以基于相交点和与Surface曲面相关联的纹理来确定光线投射通过的相应像素的颜色。以这种方式，显示给用户的渲染场景将从用户眼睛的视角透视而不是从摄像头的视角透视来计算。