Meta AR/VR专利介绍一种基于注视点的自适应超级采样技术

小编广东客 | 分类：专利 | 发布日期 2024年4月8日

加入映维网会员

查看引用/信息源请点击：映维网Nweon

基于注视点的自适应超级采样

（映维网资讯）由于其有限的系统资源（例如电池，计算，内存等），AR/VR设备必须限制渲染图像的分辨率。另外，与传统显示器一样，AR/VR设备使用像素向用户可视化AR/VR内容，这意味着如果不进行校正，可视化内容很容易受到锯齿伪影的影响。

针对这个问题，在名为“Adaptive super-sampling based on gaze”的中，Meta介绍了一种基于注视点的自适应超级采样技术。

Meta表示，超采样是提高图像感知和抗混叠效果的有效技术。对于每度像素有限的AR/VR头显，超级采样可以用来提高图像的感知质量。超采样同时是减少混叠的有效方法。

出现混叠是因为视觉显示通常由通常是显示的小正方形增量的像素组成。由于像素的形状是正方形，因此可以有效地显示具有沿像素的直边缘整齐地匹配的直边缘的形状。

然而，当显示具有弯曲边界的图像或对角线运行的图像并且需要在数字显示器中通过像素的对角线部分显示时，困难就会出现。

这种不受欢迎的视觉效果可以描述为混叠。视觉显示可以应用抗混叠技术，如超级采样。它允许在图像的边界处平均像素的颜色，从而减轻混叠图像的阶梯状或锯齿状边缘。像超级采样这样的抗锯齿技术可能有助于使图像看起来更平滑，从而对观看者来说更逼真。

由于有限的系统资源，需要仔细设计采样的数量和它们的位置，以允许系统以所需的帧率呈现。当超采样时，每个像素的最终颜色是基于多个样本确定。例如，可以根据采样图案对像素内的内容进行采样，并且可以对采样的颜色进行混合以确定像素的最终颜色。

遗憾的是，由于前庭-眼反射效应VOR，AR/VR的挑战非常大，VOR允许AR或VR用户旋转头部，并依然将目光保持在目标内容上。当用户的头部旋转时，世界锁定的目标内容将在显示器移动。

因此，如果使用的采样图案相对于显示器静态，或者只适应用户的头部运动，由于VOR，当用户移动头部并看着一个物体时，他的眼睛可能会一直固定在目标对象，这意味着用户将使用不同的图案观察正在采样的目标物体，没有期望的属性。反过来，这将使采样图案非常明显和分散。

另外，与更传统的视觉显示器不同，头戴式设备的位置靠近用户的视线，用户的眼睛到显示器屏幕的距离可能只有几英寸或更少。因此，用户的眼睛相对于显示屏的角度运动可能相当大。因此，头戴式显示器的用户可能会在短时间内扫描显示屏的大部分，而眼球运动很少，这进一步加剧了非期望的效果。

为了解决上述可归因于VOR的问题，发明描述的技术使用眼动追踪来动态移动所使用的采样图案。

在具体实施例中，计算系统可以确定佩戴头戴式设备的用户的注视方向。用户的注视方向可以基于头戴式设备的一个或多个传感器捕获的眼动追踪数据来确定。

在具体实施例中，计算机系统可以为所述多个像素中的每一个确定一组基于用户注视方向的采样位置，所述多个像素的采样位置集是基于所述用户注视方向定义的采样图案的一部分。

计算机系统可以基于用户的注视方向确定显示器的注视位置，其中，基于注视位置确定多个像素中每一个像素的采样位置集，并且相对于注视位置定义采样图案。与多个像素中的每一个相关联的采样位置集可以基于像素的位置和注视位置程序地生成。

在特定实施例中，采样图案追踪注视位置。采样图案相对于注视位置是固定的。与多个像素中的每一个相关联的采样位置集用于减少图像中的混叠伪影。

在具体实施例中，计算机系统可以根据与所述像素相关联的采样位置集对场景进行采样，从而对所述多个像素中的每一个像素计算所述像素的颜色值。

在具体实施例中，计算机系统可以使用多个像素的颜色值生成图像，并使用头戴式设备的显示输出图像。

图1A示出无混叠伪影的图像。图1A可包括目标内容101和显示器102，所述显示器102可输出具有多个像素201的目标内容101的示例图像103。在特定实施例中，目标内容101可以平滑地装入显示器102内多个像素201的网格状图案中。

图1B可包括目标内容104和显示器102，所述显示器102可输出具有多个像素201的目标内容104的示例图像105。在具体实施例中，当栅格化成像素时，目标内容104可能不能平滑地装入显示器内多个像素201的网格状图案中。因此，所述图像105可以具有诸如在其边界处具有阶梯状线的混叠伪影。

图2展示了超采样技术。图2示出像素区域201。像素区域201可以包括任何内容，其可以具有不同颜色的不同深浅，但最终分配给像素的像素值只能表示单一颜色。为了确定像素的像素值，呈现系统可以对像素区域201内的一个或多个位置进行采样。

所用采样的数量和样本的位置影响像素值的最终近似值。例如，如果在中心采样位置202对像素区域201进行采样，并且采样的颜色为黑色，则将使用黑色作为最终像素203的值。在另一个示例中，可以使用四个不同的采样位置对像素区域201进行采样。

在图2所示的底部示例中，两个采样位置204为黑色，另外两个采样位置为白色。当采样的颜色混合，一个灰色阴影将是最终像素206的值。作为示例，像素区域201可以通过像素区域201内的任意数量的样本和各种位置进行超采样。在特定实施例中，受超采样影响的像素区域201可显示平均颜色206以帮助图像抗混叠。

图3示出用于超采样的示例性采样图案301。在特定实施例中，采样图案可用于抗混叠图像。

采样图案301可以由多个不同的阴影点组成，其中每个点是采样位置。作为示例，采样图案301可以有许多不同的类型和形式。

在具体实施例中，采样图案301可以在视觉显示器的屏幕空间内定义。作为一个例子，相对于屏幕定义的采样图案301对于电视或显示器中的显示是可以接受的，其中用户的注视通常不会相对于屏幕发生太大变化。

但对于AR/VR头戴式设备中的视觉显示，情况可能并非如此。对于头戴式显示器，特别是AR/VR应用，用户的目光可能经常扫描整个显示器，可能目光锁定在现实世界中的目标内容。这可能导致用户查看采样图案301的不同区域，并看到目标内容移动到通过采样图案301的各个区域。因此，用户的眼睛可能会在显示中看到不断变化的图案，导致用户感知视觉噪点伪影，最终降低用户的视觉体验。

4A-4B说明了具有相对于用户注视位置402定义的采样图案301的头戴式设备显示器401。图4A示出了当用户朝向显示器401的中心观看时，相对于用户注视位置402定义的采样图案301。

图4B示出了当用户远离显示器401的中心时，相对于用户注视位置402定义的采样图案301。在特定实施例中，可以使用任何合适的眼动追踪设备和/或算法来确定佩戴头戴式设备的用户的注视方向。

头戴式设备可具有配置为输出具有多个像素201的图像的显示器401。在具体实施例中，对于所述多个像素201中的每一个，可以确定基于用户注视方向的一组采样位置，所述多个像素201的采样位置集是基于所述用户注视方向定义的采样图案301的一部分。

在具体实施例中，可以根据用户的注视方向确定显示器401的注视位置402，其中根据注视位置402确定多个像素201中每一个像素201的采样位置集，并且相对于注视位置402定义采样图案301。
作为示例，与多个像素201中的每一个相关联的采样位置集基于像素201的位置和注视位置402的位置程序地生成。在特定实施例中，用于生成图像的采样图案301的部分依赖于用户的注视位置402，其允许无论用户在显示器401上的何处观看，采样图案301的方向对用户保持一致。

作为示例，可以在显示器401的用户注视位置402处定义采样图案301的中心。可以根据用户的注视方向确定显示器401的注视位置402，其中根据注视位置402确定多个像素201中每一个的采样位置集，并且相对于注视位置定义采样图案301。采样图案301追踪注视位置402。用户的注视方向是基于由头戴式设备的一个或多个传感器捕获的眼动追踪数据来确定的。

图5示出在显示器401确定用户注视位置402的示例方法。图5示出所述显示器401和所述用户眼503。

在具体实施例中，确定注视位置402可包括确定用户眼睛503的注视方向506与光轴502之间的注视角度(α) 507，确定眼睛503与显示器401沿着眼睛503的光轴502之间的距离(d) 504，并根据注视角度507和距离d 504计算，在由眼睛503的光轴502相交的显示器上的位置和注视位置402之间的偏移量(Δ) 508。

作为一个示例，偏移量(Δ) 508可以是显示401内的距离，并且可以通过三角计算来计算，例如d tan(α)=Δ。在特定实施例中，偏移量(Δ) 508可针对X轴和Y轴计算，并用于确定采样图案301的位置。