Tobii新眼动技术令“驱动8K VR头显”成为可能

查看引用/信息源请点击：映维网

实现8K或以上分辨率成为了可能

（映维网 2019年10月17日）Tobii在过去的18年间已经成为全球领先的眼动追踪公司之一，为大量的设备和用例提供了一套眼动追踪与用户感应技术。现在，Tobii分享了其最近一直在探索注视点相关的技术和功能——Tobii Spotlight Technology。下面，我们将再介绍当前围绕注视点的技术优势，以及Tobii Spotlight Technology实现的基准测试。

1. 注视点渲染

注视点渲染是一种模仿人眼工作方式的计算过程。利用眼动追踪，动态注视点渲染（ynamic Foveated Rendering；DFR）可以将资源和带宽集中在需要高分辨率的图像区域（注视点区域），并降低外围视场的分辨率。以这种方式优化图像可以模拟自然视觉，同时减少对带宽和资源的需求，并且能够降低延迟并和改善响应时间。

Tobii新研发的Tobii Spotlight Technology是一种专门用于注视点渲染的先进眼动追踪技术。它可以以高精度，低延迟追踪用户的注视点，从而实现模拟真实人眼视觉的动态注视点渲染。通过减轻GPU负担并提高整体渲染速度，Tobii Spotlight Technology为VR应用程序的整体体验提供了一系列的优势：

更优的图像质量：节省GPU资源，可以在注视点区域实时渲染高分辨率图像。对于高分辨率头显，DFR的增益更大，因为DFR可以显著减少着色负载。

更高和更流畅的帧速率：帧速率定义了VR应用程序的性能和临场感。丢帧率会导致抖动，不仅明显，甚至会导致用户产生晕动症。DFR有助于保持更流畅的帧频。对于大渲染量，着色复杂的情景，DFR节省的成本最大。

提升图形：与标准PC游戏相比，VR应用程序在渲染方面的要求非常高。为了保持相同的性能水平，开发者传统上必须优化应用程序本身，这可能包括降低场景质量和禁用特定实时效果。DFR可以在不增加GPU负载的情况下实现更复杂，更逼真的着色，从而支持开发者纳入更高质量的设置。

节能：GPU负载的减少同时可以帮助笔记本电脑，头显和其他电池功能设备实现进一步的节能。

2. 注视点渲染+可变速率着色

如今，大量开发者都会将注视点渲染与英伟达VRS（可变速率着色；Variable Rate Shading）联系起来。这种渲染技术可允许你更好地控制着色密度和实现真正的超级采样。借助VRS，开发者可以选择提高视觉质量，降低GPU成本，甚至是两者兼得。

VRS将不同量级的处理能力应用于图像的不同区域。这项技术的工作原理主要是改变单个像素着色器操作所处理的像素数量。这种操作现在可以应用于像素块，从而允许应用程序有效地改变屏幕不同区域的着色质量。

为了实现最佳效果，VRS同时可以结合眼动追踪配，从而令最佳渲染质量与用户的注视点相匹配。VRS的自定义模式允许开发者根据注视点区域优化着色密度。注视点区域越小，GPU节省的收益就越大。注视点区域的大小取决于

1. 显示器的有效视场：注视点的角度范围不会随视场而变化。换句话说，必须以高质量显示的百分比会随着视场的增加而减少。

2. 注视点渲染技术产生的图像伪影。

3. 显示追踪注视点的延迟。

4. 眼动追踪系统的精确度和鲁棒性。

5. 用户对伪影的敏感性。

当结合低延迟的眼动跟踪信号时，VRS+DFR可为用户提供最优化的自定义模式。这可以最大程度地提高在应用程序中启用VRS的优势，因为你可以大大降低着色率，从而改善应用程序的整体性能，并可以在注视点区域进行超级采样以实现更优的图像质量。

3. 因人而异

并非所有眼动追踪信号都一致。延迟，频率，精度和噪点都会显著影响注视点区域大小，而信号可靠性，总体覆盖范围，角度精度下降，眼动信号伪影的影响则相对不太明显。

另外，追踪注视点的能力因人而异。有些人易于追踪，有些人则根本无法追踪。疲劳，脱水和疾病可以令原本容易追踪的用户变得更难追踪。有效的注视点渲染应该考虑这个问题。

Tobii向围绕注视点渲染的信号研究投入了大量的资金，包括开发可以减少或消除非专业信号可能存在的信号噪点的专用注视点渲染追踪信号。

4. 基准测试

Tobii最近进行了各种基准测试，比较了固定注视点渲染和动态注视点渲染的性能优势。固定注视点渲染（Fixed Foveated Rendering；FFR）这种技术假定用户一直保持正视，并且限制特定显示区域的渲染成本。另一方面，DFR将注视点区域移动到用户正在注视的任何位置，这进一步减小了注视点区域的大小。

结果（与非注视点渲染技术相比）显示：

• 在对场景各区域运行锁定六自由度（确定每个预设都有一个恒定帧率）的测试时，DFR可以将GPU着色负载平均减少约57％。对于场景中像素强度更高的区域，降幅更为明显。

• DFR极大地降低了GPU负载，令未来头显实现8K或以上分辨率成为了可能。

• DFR可允许开发者添加复杂的着色器和效果，从而改善图形并同时保持高性能。

在以Vive Pro Eye运行测试时，针对可变速率着色优化了注视点参数，令DFR的着色比率达到16％。对于固定注视点渲染，将着色密度配置为40％，这对Vive Pro Eye头显参数最为有效，而且启用后外围视场不会十分明显。屏幕分为数个区域，注视点区域（用户正在注视的区域），中间区域（注视点区域到外围区域的过渡）和外围区域（为最大增益而优化的区域）。在下图中，彩色叠加图说明了具有不同大小和形状参数的FFR和DFR区域。颜色编码是基于密度测量值的梯度，其中蓝色= 1采样，紫色= 1/4采样，紫红= 1/8采样，红色= 1/16采样，黑色=剔除。

《Showdown VR》是一款剧场式体验，场景不同部分有着不同的复杂性。这使得可以采样GPU着色负载的最高值和最低值，并以完全渲染模式，固定渲染模式和动态渲染模式进行比较。在下图中，发现场景某些部分的着色负载在完全渲染时会增加非常多（参阅第二次爆炸）。DFR的着色负载相对一致，即便是渲染量最大的部分，峰值都更少。对于下面的测试，对场景进行了轻微的改动：为提高分辨率并获得更高的图像质量，对场景进行3倍超级采样。在这里，发现即便场景的总体着色负载增加了，但DFR依然可以将GPU着色负载减少74.59％。

下一代头显的目标是实现更高的分辨率和更大的视场，所以其需要在屏幕渲染越来越多的像素。在下图中，对于正常的VR应用程序，注意到渲染的像素呈指数式增长。DFR可以为朝8K或以上分辨率发展的更高分辨率头显带来更为显著的负载降低。这直接影响到GPU的着色负载，因此随着头显分辨率的提高，DFR的节省同样会随之增加。这同时适用于现有头显的应用超级采样。

开发者同时可以选择转而增加场景中的视觉效果，同时保持平稳的帧率。这能够帮助开发者和设计者突破视觉效果和复杂着色器的限制。在下图中，对《Showdown VR》进行了一定的修改，提高了着色器和照明效果，但没有额外的加载成本。

对于VR应用程序而言，始终如一的高性能非常重要。DFR能够帮助应用程序保持这种高性能，并且支持更高的分辨率和更优的视觉效果。当Tobii Spotlight Technology与英伟达可变速率着色等技术结合使用时，可以通过降低GPU着色负载来实现最大收益。除渲染外，Tobii Spotlight Technology同时可应用于注视点传输等动态注视点技术。