报告：从TOBII基准测试验证AR/VR动态注视点渲染的益处
含HP Reverb G2 Omnicept Edition和Pico Neo 3 Pro Eye的基准测试数据
（映维网Nweon 2022年02月09日）国际调研机构Moor Insights & Strategy的AR/VR分析师Anshel Sag在2020年6月发布了《TOBII 基准测试验证动态注视点渲染的益处》。所述报告主要验证了Tobii用以测试动态注视点渲染的基本方法和数据，并说明了将Tobii Spotlight技术与英伟达可变速率色技术结合起来的益处。
尽管报告发表时市场仅有HTC VIVE Pro Eye和Pico Neo 2 Eye两款搭载了Tobii眼动追踪的VR头显设备，但随着HP Reverb G2 Omnicept Edition和Pico Neo 3 Pro Eye于2021年发售，Tobii又补充了后两款设备的基准测试数据。
下面是报告的完整内容：
《TOBII 基准测试验证动态注视点渲染的益处》
1. 简介
受到企业使用案例的引领，VR市场正在涌现出一批新生态设备。这些设备搭载了眼动追踪和注视点渲染（FR）技术，因此具有创新功能。这些技术最早于2019年年中被使用在商业化VR头显设备中。虽然当时这些还是相对较新的技术，但这些技术能够显著改进头显设备的性能；并能够生成诸多精确以及可执行的信息和洞见。在眼动追踪这个行业出现了重大的企业并购交易，这一过程整合了市场，留存了少数几家公司。Tobii就是经历了市场整合之后继续留在业界的眼动追踪独立企业，能够为OEM厂商提供机遇，将眼动追踪技术集成到他们的产品当中并以此收获眼动追踪技术所带来的益处。
例如，HTC的Vive Pro Eye头盔现在能够通过Tobii Spotlight技术以及英伟达的可变速率着色（ VRS）技术进行动态注视点渲染。这两种技术都已经发挥了很长时间的作用了。通过利用用户正在看向哪里这一信息，动态注视点渲染技术将高清画质渲染仅局限在用户的凝视点上。固定注视点（FFR）渲染降低了对于用户不太关注的区域进行高清画质渲染的需求，这样做并不会对性能产生较大影响，但是这种固定注视点渲染技术不能随着眼部的动作而进行动态变化。除了HTC的PC平台，Tobii 还与高通公司合作，将其眼动追踪解决方案集成到高通的独立式扩展现实（XR）平台，包括最新款的骁龙（Snapdragon） XR2参考设计当中。对于独立式VR头显设备，Pico的Neo 2 Eye头盔是搭载了Tobii眼动追踪解决方案的第一款商业化VR头显设备。越来越多的扩展现实头显设备都集成了眼 动追踪技术，人们现在已经开始认为眼动追踪是头显设备的标配技术了，对于企业用户来说尤其如此。
2. 基准测试的目的
注视点渲染的主要益处是降低GPU负载。为了实现这个目标，高清画质渲染仅局限于屏幕上的一小块区域，而其余的区域都采用中清或低清画质来渲染以降低成本。有了动态注视点渲染技术，高清渲染可以紧密追踪用户的凝视点，最大限度地提升用户体验的品质。为了在HTC的新型Vive Pro Eye头盔上启用注视点渲染技术，Tobii与英伟达联手使用可变速率着色技术。可变速率着色技术是英伟达VRWorks的组成部分。
现在商业化的VR头显设备搭载注视点渲染技术以及基于注视点渲染技术的图形显卡，我们现在可以将注视点渲染的益处量化。Tobii进行了基准测试，以说明将Tobii Spotlight技术与英伟达可变速率色技术结合起来的益处。基准测试通过注视点渲染所带来的工作负载改进来衡量益处。
3. 基准测试需要的组件
3.1 硬件
基准测试测量了HTC Vive Pro Eye头盔的动态注视点渲染能力。测试使用了一台Alienware Aurora台式游戏个人电脑，其配置如下表所示：
ALIENWARE AURORA 个人电脑硬件配置
中央处理器 CPU：英特尔 酷睿 i7 处理器 8700K
图形处理器 GPU： ASUS GeForce RTX 2070 以及 2080 Ti
内存：16GB 双通道 DDR4 工作频率 2666MHz
存储：512GB M.2 PCIe 固态硬盘
图形显卡模型：英伟达 RTX 技术与 Turing 架构支持的 RTX 2070 与 2080 Ti图形显卡，能够支持可变速率着色（VRS）
输入／输出设备：DP 接口
除了在个人电脑上进行测试，Tobii还在Pico Neo 2 Eye头盔上使用Tobii开发的注视点渲染演示进行了类似测试。
PICO NEO 2 EYE 头盔系统配置
中央处理器 CPU： 骁龙 845
图形处理器 GPU： Adreno 630
内存： 4GB
存储： 128GB
图形显卡模型： Adreno 630
输入／输出设备：不适用
3.2 软件
Tobii在测试中使用的软件包括：微软Windows 10系统结合英伟达图形驱动器作为基础安装；Unreal引擎（Unreal 引擎 v4.2）作为主控引擎用以进行基准测试／演示。Unreal引擎演示是一个开源演示，这个开源演示是由Epic Games首先开发的，名字叫做Showdown; 当Unreal引擎更新了专门用于早期VR平台的新功能时，这个演示最初被用于VR的图形演示。为了捕捉性能数据，Tobii使用了 Unreal分析器以收集有关每一帧画面状态的精准信息。这些信息是由GPU生成，并通过游戏引擎传输到头显设备上的。Tobii为VR创建了自己的Unity 测试情境，可以生成重复的结果，并在不同的游戏引擎上开展性能一致性的验证。SteamVR也是测试配置中的一个关键组成部分，因为它能使 HTC Vive Pro Eye头显设备与操作系统以及具有最优性能的图形显卡进行无缝沟通。
ALIENWARE AURORA 个人电脑软件配置
操作系统 Windows 10 v 1903
图形驱动器 英伟达(416.34)
主控引擎 Unreal 引擎(4.20)；Unity 引擎(2019.2.9f1)
演示：Showdown (开源演示，来自 Epic Games)；Adam 内部环境 (Unity)
GPU分析器： Unreal 分析器；Unity 分析器
HTC Vive Pro Eye 头盔驱动：SteamVR (1.6.10)
4. 配置/安装
测试中使用的HTC Vive Pro Eye头盔，是通过USB以及DP接入到英伟达RTX2070 GPU 或者 RTX2080 Ti；通过运行时（runtime）连接到头显设备上的传感器，运行演示并启用眼动追踪。Tobii还将一个监测器与Alienware Aurora内部的RTX2070或者RTX2080 Ti进行连接；监测器扫描演示／基准测试以复制一个普通用户的安装并实时显示演示的运行。然而，由于没有进行任何3D渲染，连接一台监测器并不会对整体性能造成实际影响。
该测试要求进行三次不同的运行，每一次运行都会带来不同的着色密度：首次运行没有启用可变速率着色的基线情境（即完全渲染）；第二次则使用了可变速率着色静态注视点渲 染（FFR）；第三次使用了Tobii Spotlight技术驱动的可变速率着色动态注视点渲染（DFR）。如果没有启用可变速率着色，结果就是100%的着色密度；使用可变速率着色静态注视点渲染的的结果是41.25%的着色密度；使用了Tobii技术的动态注视点渲染结果是16%的着色密度。
为了模拟更大量复杂的内容，测试对Showdown演示中的一些场景进行了修改，包括加入了额外的光并且提高了画质分辨率。测试时启用了基于物理的渲染，纹理尺寸的范围是从1024到4096。Tobii也在SteamVR中启用了超级采样（super sampling），允许更高清画质的测试以对图形进行更有效的强调。对于RTX2070以及RTX2080Ti，也都采用了上述这种配置。
对于独立式平台，Tobii在对Pico Neo 2 Eye头盔进行测试的时候使用了Adreno注视点 渲染。Adreno 注视点渲染利用了Tobii Spotlight技术来追踪用户的眼部运动，仅对用户 正在注视的区域进行高质渲染。Adreno注视点渲染是高通公司Snapdragon SoC GPU的功能，与英伟达具有可变速率着色功能的GPU类似。虽然在硬件上启用了这些功能，开发者仍然需要修改应用以利用这些功能。
5. 基准测试流程
在将HTC Vive Pro Eye头盔接入系统之后（假定其安装正确），必须打开Unreal引擎分析器以捕捉帧率和帧数。测试者需要将VR头显设备放置在一个静态的表面，并在基准测试的过程中不得有任何移动。这会生成一个稳定且可重复的基准数据，而去除潜在的变数。Tobii在各种不同的头部位置都进行了这个基准测试，以去除某一个头部位置可能会对测试结果带来的任何偏见，因为不同的位置可能会引发细节变化。另外，因为并没有用户戴着VR头显设备用他们的凝视来指明注视点区域，眼动追踪会将中央位置作为默认的注视点位置，在显示区域的中心部分进行注视点渲染。然而，Tobii 同样也对十位不同的用户进行了测试，这十位用户戴着VR头显设备来验证这些结果。虽然在真人身上进行基准测试会使测试环境不是非常一致，但这也对上述结果提供了对现实世界的重要验证。
Unreal引擎Showdown演示是按照一个预设路径来运行的，以保证在每一次测试中，同样的效果、动画都会在一模一样的时刻出现，这样就不太需要为任何潜在的游戏或者应用程序来生成一个脚本化路径。Tobii基准测试捕捉了Unreal引擎分析器的数据：帧数与帧率以及GPU着色负载，这些数据都是CSV格式。在运行基线情境的基准测试时，测试者没有启用英伟达的可变速率着色功能，所测试出的性能表现并没有注视点渲染或者可变速率着色。在测试者设定了这个基线情境之后，他们启用了英伟达可变速率着色功能来进行基准测试的运行。这个测试得出的性能表现具有静态注视点渲染效果，测试性能得到了改进；虽然没有进行眼动追踪，但是拥有注视点渲染的效果提升。
一旦测试者建立了这两种性能表现水平，第三次、也就是最后一次基准测试时他们启用了Tobii Spotlight技术以及可变速率着色功能，使得测试结果能够获取动态注视点渲染的性能表现信息。然后测试者将第三次测试的结果与基线结果相比较；基线结果也就是最差的性能表现水平。他们能够在运行基准测试的同时从Unreal引擎分析器获取GPU渲染负 载，而测试者也能使用分析器测算出来的渲染负载信息很轻易地将所获取的数据进行比较。
测试者使用了一系列Unity游戏资源商店中的样本来建立 Unity 演示，这些样本包括 Unity 为一个航空器里的机器人所创建的Adam演示，用以描绘一个非常高质量的机器人3D模 型。Unity 演示同样也使用了英伟达的可变速率着色技术，这与 Unreal 引擎演示所采用的方法是一样的。另外，Tobii使用SteamVR ，用更高清的分辨率运行了所有以上三种基准 测试，通过超级采样来模拟更高清的VR头显设备（范围从 1x 到 3x 的自身分辨率）。
6. 基准测试结果
为了观察着色负载的改进，每个情境的负载都与基线情境的负载进行了比较。基于Tobii的基准测试及其结果，着色负载有了大幅降低。当测试者将动态注视点渲染的结果与没有启用可变速率着色的情境进行比较时，降幅达到57%。这种大幅降低是在平均着色率为16%时所获得的（而在没有启用可变速率着色时的基线情境中，平均着色率为100%）。Moor Insights & Strategy在基准测试的过程中亲眼见证了这些结果，我们也审核了支持上述结论的相关数据。
这些结果说明：制造商可以通过在他们的头显设备上安装Tobii Spotlight技术。并在使用应用程序的时候启用英伟达可变速率着色技术或者Adreno注视点渲染技术，从而大幅降低GPU负载。这样的负载降低能够带来激动人心的诸多可能性：例如在不那么强大的GPU系统上运行头显设备；无须使用更加强大的GPU系统的情况下在头显设备上启用更高分辨率；解锁其它诸如光线追踪（ray tracing）的功能，这种功能可以渲染写实的高质量图形。
对于独立式VR头显设备，例如Pico Neo 2 Eye头盔，注视点渲染可以使得设备在一个可靠的帧率水平为用户提供更加一致性的体验，而降低对场景复杂程度的依赖。因为独立式VR头显设备性能强大，并且对性能表现较为敏感，所以如果有一项技术能够使帧率提高 并保持稳定一致，那就是一个令人可喜的进步。使用Tobii Spotlight技术的注视点渲染功 能，如果在移动平台上得到启用，这将会给用户体验带来更多的益处。基于注视点渲染来对一个设备的性能表现以及电池寿命进行调整，这种能力将使OEM厂商制造出更舒适以 及更有价格竞争力的VR头显设备。
例如，注视点渲染能够改进VR游戏以及企业应用的质量，而不会影响其性能表现。同样， 这也能够帮助更低价格的头显设备在运行游戏或者应用时，表现出与没有启用注视点渲染功能的更高性能头显设备相类似的质量水平。有了这个能力，一些OEM厂商在市场上就能够更具竞争力。在虚拟现实这个市场上，分辨率是一个很受欢迎的功能，但如果没有眼动追踪这一功能，高清分辨率通常也被认为会拉低性能表现。
值得一提的是，由于验证报告发布时市场仅有HTC Vive Pro Eye和Pico Neo 2 Eye两款搭载Tobii Eye Tracking的头显设备，而HP Reverb G2 Omnicept Edition和Pico Neo 3 Pro Eye则于2021年相继发布，所以Tobii依照报告所验证的基准测试方法，在产品发布之初测试了其动态注视点渲染效果，以下为相关测试数据：
注：
- Pico Neo 3 Pro Eye 数据：基于 Qualcomm 的 Adreno foveation 在 Spot’s Apartment 中进行的基准测试数据。
- HP Reverb G2 Omnicept Edition数据：基于 NVIDIA VRS 在 Showdown VR中进行的基准测试数据。
- FPS提高幅度：在运行相同预设和场景复杂度时，动态注视点渲染相较于没有注视点渲染情况下的计算帧率增加。
- GPU 着色负载降低：在运行相同的预设和场景复杂度时，计算得出的 GPU 基础通道着色负载相较于没有注视点渲染情况下的减少量。
- 功耗节省：在运行相同的场景复杂度和最大 FPS 的情况下，计算出电池功耗相较于没有注视点渲染情况下的减少量。
7. 评估
在我们看来，在个人电脑以及独立式VR头显设备上测试Tobii Spotlight技术，对于现有发展阶段的注视点渲染是一个很好的基准测试。完全能够量化动态注视点渲染为GPU节约了多少渲染负载。我们认为该测试使用了标准的、业界认可的软件、硬件以及方法来准确比较了启用动态注视点渲染的VR头显设备和没有搭载动态注视点渲染的VR头显设备。现有可用的硬件和软件有限，因此完整安装测试仅限于少数配置。我们认为Tobii在测试这些可能性方面表现优异。
Tobii对于Unity引擎以及Unreal引擎的测试可以很好地帮助开发者理解这个事实：不论使用哪一种引擎都会获得益处；几乎任何VR应用都能够从动态注视点渲染这一技术中获得显著的益处。同样，这个基准测试也很好地显示出Tobii公司是启用并量化动态注视点渲染功能的领军者，给业界提供了一个良好的起点，并以此为基础进一步优化。Tobii在虚拟现实/增强现实这个行业的领导者地位是非常重要的，因为我们需要可量化的方式来衡量VR头显设备在启用了注视点渲染功能时的表现。
Tobii对于不启用可变速率着色、使用静态注视点渲染以及使用动态注视点渲染的测试是一个很好的选择和做法，因为这样的测试为我们提供了最佳情境、最差情境以及中等情境。我们认为Tobii使用 HTC的Vive Pro Eye头盔以及Pico Neo 2 Eye头盔这样的设备也是很好的决定，因为这两个设备的分辨率以及内置的Tobii Spotlight技术。另外，不让用户戴着VR头显设备来运行测试也是很明智的决定，这可以将可能发生的变数最小化，因为人类头部的运动是很难被控制的。我们认为Tobii的测试流程很深入全面，并且其测试结果能够被轻易重复，这一点非常重要。在对Tobii Spotlight这样的技术进行重要评估时， 结果的可重复性极为关键。
Tobii同样也进行了真人用户测试，以观测当用户戴着VR头显设备时，测试结果是否还能重现。绝大多数情况下，结果是可复制的。真人用户测试的主要问题是：人们会在进行 基准测试的过程中，在这一次和下一次测试时看向不同的东西。这就潜在地影响了到底哪些画面得到了渲染，进而影响到可以达到什么样的帧率。话虽如此，在一个基准测试中， 能够让一位真人用户戴着VR头显设备来进行测试，这已经是绝大程度地接近了真实世界的效果。
8. VR行业成果
Tobii Spotlight技术基准应当成为虚拟现实行业的一个标准，因为眼动追踪越来越成为扩展现实头显设备的标配功能，而用户对此的期待也是与日剧增。Tobii的基准使得VR头显设备的OEM厂商能够理解这一点：将基于Tobii Spotlight技术的动态注视点渲染功能集成到他们的产品中具有可量化的价值。这个基准测试使得Tobii成为增强现实/虚拟现实（AR/VR）行业的思想领袖；该测试也为行业改进的方向设定了一个标准，并能够提供更好的用户体验并生产更好的设备。
个人电脑以及独立式VR OEM厂商能够从这项基准测试的结果中受益良多，因为具备动态注视点渲染功能的VR头显设备可以呈现一系列高低不同的性能表现水平，而非只能发挥最优性能。现在这一点还是大家都在讨论的问题。OEM厂商如果打算使用Tobii Spotlight技术，也可以在生产他们的下一代VR头显设备时，做出相应的设计、性能以及成本相关决策，考虑应当采购什么组件。另外，帧率得到提高；GPU渲染负载得到节省， 开发者也能加入先进的图形功能或者利用更高的分辨率纹理改进图像质量。
上述这些优势仅仅是通过动态注视点渲染技术节约GPU图形渲染负载后所得到的一部分益处。我们也认为眼动追踪能够为用户体验、用户界面以及其它分析数据提供可衡量的好 处，而这些都是企业赖以取得成功的因素。对于消费者个人用户以及企业用户来说，这能够使他们负担得起高质量头显设备；高端头显设备也可以继续提升像素密度，而不会对系统性能表现产生显著影响。
