Meta为Quest串流发布AFI技术,提升网络不稳定下的PC VR串流体验

查看引用/信息源请点击:映维网Nweon

目前只是实验性功能

映维网Nweon 2022年03月16日)没有线缆束缚,能够自由畅玩虚拟世界是Quest 2的关键亮点之一,而早前推出的Air Link更是允许你流式传输PC VR内容。但有时无线网络并不稳定,出现丢帧和延迟,从而影响VR体验。

早前社区已经传闻Meta会针对网络干扰问题而为Quest发布一个类ASW功能。现在,团队正式公开了名为Air Link Framerate Insurance(AFI)的实验性功能:它可以在一定程度平滑网络干扰所造成的视觉伪影。下文解释了具体原理和启用方式:

1. PC端的ASW

Meta最初是在2016年为Rift发布了涵盖ASW 1.0。具体来说,这项技术主要是通过插帧来将PC帧率提高一倍,亦即45 fps的应用可以达到VR标准要求的90 fps,从而允许较低配置的PC设备能够渲染出流畅的VR内容。注意,ASW不是优化画面清晰度,而是带来流畅的帧率。

在2019年,Meta又发布了结合ASW 1.0和Positional Timewarp(定位时间扭曲;PTW)的ASW 2.0,进一步提升了插帧体验。

然而,一旦VR渲染离开PC并遇到Wi-Fi干扰,你将无法享受PC端ASW的资源。

2. ASW vs AFI

当无线信号变得不稳定时,延迟或丢帧就会出现。为了保持虚拟世界的显示,头显会不断应用旋转校正以匹配头部的当前旋转。但由于头部平移,较近的对象会受到视差运动的影响,亦即不再校正移动的对象,并出现抖动伪影,从而对体验产生负面影响。

ASW的插帧技术旨在解决上述问题,但不能用于Quest的流式传输,它无法减轻网络传输峰值导致的丢帧。启用ASW需要PC和头显之间的双向通信,使其在网络传输峰值期间无法使用。它同时需要可靠及时地交付间隔帧的质量,而不稳定的网络并不能保证这一点。最后,与动态比特率不同,ASW在长时间使用时会增加输入延迟。

所以对于Air Link,我们需要一种可以将ASW风格的扭曲校正立即按需应用。Meta称这种技术为Air Link Framerate Insurance(AFI)。

启用后,AFI将应用与ASW 1.0类似的技术,但它是按需启用和在Quest端启用。提交到头显的前几帧会提交到GPU,并用于计算运动矢量,然后应用矢量来外推头部运动和动画,从而平滑重新投影的帧。

如果你的无线连接足够好,你应该永远不会看到AFI,但若出现网络不稳定的情况,AFI将有望为你解决问题。

注意:这项技术与Application SpaceWarp(AppSW)不同。AppSW是一种面向开发者的技术,用于优化原生Quest应用的性能,需要集成游戏引擎。AFI则专注于缓解Air Link传输干扰,并在启用时自动适用于所有Link兼容应用。

3. 如何启用AFI

默认情况下,所有用户都禁用AFI。要打开它,请按照以下说明操作:

3.1 开启AFI的要求

  • PC和Quest的软件版本都必须是v38+
  • Quest 2(Quest 1不支持AFI)
  • USB Link或Air Link

3.2 开启AFI的步骤

  1. 启动Oculus Debug Tool(ODT)
  2. 将“ Mobile ASW”选项设置为“Enabled – Framerate Insurance”
    • 其他选项解释:Disabled/禁用是指强制禁用AFI;Auto/自动是指采用默认设置(在v38中,默认设置为“禁用”)。注意,选择“启用”或“禁用”而不是“自动”,这将覆盖未来版本中的默认设置。

  1. [可选]将“(PC)Asynchronous Spacewarp”选项设置为“Disabled”
    • 注意,默认情况下PC ASW处于启用状态。对于期待通过Mobile ASW减少PC资源消耗的用户,在AFI启用时可以禁用PC ASW。要减少资源消耗,请禁用PC ASW。当然,在大多数情况下,同时使用AFI和PC ASW是最高的视觉质量选项,因为PC ASW应用了额外的延迟缓解技术(例如PTW)。

4. 注意

如果网络条件非常糟糕,以至于连续丢帧,系统将停止对所述帧使用ASW,因为从最后一个“好”帧开始,重投影时间越长,其近似值就越差。

另外,计算相对帧运动的光流算法并不完善。如果帧中有重复图案的纹理,这可能会混淆算法,并导致局部错误。

5. 已知问题

本版本不支持以120Hz运行AFI。这样做会导致显著的抖动和延迟伪影。但Meta表示将在未来的版本中解决这个错误。另外,目前AFI只是实验性功能,有待进一步完善和优化。

本文链接https://news.nweon.com/95258
转载须知:转载摘编需注明来源映维网并保留本文链接
入行必读:AR/VR——计算机历史第二次大浪潮

更多阅读推荐......

资讯