Meta为Quest串流发布AFI技术,提升网络不稳定下的PC VR串流体验
目前只是实验性功能
(映维网Nweon 2022年03月16日)没有线缆束缚,能够自由畅玩虚拟世界是Quest 2的关键亮点之一,而早前推出的Air Link更是允许你流式传输PC VR内容。但有时无线网络并不稳定,出现丢帧和延迟,从而影响VR体验。
早前社区已经传闻Meta会针对网络干扰问题而为Quest发布一个类ASW功能。现在,团队正式公开了名为Air Link Framerate Insurance(AFI)的实验性功能:它可以在一定程度平滑网络干扰所造成的视觉伪影。下文解释了具体原理和启用方式:
1. PC端的ASW
Meta最初是在2016年为Rift发布了涵盖ASW 1.0。具体来说,这项技术主要是通过插帧来将PC帧率提高一倍,亦即45 fps的应用可以达到VR标准要求的90 fps,从而允许较低配置的PC设备能够渲染出流畅的VR内容。注意,ASW不是优化画面清晰度,而是带来流畅的帧率。
在2019年,Meta又发布了结合ASW 1.0和Positional Timewarp(定位时间扭曲;PTW)的ASW 2.0,进一步提升了插帧体验。
然而,一旦VR渲染离开PC并遇到Wi-Fi干扰,你将无法享受PC端ASW的资源。
2. ASW vs AFI
当无线信号变得不稳定时,延迟或丢帧就会出现。为了保持虚拟世界的显示,头显会不断应用旋转校正以匹配头部的当前旋转。但由于头部平移,较近的对象会受到视差运动的影响,亦即不再校正移动的对象,并出现抖动伪影,从而对体验产生负面影响。
ASW的插帧技术旨在解决上述问题,但不能用于Quest的流式传输,它无法减轻网络传输峰值导致的丢帧。启用ASW需要PC和头显之间的双向通信,使其在网络传输峰值期间无法使用。它同时需要可靠及时地交付间隔帧的质量,而不稳定的网络并不能保证这一点。最后,与动态比特率不同,ASW在长时间使用时会增加输入延迟。
所以对于Air Link,我们需要一种可以将ASW风格的扭曲校正立即按需应用。Meta称这种技术为Air Link Framerate Insurance(AFI)。
启用后,AFI将应用与ASW 1.0类似的技术,但它是按需启用和在Quest端启用。提交到头显的前几帧会提交到GPU,并用于计算运动矢量,然后应用矢量来外推头部运动和动画,从而平滑重新投影的帧。
如果你的无线连接足够好,你应该永远不会看到AFI,但若出现网络不稳定的情况,AFI将有望为你解决问题。
注意:这项技术与Application SpaceWarp(AppSW)不同。AppSW是一种面向开发者的技术,用于优化原生Quest应用的性能,需要集成游戏引擎。AFI则专注于缓解Air Link传输干扰,并在启用时自动适用于所有Link兼容应用。
3. 如何启用AFI
默认情况下,所有用户都禁用AFI。要打开它,请按照以下说明操作:
3.1 开启AFI的要求
- PC和Quest的软件版本都必须是v38+
- Quest 2(Quest 1不支持AFI)
- USB Link或Air Link
3.2 开启AFI的步骤
- 启动Oculus Debug Tool(ODT)
- 将“ Mobile ASW”选项设置为“Enabled - Framerate Insurance”
- 其他选项解释:Disabled/禁用是指强制禁用AFI;Auto/自动是指采用默认设置(在v38中,默认设置为“禁用”)。注意,选择“启用”或“禁用”而不是“自动”,这将覆盖未来版本中的默认设置。
- [可选]将“(PC)Asynchronous Spacewarp”选项设置为“Disabled”
- 注意,默认情况下PC ASW处于启用状态。对于期待通过Mobile ASW减少PC资源消耗的用户,在AFI启用时可以禁用PC ASW。要减少资源消耗,请禁用PC ASW。当然,在大多数情况下,同时使用AFI和PC ASW是最高的视觉质量选项,因为PC ASW应用了额外的延迟缓解技术(例如PTW)。
4. 注意
如果网络条件非常糟糕,以至于连续丢帧,系统将停止对所述帧使用ASW,因为从最后一个“好”帧开始,重投影时间越长,其近似值就越差。
另外,计算相对帧运动的光流算法并不完善。如果帧中有重复图案的纹理,这可能会混淆算法,并导致局部错误。
5. 已知问题
本版本不支持以120Hz运行AFI。这样做会导致显著的抖动和延迟伪影。但Meta表示将在未来的版本中解决这个错误。另外,目前AFI只是实验性功能,有待进一步完善和优化。