DisplayLink为无线VR演示“注视点压缩”技术,可将所需带宽降至1/3
文章相关引用及参考:roadtovr
基于眼动追踪的注视点压缩技术
(映维网 2019年01月12日)DisplayLink过去数年间一直在研发无线VR压缩技术,而他们的努力在最近发布的Vive无线升级套件中得到了体现。但VR头显正不可避免地朝着更高的分辨率发展(正如本周CES 2019大会所见),这使得它们越来越难以实现无线化。幸运的是,DisplayLink的特定技术可以在不影响延迟的情况下提高压缩效率,而他们于本周向Road to VR进行了展示。
相信映维网的大多数读者都已经相当熟悉注视点渲染的概念:由于我们的眼睛只能在视场中心范围内看到高保真度内容,所以VR系统可以集中渲染注视点位置的图像,并降低外围视场的图像质量较低,从而降低整体系统的渲染消耗。对于这一点,眼动追踪可确保系统能够始终在用户视场中心渲染高质量图像。如果足够优秀,用户将完全不会察觉任何的不同。
DisplayLink在压缩方面应用了相同的概念。压缩对于无线VR至关重要,因为这是无线连接,而你需要以高帧率发送高分辨率图像。由于无线连接的不完美性,有时会出现带宽突然下降的情况。
保持流畅的视觉效果任何无线VR体验的要求。为了保持图像的一致性,DisplayLink对压缩技术进行了特别的设计:其能够即时响应带宽的变化。例如,如果用户的手短暂地阻挡天线,系统可以应用更多压缩以确保图像可以适应减少的带宽。
除了在带宽减少的情况下保持一致图像之外,我们同时需要更高效的压缩,这样未来头显中更高分辨率的帧画就能够适配相同的可用带宽。
由于这两个原因,DisplayLink正在大力研发“注视点压缩”技术。这主要是利用眼动追踪数据来判断应在哪里最大程度地压缩帧,以及在哪里保持锐利的画面。这家公司指出,在这样做的过程中,压缩效率得到了相当大的提升。
利用配备Tobii眼动追踪的Vive头显,DisplayLink演示了基于其无线适配器参考设计的一个demo。在一开始,适配器利用Vive无线升级套件中可用的相同带宽量来将图像传输到头显。然后他们开启了注视点压缩技术,并将所需的可用带宽降低到三分之一。
Road to VR的Ben Lang指出,全带宽图像和三分之一带宽图像之间看上去几乎一模一样。即使是不断转动眼球以寻找高压缩区域的边缘,Lang仍然没有发现任何的不同,只是在外围视场短暂看到了一丁点块状区域,而这可是在积极主动地寻找伪影情况下才出现。
即便是要求工作人员快速地切换全带宽模式和三分之一带宽模式,你仍然很难看到任何实质性的不同。Lang表示:“如果他们从一开始就用注视点压缩(同时不向我进行解释),我认为我将不知道这到底发生了什么事情,而这正是它本应由的效果。”
当然,这存在一定的注意事项:这只是用于概念证明的演示,我体验的内容不多(只是站在SteamVR的主区域)。所以我不知道这种注视点压缩方法是否适用于所有的内容,或者是社用于大多数内容。对于更复杂的颜色,对比度,以及存在大量的运动情况,我无法确定它是否仍然能维持相同的效果。另外,演示所用的设备是原版Vive。与其他版本相比,它的分辨率较低。更高分辨率可能会令注视点压缩变得更难以实现。
然而,注视点压缩基本上是基于DisplayLink现有的压缩技术,而这对今天的VR头显而言已经是非常好用,所以如果说这种注视点压缩能够真正发挥作用,我们将不会感到意外。