95%压缩率!IMR高端VR无线技术体验手记
本文相关引用及参考:roadtovr
IMR是一家专门为高端VR头显研发无线技术的公司,他们的秘密武器是专为VR打造的算法。
(映维网 2017年5月5日)IMR是一家专门为高端VR头显研发无线技术的公司,他们的秘密武器是专为VR打造的算法。与传统的视频压缩技术相比,IMR的技术能够以更快的速度压缩大量数据。我(Ben Lang)日前拜访了IMR在硅谷的办公室,并且亲身体验了他们的系统。
IMR的执行总监丹尼尔·菲茨杰拉德(Daniel Fitzgerald)正在准备无线系统。
目前存在一系列不同的无线解决方案。为管理90Hz、2160×1200分辨率VR头显所需的大量数据,部分企业使用了更新的超高带宽60GHz技术。其他公司则把目光放在现有的视频压缩编解码器上,通过压缩数据来使其适应当前的带宽。
IMR的战略更接近于后者,但他们并没有使用现有的压缩编解码器,而是开发了专有的算法。IMR表示,当前编解码器是为传统数字视频的压缩设计,而他们的算法是专为VR设计。为什么这会如此重要呢?IMR给出的一个例子是h.264这样的编解码器。他们表示这种编解码器使用的是帧到帧的压缩,但这种技术在90Hz帧率下会出现至少11ms的延迟。IMR声称,他们的专有压缩技术没有使用帧到帧的压缩,另外可以在1ms内进行编码和解码,并且实现95%的压缩。该公司表示,整个端到端的无线VR系统,包括HDMI等各种硬件接口所导致的延迟约为2-3ms。
95%的压缩率十分了不起,因为这为VR头显通过现有无线技术(如5GHz 802.11ac)传输数据打开了大门。
所以这涉及到技术问题。那么,当IMR的解决方案真正应用在VR头显上的表现又会如何呢?这正是我前往IMR位于硅谷的办公室的原因。
我在IMR的办公室中看到了一个概念验证系统,他们通过HTC Vive头显展示了他们的核心技术(不过IMR的系统可以支持Rift和其他头显)。我发现桌面上有一个小小的白色盒子,而这个设备连接的是Vive头显。你在侧面可以注意到一条黄色的缆线。这条线缆的作用实际上是连接解码和编码硬件,这样系统可以在不需要无线链路的情况下轻松调试压缩算法。
为了演示系统的无线性能,IMR移除了黄色缆线,然后把无线发射器插入一端,而接收器则插入另一端,以无线方式传输相同的数据。你在图片中看到的是有线版本的HTC Vive,但数据实际上是通过无线进行传输,只是看起来有点不一样而已。但这对一个原型来说十分合理,同时仍然能够演示系统的主要功能。(注:本文大部分图片都显示有黄色缆线,但这只是在比较有线和无线延迟的AB测试中才会使用)
该系统的最终目标是把白色盒子中的一半直接附在计算机,另一半则集成至头显本身,而这种解决方案目前正在研发中。
当系统能够无线运行时,我尝试了一系列熟悉的游戏,包括《The Blu》、《Space Pirate Simulator》和《Job Simulator》。对于最关心的时延问题,我实际上并没有感到这与系留版本的HTC Vive有任何区别。
至于视觉质量,IMR表示解压缩的图像跟“原本图像别无二致”。我同意图像质量非常高(尤其考虑到IMR声称的95%压缩率),但严格来说并不是“别无二致”。如果要我进行进行盲测,判断哪一张属于解压缩的图像,哪一张属于原有图像,我相信我可以识别出来。换句话说,如果你想得到无线VR体验,IMR系统所能实现的质量足以让你认为这是一个可行的解决方案。我认为普通用户在使用时大概不会注意到两者存在太大的区别。
IMR表示,他们的算法高度可调。根据无线技术所使用的带宽,他们可以调整压缩率,比如说75%。这时,图像质量的差别或许甚至能媲美肉眼所见。
我在今年的CES 2017大会上亲眼看过这一点。现在即便是在相同的压缩率下,图像保真度也已经有了大幅度的提升。这种提升是如此之大,原来我认为这需要在图像质量和IMR无线技术两者之间进行取舍,但现在我认为已经可以认真考虑是否应该剪掉Vive头显的缆线。
当然,跟所有的压缩技术一样,不同的区域都有着不同的最优压缩率。IMR的压缩技术仍存在一定的挑战。首要问题是渐变,以及黑暗/低对比度的场景。两者都可能导致一定数量的条纹和伪影。IMR声称他们有办法处理这些问题,而他们也会继续调整算法,通过智能地压缩场景的不同部分来避免伪影。但你可以想象,要确保算法能100%准确压缩大量不同的VR内容,其难度到底有多大。毕竟,每种内容都有属于自己的最优压缩率。
为了帮助算法能采用合适的压缩方法,IMR表示游戏或许可以将参数发送给算法,让系统根据具体游戏进行调整。这样开发者或许能够自行微调,或者是众包给用户。
IMR无线VR附件可能的概念渲染图
我所看到的白色小盒子仅仅只是概念证明。IMR的下一步是将白色盒子整合成参考设计,这样设备可以搭载在头部并实现真正的无线运行。IMR目前正在研发参考设计,并且很快就会进行公开演示。在一开始可能看起来十分笨重,但IMR表示这个系统在未来可以轻易小型化,并能直接集成至VR头显中。
IMR表示,他们的压缩技术可以通过现有的无线技术(如802.11ac)来支持当前的VR头显,如Rift和Vive。对于未来更高分辨率的头显,IMR希望更尖端的802.11ad技术可以扩散普及,因为这种技术的带宽可支持单眼4K分辨率。
据了解,IMR的算法已经可以用于眼动追踪。IMR表示,当眼动追踪数据输入至算法中时,系统可以进一步优化眼睛注视区域的压缩,同时节省其他区域的资源(作用类似于注视点渲染)。
IMR表示,他们目前正在寻找生产合作伙伴,帮助制造的适合Vive和Rift头显的无线附件,而这种产品可能会在2017年上市。这家公司同时会向合作伙伴分享他们的参考设计硬件,方便他们将IMR的无线技术集成至VR头显中。