索尼、腾讯老兵在普通家庭网络下实现高质量4K、8K VR视频直播

文章相关引用及参考：映维网

光纤百兆带宽用户都可以轻松实现16K视频直播（电信百兆带宽对应10M下行速度，文中所提带宽均是具体下行带宽）。

（映维网 2018年06月04日）虚拟现实技术的大众消费场景主要包括游戏、视频等领域，而在移动VR领域，视频消费更是占据重中之重，根据Oculus公布的数据，99%的Gear VR用户会消费视频内容，83%的VR使用时间都流向了媒体与娱乐应用。

Pico、Oculus、华为、小米、大朋等厂商更是通过各自的VR一体机硬件设备及软件内容平台去布局VR视频市场。根据映维网的统计数据，全球公开发行的VR视频（包括180度、360度视频）内容已经超过100万部，其中大部分都是4K视频，而且8K 360度视频内容也超过10万部。VR视频内容的发展对视频内容的传输提出了前所未有的挑战。

在过去将近四年中，我们映维网介绍过很多VR视频传输解决方案，包括来自谷歌、Facebook这样的大公司，以及Visbit、Pixvana这样的创业公司。在5月初，映维网前往深圳拜访了VR视频云服务技术服务商威尔云（VRVIU），与威尔云CTO梁峰进行了深入的交流，学习了威尔云在VR视频高质量传输上所研发的技术解决方案。

总部在深圳的威尔云成立于 2016 年6月，由前索尼PlayStation VR负责人Crusoe Mao、前索尼PlayStation VR发起人（之一）Frederick Umminger以及前索尼PlayStation专家工程师Brian Watson联合创立。威尔云在硅谷设立了负责核心算法研发的研究院，而深圳团队主要负责产品、运营和具体的开发工作，公司40多名员工中80%是研发人员。

威尔云CTO梁峰是前腾讯视频技术副总监（T4技术专家）。梁峰向映维网详细介绍了威尔云的核心技术FE（Foveated Encoding）视频压缩算法，如何依据观众视觉特性，根据视焦点来动态分配像素，实现更高质量、更人性化的VR视频观感质量。

1. 传统算法

传统的视频传输方法是通过等量矩形投影算法，或立方体贴图（六面体）算法，将完整的视频内容进行传输。这演的传输方案对带宽提出了极高的要求，同时也造成了大量的带宽浪费，非常难以应用于8K等更高的视频内容传输。

目前采用这样的传统算法的VR视频云服务技术提供商有英特尔、NextVR以及YouTube等。根据威尔云采集的数据，这种技术方案在提供4K 360度全景视频服务时需要约12M以上的稳定带宽。

2. 自适应算法

传统算法的诸多缺点，激发了行业技术专家对VR视频传输的深入研究，并提出了各自的自适应算法解决方案。这样的厂商有Facebook、VISBIT、Pixvana等，以及我们今天要介绍的主角威尔云。其中Facebook和Pixvana是采用一种基于用户视窗的解决方案，VISBIT采用的是一种基于视焦点分块的解决方案，而威尔云则是采用一种基于视焦点分层的解决方案。

根据威尔云对4K 360度全景视频传输采集的数据，Facebook和Pixvana的解决方案在没有头部转动的情况下需要约8M以上的稳定带宽，而在观众头部转动的情况下则需要约40M以上的稳定带宽，而VISBIT的解决方案则分别需要约6M和18M以上的稳定带宽。

相对于传统的算法，自适应算法解决方案显然大大降低了对带宽的需求。但是在观看360度视频时，头部转动转动显然是不可避免的，而这对带宽仍提出了极高的需求，比如基于用户视窗和视焦点分块的方案分别需要原先5倍、3倍的带宽需求。

为什么呢？威尔云表示，当头部转动时会触发视野的变化，他们的算法会全部丢弃已经缓存的内容，而重新从服务器请求并缓存新视角的内容，这会导致需要重复缓存部分内容，并出现不同程度的视角切换延迟。

3. 威尔云自适应算法

虽然各厂商的自适应算法已经非常出色，但是威尔云认为可以实现进一步的改进。为此，威尔云自研了高清视频编解码算法FE（Foveated Encoding）算法，使用基于视焦点的多层自适应视角方案。相比其他厂商的自适应视角方案，威尔云能够做到更高的压缩效率，更快的视角切换，更少的带宽浪费以及更加平稳顺滑的网络状态。

相对其他厂商的自适应算法，威尔云增加了“视角有关层”和“视角无关层”的分层思想，即对于已经缓存起来的视角内容，其实还有部分内容处于我们视角的边缘区域，威尔云将该部分内容标记为“视角无关层”内容。当用户转动头部发生视角变化时，威尔云的算法并不会完全丢弃已经缓存起来的内容，而是将“视角无关层”的内容激活为新视角内容。在这种算法之下，当用户视角变化时，用户已经具备了部分新视角的内容，而程序只需向服务器请求并缓存新视角所缺失的剩余部分内容，甚至所缺失的仅仅是新视角下的“视角有关层”数据（程序会根据客户端不同的存储空间等因素而采取不同的数据缓存和抛弃方案），从而实现更低的带宽消耗和更快的视角切换延迟。

威尔云表示，当用户头部不转动时，在4K 360度视频传输上，威尔云的算法跟其他厂商的相差不大，但在用户头部转动的情况下，威尔云的算法的优势就体现出来了，因为头部转动并不会产生太大影响，基本上都稳定在10M以内，其算法的峰值带宽也低于平均值的1.5倍。

在切换延迟方面，威尔云表示在系统内部和视角切换上的延迟小于等于1秒。

4. FE算法在8K/16K的表现

根据映维网的统计数据，目前70%以上的360度视频都是4K分辨率，但目前也已经有15%以上的360度视频达到了8K分辨率。更高分辨的视频已经是大势所趋。那么不同的算法在8K、16K的视频是怎么样的表现呢。

威尔云CTO梁峰表示，威尔云已经能实现目前市场上主流VR视频传输技术厂商的解决方案，同时他们还对8K、16K VR视频的带宽需求进行了实际测试和推演。在这个结果中，威尔云的表现遥遥领先，甚至16K VR视频的最低需求只要10M带宽。值得注意的是，这个结果展示的是最低需求，而非本文前面所述的稳定需求。

对于8K VR视频，尽管威尔云的最低需求是5M带宽，但在最低带宽需求下效果会受到影响。梁峰说：“要保证好的8K VR视频体验，需要大约16M稳定带宽以上。”对于16K VR视频，梁峰表示还没有实际测试过，但进行过推演。根据推演结果，要保证好的16K VR视频体验，需要大约30M稳定带宽以上。

针对威尔云遥遥领先的表现，梁峰说：“假设不考虑专利，只是实验的情况下，我们可以编出现在市面上所有主流的算法技术，我们可以全都编码出来。为什么我们能说我们的算法是优势的顶尖的呢？第一，我们参考了他们所公开的技术指标；第二，我们自己按照原理实现了一些技术，并且优化了部分技术指标；同时，我们实现了我们的FE算法，然后和他们公开的指标进行了对比，我们才敢说，我们是优势的。”

5. 基于FE算法的产品方案

经过一年半的核心技术研发和工程实现，到2017年底，威尔云已经能实现稳定的基于其FE算法的VR视频高清低带宽一站式解决方案。当然，威尔云的技术也同样适用于2D视频传输的场景。

目前，威尔云分别针对2D 高清视频直播、VR直播/点播、以及VR秀场直播推出了一站式解决方案。对于VR视频，威尔云表示其解决方案可以节省高达70%的带宽，对于普通2D视频可以节省高达40%的带宽（720P仅需600Kbps）

6. 结尾

在本文，映维网尽可能简单易懂地介绍了威尔云在VR视频传输上所研发的技术，以及相对其他厂商威尔云技术的优势。文中所有对比数据均由威尔云提供，如果你想进一步了解威尔云或深入研究其技术解决方案或提出质疑，你可以通过本文中的相应超链接前往。

此外，梁峰还向映维网介绍了在FE算法实现，以及VR直播工程开发上所遇到的挑战和解决方案。我们会在后续的文章中进一步分享。