Pixvana为VR视频推出的视场自适应流式传输技术是什么？

文章相关引用及参考：映维网

什么是视场自适应流式传输（Field-of-View Adaptive Streaming，FOVAS）

（映维网 2018年07月02日）什么是视场自适应流式传输（Field-of-View Adaptive Streaming，FOVAS），这又是如何在最低带宽要求下为任意VR头显带来最高可能质量的VR视频呢？

为了解决有效通过网络传输VR视频的挑战，Pixvana带来了独特的视场变换技术。VR视频需要多个摄像头的同时输入，有时多达24个。然后我们可以拼合视频流以创建围绕用户的全景视图。这种巨大全景图的范围可以从高清分辨率到超过10000像素。为了通过标准的网络进行传输，最终的VR视频通常需要压缩至4K分辨率（3840×1920）。不过，4K分辨率不足以为当前的头显带来真实拟真的体验。模糊的视频总是会打破用户的沉浸感。

1. 为什么4K VR视频流式传输不可行

在4K中流式传输VR视频导致质量下降和带宽浪费。今天VR头显的视场是约90度，大概是整个视频球体的六分之一。当在4K VR视频中通过这个视口浏览场景，用户所看到的像素将少于头显显示器能够渲染的像素，这使得视频看起来块状感十足。在任何时候，超过80％的视频场景都是位于用户视线之外，而这是对数据带宽的巨大浪费。下面是一段详细介绍VR自适应流式传输Viewport（视口）的视频：

2. Viewports（视口）=优化视场的视频流

解决方案是把VR视频解构为多个数据流，每个数据流充当视频球体的“视口”。每一个视口现在都可以包含足够的像素，能够完美地填充VR头显的最大分辨率。视口将包含当前视场，以及视线之外区域的较低分辨率版本，从而维持用户的外围视觉。

3. Viewboxes（视箱）=优化视场的解码

为了在单个视频流中实现这种高分辨率图像区域和低分辨率图像区域的结合，我们需要采用不成比例的图像投影技术。我们将其称之为Viewbox（视箱）。

要理解视箱与视口的魔力，我们需要明白将球体表示为矩形的固有挑战。

4. 格陵兰岛的问题

就像旧时航海员需要一种在桌面上绘制地图的方法一样，今天的VR制作人员同样需要一种在电脑显示屏上浏览球形图像的方法。

在过去几个世纪，将球形图像映射成平面图像一直都在困扰着制图师。例如，谷歌地图使用墨卡托投影来表示球形地球，但这种投影需要拉伸极点附近的对象。事实证明，格陵兰岛的面积不如非洲。因为格陵兰岛位于极点附近，所以经过拉伸后，它看起来跟非洲一样大。如果将格陵兰移到赤道，我们将发现其面积与墨西哥相近。

对于VR，行业主要是通过一种名为等角立方体投影的类似投影方式来在传统平面视频文件中表示球形视频（由于经度和纬度线成比例，因此等角立方体投影也称为“经纬度投影”）。这是一种浏览整个球体的便捷视图，但为了完全覆盖图像最上方和最下方，其最终需要增加额外像素，这极大地扭曲了最上方和最下方的大小。添加额外像素会增加冗余信息，浪费带宽，并且令格陵兰岛再次变大。

5. 其他投影方案

要将球体转换为平面，行业存在其他方法，但当应用到VR视频时，每一个都有其自身的缺点与挑战。

有种正弦投影可以精确反映球体最上方和最下方的实际分辨率。里查德·巴克明斯行·福勒曾提出过动态最大化映射，将世界呈现为一个20面的对象。如果你玩过《龙与地下城》，你将发现这与D20骰子的形状相同。较少失真意味着更好的图像质量，但遗憾的是，这对视频编码而言是一种低效技术。视频编码器无法处理不规则形状，结果只能是难看的运动伪影。

下面这个视频在相同的视频中应用了视箱投影技术，每一面都优化了视频流，能够在用户的直接视距下显示更多分辨率。

6. 包含视箱和视口的自适应VR视频流失传输

Pixvana的系统将视箱图像投影与多个视口相结合，从而为高质量VR视频带来一种自适应流式传输解决方案。

1. 根据用户头部任意时刻的转向来将视频流切换至最优的视口。

2. 智能播放器将结合头部位置，网络条件，编解码器和投影，从而为用户提供最高的质量。

3. 内容创作者可以将能实现两全其美的方案：更高分辨率，更低的流式传输成本。

Pixvana已经探索了一系列在一个视口中提供更高分辨率的投影方法。他们将其称之为Viewboxes。一个关于视箱的示例是球体到立方体的常用投影。由于四面为平面，标准立方体贴图可以降低失真，但由于所有六个面都是相同数量的数据，因此在观众背后显示高分辨率视频将导致带宽浪费。降低某些面的分辨率则会导致明显的质量降级。

请将视箱想象成一个包裹头部的灯罩。如果视箱的前面大于后面，你将得到名为平截头体的形状。当用户这种形状的视箱中浏览VR视频时，他们将感觉到自己位于一个球体之中，但只有直视前方时才能看到最为锐利的视频，而当用户转头时则变得更模糊。

结合视口追踪和基于不同头部位置的多个视箱，这就是Pixvana所研发的VR视频自适应流式传输系统。Pixvana的系统能够适应源相机和头显的分辨率变化。黄金比例提供了原始素材的完美像素，可以匹配网络带宽和头显分辨率。

7. XR Cloud

Pixvana正在为VR视频创作与分发打造一个名为“XR Cloud”的平台，其包括视场自适应流式传输处理的原生支持。Pixvana的目标是为故事叙述者提供一个令人惊叹的云端引擎，帮助他们创建最高质量的VR，AR和MR视频，并且覆盖最广泛的消费者。借助Pixvana系统创建的VR视频支持多个平台，包括三星Gear VR，HTC Vive，PSVR，谷歌Cardboard和常见的网络播放器。另外，Pixvana将通过SDK和Unity插件的形式为开发者带来视场自适应流式传输分发，帮助他们将其增加到VR应用程序之中。

Pixvana表示，对于他们而言，更高质量的VR视频意味着更具沉浸感和逼真感的VR影片，从而可以为所有人带来更优秀的体验。

8. 免费的SPIN Studio账号

有兴趣的用户现在就可以注册申请免费的SPIN Studio账号，从而利用Pixvana的平台来创建，编辑和分发VR视频。