Facebook AR/VR专利提出基于Slice的远程渲染视频编码技术

查看引用/信息源请点击:映维网

视频编码技术

映维网 2021年03月29日)为了提高压缩、编码、传输效率,视频分割具有十分重要的意义。视频分割是指对图像或视频序列按一定的标准分割成区域,目的是为了从视频序列中分离出有一定意义的实体,从而进行独立编码。

熟悉视频编码领域的小伙伴应该十分清楚Slice和Tile的概念。对于小白,简单来说,一幅图像可以划分为若干个Slice或者可以划分为若干个Tile。

Slice和Tile主要存在两个不同的地方:Slice为条形,Tile为片形;Slice由一系列的SS组成,一个SS由一系列的CTU(编码树单元)组成,而Tile则直接由一系列CTU(编码树单元)组成。

日前,美国专利商标局公布了一份名为“Sliced encoding and decoding for remote rendering”的Facebook专利申请,其主要描述了一种基于Slice且用于远程渲染的视频编码技术。

专利描述的各种实施例主要用于远程渲染。在一个实施例中,设备包括搭载至少一个处理器的内容生成器。在一个实施例中,内容生成器配置成将人造现实空间的图像分割成多个Slice。在一个实施例中,内容生成器配置为对多个Slice中的第一Slice进行编码。在一个实施例中,内容生成器配置为编码多个Slice中的第二Slice。在一个实施例中,设备同时包括耦合到内容生成器的通信接口。在一个实施例中,通信接口配置成将多个编码的第一Slice发送到头戴式显示器。在一个实施例中,通信接口配置成将多个编码的第二Slice发送到头戴式显示器。

在一个实施例中,内容生成器进一步配置为编码多个Slice中的第三Slice。在一个实施例中,通信接口进一步配置为将多个编码的第三Slice发送到头戴式显示器。

如上图所示,图像#610可以划分成包含三个Slice:#620A,#620B和#620C,并对其进行编码。

在一个实施例中,第一Slice和第二Slice由边界隔开。在一个实施例中,内容生成器同时配置为生成图像的运动向量,其中运动向量不穿过第一Slice和第二Slice的边界。

在一个实施例中,图像渲染器配置成解码多个编码的第一Slice。在一个实施例中,图像渲染器配置成解码多个编码的第二Slice。在一个实施例中,图像渲染器配置成解码多个编码的第三Slice。

在一个实施例中,通信接口进一步配置为接收指示头戴式显示器的位置或方向的传感器测量。在一个实施例中,内容生成器配置成根据头戴式显示器的位置或方向来生成人造现实空间的图像。

以流程说明,如图5所示,混合现实系统可以分为主机部分和头显部分。首先,头显通过机载传感器生成传感器测量数据(如头显位置和方向),并通过通信接口将其传输给主机的通信接口;主机根据传感器测量数据生成虚拟现实图像,并将图像划分为多个Slice;主机包含的编码器将多个Slice编码,并通过通信接口将其传输给头显的通信接口;接下来,头显包含的解码器则将经编码的多个Slice解码;头显包含的合成器整合多个解码的Slice;头显包含的图像渲染处理器渲染最终的图像。

对于主机和头显之间的通信链接,Facebook表示这可以是有线链路,无线链路,或者两者结合。无线链路的示例可以包括蜂窝通信链路、近场通信链路、Wi-Fi、蓝牙或任何通信无线链路;有线链路的示例可以包括USB、以太网、HDMI或任何有线通信链路。

相关专利Sliced encoding and decoding for remote rendering

名为“Sliced encoding and decoding for remote rendering”的Facebook专利申请最初再2020年6月提交,并在日前由美国专利商标局公布。

本文链接https://news.nweon.com/84257
转载须知:转载摘编需注明来源映维网并保留本文链接
入行必读:腾讯可以向Facebook学习什么

更多阅读推荐......

资讯