苹果AR/VR头显专利可实现<5ms的无线串流视频传输

查看引用/信息源请点击:映维网

在基站呈现虚拟内容和在设备显示虚拟内容之间提供非常低的延迟(如4-5毫秒)

映维网 2021年04月30日苹果曾申请过多份关于可用于VR/AR德视频编码系统专利,主要是为了节省资源,并以低延迟对高分辨率视频源进行编码和传输。

以“Versatile tile coding for multi-view video streaming”这份苹果专利为例,其主要提到了Sliced Based和Tile Based技术。简单来说,可以将视频图像划分为若干个Slice或划分为若干个Tile,然后根据用户视域每次仅传输特定视域的Slice或Tile,从而达到节省资源的目的。

补充说明,Slice和Tile主要存在两个不同的地方:Slice为条形,Tile为片形;Slice由一系列的SS组成,一个SS由一系列的CTU(编码树单元)组成,而Tile则直接由一系列CTU(编码树单元)组成。

延伸阅读苹果专利透露Apple VR的图像视频可支持分块渲染流式传输

日前,美国专利商标局公布了一份苹果于2019年6月提交的专利申请,而名为“Rate control for low latency video encoding and transmission(用于低延迟视频编码和传输的速率控制)”的发明同样描述了以低延迟对高分辨率视频源进行编码和传输的视频编码系统实施例,并且与上面提到的Sliced Based和Tile Based技术相关。

专利指出:“视频编码系统的示例应用于虚拟现实或混合现实系统。其中,虚拟内容的视频帧由基站渲染、编码和传输到设备以进行解码和显示。”

苹果指出,实现视频编码系统实施例的目标是在最小化错误的同时,在基站呈现虚拟内容和在设备显示虚拟内容之间提供非常低的延迟(如4-5毫秒)和最大限度地利用无线链路的带宽。视频编码系统的实施例可以实现速率控制方法,从而在无线链路维持目标帧速率,并最小化帧渲染、传输和传输中的延迟。

在一个实施例中,视频编码系统可以在编码之前对像素数据执行小波变换,以将像素数据分解为频带。然后将频带组织成Blocks像素块。所述Blocks像素块提供给基于像素块的编码器以进行编码/压缩。编码频率数据随后发送到无线接口,后者将编码频率数据打包并将其发送到接收设备。在接收设备,编码数据解包数据,并通过基于像素块的解码器来恢复频带。接下来,对恢复的频带进行小波合成,重构像素数据以进行显示。

在一个实施例中,视频编码系统包括小波变换组件,所述小波变换组件执行2层小波分解,从而将来自帧slice的像素块分解为多个不同频带,接着是基于像素块的编码器(如HEVC)对频带进行编码。

在一个实施例中,为了在VR/MR的严格延迟要求下执行速率控制,速率控制组件可以调整每个slice的编码器参数(如频带的量化参数)。

在一个实施例中,slice的频带可以在小波变换之后缓冲在本地存储器中,以便视频编码系统的复杂度分析组件在编码之前进行复杂度统计计算。在一个实施例中,复杂性统计可以包括但不限于CTU像素块的像素梯度和大小方差中的一个或多个。然后,复杂度统计信息可由速率控制组件用于确定频带的量化参数,从而为当前slice调制解码器的速率。计算缓冲频带的复杂度统计信息允许视频编码系统在编码slice之前估计slice中的复杂度量。

在一个实施例中,速率控制组件可以检查一个或多个先前处理帧的统计信息,以确定用于对帧的共址block或slice进行编码的实际比特数。然后,在确定当前slice的量化参数时,可以将所述信息与当前片的复杂度统计结合使用。

在一个实施例中,在设备执行解码器重建和小波合成之后,可以联合计算频带的量化参数以优化帧的总体显示质量。在频带之间进行速率分配的方法是在每个频带中找到一个operating point工作点。

在一个实施例中,图像可能存在一个感兴趣区域(如注视点区域),所述区域的分辨率应高于同一图像中的周围区域(如外围区域)。在一个实施例中,可以存储来自前一帧的复杂度统计以及来自前一帧的注视点区域,并将其用于计算当前帧slice中的频带的量化参数。例如,对于要编码的每个blosk像素块,可以使用前一帧的注视点区域来调制为前一帧计算的复杂度统计。在确定量化参数时,除了为当前帧slice计算的复杂度统计之外,可同时使用获得的复杂度统计。

在一个实施例中,速率控制组件可以在block level而不是在slice level调整编码器参数。在一个实施例中,可以为slice的每个block计算复杂性统计,并且可以为所述block确定量化参数。

通过上述方法,视频编码系统的实施例可以实现速率控制,从而在无线链路维持目标帧速率,并最小化帧渲染、传输和传输中的延迟。

相关专利Apple Patent | Rate control for low latency video encoding and transmission

名为“Rate control for low latency video encoding and transmission”的苹果专利申请最初在2019年6月提交,并在日前由美国专利商标局公布。

本文链接https://news.nweon.com/85310
转载须知:转载摘编需注明来源映维网并保留本文链接
入行必读:腾讯可以向Facebook学习什么

更多阅读推荐......

资讯