苹果专利透露Apple VR的图像视频可支持分块渲染流式传输

查看引用/信息源请点击:映维网

根据用户视域每次仅传输特定视域的Tile

映维网 2021年03月23日)多视点视频正在成为消费电子的新兴应用。多视图视频可在多个方向(理想地,每个方向)模拟视图空间,从而提供沉浸式浏览体验。但由于用户通常只会集中注视查看特定的视图空间,这将导致其他位置的内容在流式传输处理和显示期间未予使用,并造成资源浪费。

为了最有效利用所有的带宽,同时避免因全功率渲染传输而造成的延迟,行业逐渐把目光放到Tile Based格式。

简单来说,可以将多视点视频划分为多个图块Tile,然后根据用户视域每次仅传输特定视域的图块Tile,从而达到节省资源的目的。

根据日前公布的一份专利,苹果同样有构思类似的技术。

名为“Versatile tile coding for multi-view video streaming”的专利主要描述了用于编码和传送多视点视频的技术。多视点视频可以在空间上划分成多个图块,所述多个图块聚合起来可组成视频的整个空间区域。图块编码为包含编码视频的片段,编码视频表示在其各自的图块中包含的内容。根据图块在其各自区域内的内容显著性,图块可赋予不同的尺寸。以这种方式,具有高兴趣级别的图块可以具有相对较大的空间区域。

在一个实施例中,可以根据视频序列中内容的显著性来执行帧分割。例如,专利图3是多视点图像空间的示例性帧300。帧300内具有M1*N1像素的显著区域320。根据专利发明,显著区域320可用作帧分割的基础。

图4是一个示例性分割。在所述示例中,帧分割成多个图块Tile410-478,图块总体上覆盖帧的所有M×N像素。

在所述示例中,根据用户注视点,第一图块410定义为具有M1×N1像素。第一图块410可以定义为对应于图3所示的显著区域320。

一旦为图像定义了显著区域图块,剩余部分就可以划分成其他图块414-478。以这种方式分割视频序列的帧,并进行相应的储存,传输和显示。

延伸阅读 Versatile tile coding for multi-view video streaming

名为Versatile tile coding for multi-view video streaming的专利申请最初在2019年9月提交,并在日前由美国专利商标局公布。

本文链接https://news.nweon.com/84105
转载须知:转载摘编需注明来源映维网并保留本文链接
入行必读:AR/VR——计算机历史第二次大浪潮

更多阅读推荐......

资讯