苹果AR/VR专利为混合现实视频提出基于注视点的视频编码系统
混合现实视频编码
Vision Pro QQ群交流：653565822
（映维网Nweon 2023年03月10日）有视频编码系统是使用比特率控制算法来确定向视频帧的特定区域分配多少比特，从而确保给定视频编码标准的统一图像质量。然而，大多数比特率控制算法不能保证分配给感兴趣区域的比特多于分配给背景的比特。尽管存在能够确定感兴趣区域，并将更多比特分配给感兴趣区域而不是背景的比特率控制算法，但它们通常在计算成本昂贵且操作耗时。
显然，这是一个有待改进的问题，尤其是对于要求实时处理的混合现实视频而言。在名为“Adaptive quantization matrix for extended reality video encoding”的专利申请中，苹果就提出了自己的解决方案。
概括来说，这是一种基于注视点追踪的编码方法。视频编码系统可以使用虚拟对象和背景图像的已知区域来确定用户的感兴趣区域，而不是对XR视频中的每一帧执行计算成本昂贵且耗时的图像分析，并基于每一帧的图像内容来确定感兴趣区域。然后，视频编码系统可以根据对应的量化参数对不同区域进行编码，将更多的比特分配给用户感兴趣的区域，而不是分配给背景图像的其余部分。以这种自适应量化矩阵方式进行编码，可以优化计算成本和操作时间。
在一个实施例中，可以获得包括背景图像和至少一个虚拟对象的XR视频帧。可以从图像渲染器获得背景图像的第一区域，而至少一个虚拟对象叠加在所述第一区域。XR视频帧可以划分为至少一个虚拟区域和至少一个真实区域。
......（全文 2547 字，剩余 2022 字）
