微软AR/VR专利提出高效低延迟的远程渲染图像层过程
远程渲染
（映维网Nweon 2025年10月27日）在远程渲染中，功能强大的远程计算机渲染一个或多个内容层，对它们进行编码，并通过通信网络将它们传输到功能相对较弱的本地头戴式显示器。然后，头显对内容层进行解码、重投影并将层合成为一体。合成基于对每个层的深度值进行采样，相互比较，并为每个像素发出最靠近摄像机的层所关联的颜色。
为了实现足够好的远程渲染表现，需要从远程服务到头显设备进行准确高效的图像传输。诸如全纹理的有损流式传输、利用深度合成和色度键控等方法尽管可行，但会导致图像中出现可见的伪影。渲染图像特征边缘处存在的伪影源于多种原因，例如由于压缩和解压缩而使用的近似值，或者特征在不正确深度的图像层渲染，例如，背景在前景层中前景对象的边缘处渲染。
在一个示例中，远程渲染系统使用有损视频压缩将颜色和深度图像传输到本地头显设备，这会导致深度值出现数值错误，从而导致合成过程为某些像素选择不正确的层作为最靠近摄像透的层。这主要发生在对象边缘周围，在相关位置，编码的深度值在对象深度和指示无内容的背景值之间从一个像素急剧过渡到下一个像素。不连续性在使用硬件视频编码器时特别难以编码。这个问题在运动期间尤其明显，因为错误合成的像素集会逐帧变化，导致容易感知的闪烁。
在一个方法中，使用深度缓冲区扩张作为预处理步骤，以提高在使用视频编码器和/或在使用视频解码器时的效率。然而，这种方法与多层图像合成不兼容，因为扩张后的深度值无法与实际内容深度值区分开来，所以无法正确执行每层像素选择。
......（全文 6140 字，剩余 5543 字）
请微信扫码通过小程序阅读完整文章或者登入网站阅读完整文章
映维网会员可直接登入网站阅读
PICO员工可联系映维网免费获取权限
