Meta专利为AR眼镜无线网络环境提出弹性渲染技术

小编广东客 | 分类：专利 | 2023年8月25日

加入映维网会员

弹性渲染技术

（映维网Nweon 2023年08月25日）长期以来，AR技术一直面临着渲染虚拟对象的延迟问题。轻量级AR眼镜具有较低的处理能力、低分辨率摄像头和/或相对简单的追踪光学器件，这在提供高质量AR内容和在较差的无线网络条件下传输图像数据方面存在问题，所以，Meta在名为“Resilient rendering for augmented-reality devices”的专利申请中提出可以通过多种弹性渲染技术来应对挑战。

对于Meta描述的AR设备，其主要采用分体计算架构。其中，渲染设备可以通过共享无线网络通信地耦合到头显，并且可以将渲染设备储存在不同的位置，例如用户的前裤口袋、后裤口袋或背包。

如果渲染设备与AR设备之间的无线连接条件较差，传输到AR设备的曲面可能会丢失。一种解决方案涉及使用代表AR环境中虚拟对象的曲面。

曲面对应于一个或多个虚拟对象。渲染设备的计算系统可以确定曲面的属性并根据当前无线网络质量动态调整多个参数。在特定实施例中，可以有三种类型的曲面：图像曲面、标签曲面和掩码曲面。

图像曲面可用于渲染阴影图像，例如，视频帧、静态图像或由GPU渲染的场景；标签曲面可以存储带符号距离和颜色索引，并且可以用于渲染包含纯色区域的对象，例如文本、字形和图标；掩码曲面可以存储alpha值，并可用于遮挡的曲面。

另外，Meta描述的发明旨在通过分体式计算架构提供延迟弹性AR体验，其中，渲染设备的GPU可以在将图像数据传输到AR设备进行显示之前接收显示图像数据、评估无线网络条件并调整多个参数的请求。通过解耦渲染设备和头显之间的帧率，渲染设备可以灵活地调整如何将虚拟对象对应的图像数据传输到头显进行显示。

在一个实施例中，渲染设备的计算系统可以确定曲面的属性，例如曲面的分辨率和/或曲面的维度。基于多个曲面的属性，渲染设备可以将多个曲面划分为子集，并且基于每个子集的属性，应用一个或多个弹性渲染技术，并进一步将一个或多个第一子集优先于一个或多个第二子集以传输到AR设备。

在一个实施例中，响应对无线链路的网络质量低于阈值条件的确定，渲染设备可以确定多个曲面的子集比其他子集具有更高的优先级。例如，渲染设备可以选择优先级高于第二子集的第一子集，将的第一子集传输到AR头显进行显示，然后在传输第一子集后将多个曲面的第二子集传输到AR头显进行显示。

弹性渲染技术可以是调整一个或多个单独曲面的图像质量或分辨率。渲染设备可以基于对不良网络条件的确定来确定需要降低一个或多个曲面的质量和分辨率。渲染设备可能需要执行以下动作：重新设置从渲染设备到AR设备的图像数据流、重新分配渲染设备的内存、以及降低从渲染设备到AR设备的数据传输速率。

在一个实施例中，一种弹性渲染技术可以是优先处理曲面。在一个实施例中，渲染设备可以确定3D曲面比2D曲面具有更高的优先级，并因此将曲面的第一子集中的3D曲面传输到AR头显，并在随后的子集中传输2D曲面。

弹性渲染技术可以是速率控制。为了响应当前无线条件的确定，所述渲染设备可以执行速率控制，其中所述渲染设备以降低的比特率传输所述曲面数据，从而降低所述数据速率。

弹性渲染技术可以是多间隔曲面转移。为了响应无线条件的确定，渲染设备可以在多个间隔中传输单个曲面或多个单个曲面。为此，渲染设备可以使每秒的帧数适应给定无线信道利用率的当前水平的可用无线带宽，并在多个无线间隔上传输单个曲面。同一子集内的曲面可以分布到多个系统间隔中，以减少影响用户体验的连续帧下降的发生。

弹性渲染技术可以是内容感知的无线调度。在特定实施例中，渲染设备可以旋转同一子集内的一个或多个曲面的调度，以避免一个曲面的帧速率持续下降。

弹性渲染技术可以是响应于渲染设备对无线网络状况的确定而减少内容。类似地，为了响应渲染设备对无线网络条件的确定，渲染设备可以减小视场，并将减少的像素数量传输到AR设备以供显示。

弹性渲染技术可以是减少每秒内容帧数FPS。例如，一个45帧/秒的曲面可能会随着系统间隔的变化而减少到30帧/秒。

弹性渲染技术可以是维度调整。例如，为响应渲染设备对无线网络条件的确定，渲染设备可以将3D曲面压缩为2D曲面，其可以显示相同的曲面，但压缩大小约为原始3D曲面的1/10。

弹性渲染技术可以是将一个曲面划分为多个曲面。作为对无线网络状况的确定的响应，渲染设备可以确定将具有多个无线分组的面划分为多个面。

弹性渲染技术可以是将一个或多个曲面传输到编码友好的材质中。为了响应无线网络条件的确定，渲染设备更多地使用纯色、渐变色模式和/或低分辨率纹理。

通过上述多种弹性渲染技术，Meta的发明可以减少丢包率或错误率。

图1示出了用于显示一个或多个曲面的示例增强现实系统100。图2示出用于提供各种弹性渲染技术的增强现实系统200。

在图2中，集中式内容和资源管理器232可以监控网络104相对于与渲染一个或多个曲面相关的确定渲染工作负载的状况，例如网络104延迟、网络104质量、网络104带宽、网络104数据吞吐量等等。

一个或多个曲面可以包括可能对延迟敏感的AR内容。根据发明，集中式内容和资源管理器232可以分析一个或多个曲面的AR内容，并且基于网络104的条件和与渲染一个或多个曲面相关的确定的渲染工作负载，动态切换渲染引擎234和关联的AR设备102的一个或多个第一GPU，以及渲染引擎204和关联的渲染设备220的一个或多个第二GPU。

例如，在特定实施例中，渲染设备220的内容管理器210和/或资源管理器208可以向集中式内容和资源管理器232提供对与要由AR设备102渲染和显示的一个或多个应用212相关联的曲面的请求，并且集中式内容和资源管理器232然后可以确定渲染和显示所请求的曲面的方式。

集中式内容和资源管理器232然后可以通过指示和利用渲染引擎204和3D重投影扭曲功能块206来执行所请求的曲面的渲染和显示。

集中式内容和资源管理器232然后可以确定是否减少与渲染一个或多个曲面相关的渲染工作负载，以满足与AR设备102相关的一个或多个网络104约束。

渲染设备220的渲染引擎204可以响应对渲染工作负载的优先级或改变的确定，生成一组渲染参数，以响应对网络104质量的确定来渲染一个或多个曲面。

其中，可以执行以上所述的一系列弹性渲染技术，例如速率控制，优先曲面处理，以及调整一个或多个单独曲面的图像质量或分辨率等等。