Meta专利探索解决大型场所大量Avatar同屏渲染表现的带宽限制
向用户提供具有大量其他实时用户的数字环境的方法
（映维网Nweon 2023年09月07日）在传统的XR技术中，由于计算能力和通信带宽等限制，呈现包含大量人群的大型场所并不可行。所以在名为”Scalable parallax system for rendering distant avatars, environments, and dynamic objects“的专利申请中，Meta提出了一种旨在向用户提供具有大量其他实时用户的数字环境的方法。
具体来说，对于包含大量人群的大型场所，用户可以查看一定距离的其他Avatar，但不一定能够与他们直接交互，比如说演唱会和体育赛事。
所以，Meta表示可以在包含动态对象的数字环境中单独渲染包含Avatar的任意数量区域，将所产生的视觉效果组合在一起，并将结果作为视频流和/或几何数据流的集合提供，从而解决计算能力和通信带宽等限制。
在示例性实现中，结果可用于生成任意数量的Avatar和环境的有效表示。
图1A和1B描述了用于渲染远距离Avatar、环境和动态对象的可扩展视差系统100。可扩展视差系统100可以包括多个区域渲染服务器102中的一个或多个、组合服务器104和/或其他组件。
多个区域渲染服务器102可以配置为接收数据流106。可以从用于与数字环境相关联的数据的任意数量源接收数据流106。可以将多区域渲染服务器102配置为至少部分地基于所接收的数据流106呈现全局数字环境。
同时，可将多区域渲染服务器102配置为至少部分地基于所接收的数据流106生成视差渲染数据流108。多个区域渲染服务器102可以进一步配置为渲染用于全局数字环境的音频流110。
一个给定的视差渲染数据流可以包含一个或多个位图。这种位图的例子可以包括一个或多个深度图、法线图、颜色图和/或其他位图。
在一个实施例中，给定的视差渲染数据流可能包括用于定位对象相对位置的几何图形。例如，视差渲染数据流可以表示房间，其中数据的一部分用于表示房间内任意位置的Avatar。
组合服务器104可以配置为接收视差渲染数据流108和/或音频流110，并配置为将所接收的视差渲染数据流108和/或音频流组合成新的视差渲染数据流112。
可以将单个客户端平台114配置为至少部分地基于新的视差渲染数据流112渲染本地数字环境。可以通过一个或多个客户端平台114的输出显示本地数字环境。
图1B说明了可扩展视差系统100如何扩展以将任意数量的层合并到单个数据流中。
图2A和2B分别展示了可扩展视差系统100提供的数字环境200和202。
在示例性实现中，一组Avatar能够在一个小区域内进行交互。例如在体育场馆中，你可以与附近的一小群人交互，而尽管你可以看到一定距离的观众，但你不能与其直接交互。
多区域渲染服务器102可以通过渲染本地环境和所有动画Avatar来创建单个房间材质，并使用设备相互接收的相同数据流来追踪Avatar和其他动态对象的运动。
除了生成视差渲染数据流之外，多区域渲染服务器102可以呈现存在于特定区域中的音频流。根据特定区域在整体环境中的可见性，可以配置和渲染多个视差流以支持不同角度的视图。
视差渲染数据流和音频可以发送到组合服务器104。它可以将相关元素组合成可由远程客户端访问的材质地图集和空间化音频流序列。
单个服务器在处理多少流序列方面可能存在限制，所以可以提供控制这种行为的规则，并允许物理相邻的集群打包在一起，以减少在生成的材质图谱序列中再现单个区域集群所需的流数量。
这种集群方法可以堆叠，允许重复地生成集群的集群，从而将任意数量的区域合并到单个流中。唯一的限制可能是最终材质的分辨率，它可能调整到永远不会超过客户端设备最终显示表面的纹理密度。
组合服务器104可以提供对流的多个版本的访问，以便每个客户端平台114可以请求最适合于查看距离和屏幕分辨率的数据版本。
然后，图集材质序列可由客户端平台114用于呈现其自身空间之外的所有可见区域的组合。
在足够大的环境中，可能存在多个区域渲染服务器。客户端平台114可以使用它们自己的可见性规则来确定是否和/或何时连接到单个区域渲染服务器，以检索表示可见区域集群的当前流材质。
除了将发送到区域调度器服务的其他元数据之外，客户端的每个可见区域同时可以具有位置数据。其中，区域调度器服务可以提供连接到正确的区域组合服务所需的连接信息，以便检索必要的视差渲染数据流。
图2B说明了数字环境中的三个不同区域，每个区域可以包含一个完全填充的房间204，例如包括Avatar 206和/或动态对象208。每个房间204都可以以尽可能高的质量呈现给每个房间里的人，但对于一段距离外的观察者则不然。
与房间204相关联的信息可以作为一到三个视差材质的数据流接收。需要注意的是，尽管图2B只描绘了数个房间204，但这种技术可以扩展到显示任何数量的区域。
图6示出了用于呈现数字环境的示例流程图。
在步骤602中，进程600可以包括在区域渲染服务器接收数据流。
在步骤604中，由区域渲染服务器渲染至少部分基于所接收的数据流的全局数字环境。
在步骤606中，基于所接收的数据流生成视差渲染数据流。
在步骤608中，在组合服务器接收视差渲染数据流。
在步骤610中，由组合服务器将所接收的视差渲染数据流合并为新的视差渲染数据流。
在步骤612中，由一个或多个客户端平台渲染至少部分基于新的视差渲染数据流的本地数字环境。
在步骤614中，通过一个或多个客户端平台的输出来实现本地数字环境的显示。
名为”Scalable parallax system for rendering distant avatars, environments, and dynamic objects“的专利申请最初在2022年1月提交，并在日前由美国专利商标局公布。
