Meta 专利探索在AR/VR环境中的视频通话体验

小编广东客 | 分类：专利 | 2023年3月30日

加入映维网会员

提供失真补偿和图像清晰度增强

（映维网Nweon 2023年03月30日）视频会议已经成为人们联系的一个重要方式。然而，当前的视频通话属于2D表示，所以能够实现进一步临场感的AR/VR成为了行业关注的一个方向。

在名为“Parallel video call and artificial reality spaces”的专利申请中，Meta介绍了建立和管理作为加入视频呼叫的并行平台的XR空间。简单来说，对于正在进行中的视频会话，系统可以创建一个并行的XR会话，并允许用户从普通的视频会话中过渡至与视频通话相连的XR环境，从而促进更深入的交流。

系统可以通过首先识别已建立的视频呼叫事件，然后再创建并行XR空间。创建XR空间可以包括基于所选事件的情景来建立XR空间的参数，例房间布局。然后，在视频呼叫开始时初始化XR空间。

当视频呼叫开始时，XR连接系统可以连接到提供视频呼叫的系统，例如通过对视频呼叫系统提供的API进行呼叫。然后，VC/XR连接系统可以提供一个或多个添加到XR空间的虚拟camera的视图，并将其作为连接到视频通话的馈送。

因此，视频通话中的参与者可以看到XR空间中的一个或多个视图。另外，VC/XR连接系统可以从视频呼叫中获取一个或多个馈送，并将其显示在XR空间中。

例如，VC/XR连接系统可以获得示出视频呼叫中的参与者将看到的显示的一个馈送，或者VC/XR连接系统可以对这样的馈送进行分段以获得视频呼叫参与者的单独视图。单个馈送可以呈现在XR空间中（例如作为诸如在墙上的大型显示器），或者多个馈送可以定位在XR区域中的不同位置（例如围绕会议桌的椅子的位置）。

当用户穿戴XR设备时，VC/XR连接系统可以基于在自动或手动选择的事件中指定的受邀者来确定用户是否是视频呼叫的受邀人。如果是，VC/XR连接系统可以自动将用户添加到XR空间进行视频通话。在用户从视频呼叫参与者移动到XR空间中的参与者的情况下，来自视频呼叫的用户的馈送可以替换为她在XR空间的Avatar。

因此，VC/XR连接系统允许用户容易地设置与视频呼叫相对应的XR空间，并为访问为视频呼叫创建的XR区域提供极低的进入障碍。

图4所示的组件400可以用于实现专利描述的方法。组件400包括硬件410、中介器420和专用组件430。

中介器420可以包括在硬件410和专用组件430之间中介资源的组件。例如，中介器420可以包括操作系统、服务、驱动器、基本输入输出系统（BIOS）、控制器电路或其他硬件或软件系统。

专用组件430可以包括配置为建立和管理XR空间，并将其作为视频呼叫的并行平台。专用组件430可以包括视频呼叫事件标识符434、XR空间构建器436、视频馈送协调器438、受邀者监听器440，以及可以用于提供用户接口、传输数据和控制专用组件的组件和API。

事件标识符434可以访问例如用户日历上的事件，并识别与视频呼叫相关联的事件。例如，事件标识符434可以检查嵌入在事件中的链接，以确定这样的链接的一部分是否与视频呼叫平台设置的链接的部分相匹配。

在其他实施例中，识别这样的事件可以是手动用户选择的结果。

XR空间构建器436可以为由事件标识符434标识的视频呼叫事件建立XR空间。XR空间构建器436可以设置XR空间的参数，例如房间布局。

视频馈送协调器438可以使用由XR空间构建器436建立的连接机制来提供来自XR空间的一个或多个视频馈送作为视频呼叫中的一个或者多个呼叫参与者。

视频馈送协调器438同时可以使用由XR空间构建器436建立的连接机制，以在XR空间中显示来自视频呼叫的一个或多个视频馈送。

受邀者监听器440可以检查已经头显用户是否是即将到来或正在进行的视频呼叫的受邀者。如果是，则受邀者监听器440可以自动将用户添加到为视频呼叫设置的XR空间，或者提供这种即将发生/正在进行的事件的通知，并且提供进入XR空间的选项。

图5示出了用于建立和管理XR空间，并将其作为视频呼叫的并行平台的过程500。

在框502，可以接收具有关联视频呼叫的日历事件的标识。

在框504，可以建立并行XR空间作为所识别的日历事件中的视频呼叫的伴随空间。建立XR空间可以包括基于日历事件的情景来设置XR空间的参数，例如房间布局。

在一个实施例中，可以在视频呼叫开始之前设置XR空间，从而当视频呼叫开始时，XR空间眼睛准备就绪。

在一个实施例中，方框502和504可以在视频呼叫开始之前或在视频呼叫启动时执行。方框506–514可以随着视频呼叫的进行而执行。

在框506，将一个或多个XR用户添加到用于视频呼叫的XR空间。当用户启用她的人工现实设备时，XR设备可以检查用户是不是正在进行的或即将开始的任何视频呼叫的被邀请方。如果是，则过程500可以自动将用户添加到XR空间，或者为用户提供进入XR空间的选项。当将用户添加到XR空间时，用户可以表示为由用户选择或为用户选择的Avatar，或者用户的全息表示。

当一个或多个用户在XR空间中时，过程500可以使用来自框504的连接机制来连接到视频呼叫，并提供XR空间。

在框508，将一个或多个视频呼叫用户的表示添加到XR空间。

在框510，确定视频呼叫是否已经结束。如果是，则过程500可以结束。如果不是，则过程500可以继续到框512。

在框512中，确定新的视频呼叫用户或另一个视频呼叫受邀者是否启用了她的XR设备。可以基于在设备设置的帐户作为主要帐户，或者基于哪个帐户最后在XR设备活动，从而确定哪个用户已经在特定的XR设备。

确定启用设备用户是否是参与者可以基于在框502确定的受邀者列表。如果新用户是这样的受邀者，则过程500可以继续到框514；否则过程500可以返回到框510。

在方框514，过程500可以将新用户添加到XR空间。

图6示出了将XR空间手动添加到日历事件的用户界面的示例600。

图7示出了提供建立的XR空间的选项的示例700。在示例700中，用户刚刚戴上XR设备，并带到Home环境702。XR设备已经确定用户是已经开始的活动的受邀者，并已经为所述活动创建了XR空间。所以，设备向用户提供所述XR空间可用性的通知704。在用户激活控件706时，VC/XR连接系统自动将用户带到用于事件的XR空间。

图8A示出了进入平行XR空间的视图的视频呼叫示例800。在示例800中，视频呼叫具有显示器802，显示器802包括多个传统视频呼叫馈送，例如馈送804和806，以及从XR空间中的虚拟camera提供的馈送808。

在示例800中，馈送808呈现为比其他视频呼叫馈送更大，因为所述馈送正在捕获显示多个参与者的类会议室空间。

图8B示出了具有多个视图的视频呼叫进入并行XR空间示例850。在示例850中，视频呼叫具有具有网格的显示器852，并示出传统视频呼叫参与者的个体视图（例如视图854）和并行XR空间中的参与者视图（例如视图856和858）。

位于XR空间中的参与者的每个视图由放置在XR空间内，并指向XR空间参与者之一的对应虚拟camera捕获。

图9A示出了具单个馈送的XR空间。XR空间显示为虚拟墙元素902，虚拟墙元素示出了视频呼叫的多个参与者，例如参与者906–910。

图9B示出了具有多个单独的视频馈送的XR空间。在示例950中，视频呼叫馈送分离成单独的部分952–956，每个视频呼叫参与者一个。设置为用于视频呼叫的并行XR空间的XR环境包括虚拟会议桌958。虚拟会议桌958周围显示了通过传统视频呼叫接口加入视频呼叫的参与者的馈送952–956，以及通过XR空间加入视频通话的参与者960–964。