Meta专利提出通过专用AR数据通道实现共享AR视频通话

小编广东客 | 分类：专利 | 2023年9月14日

加入映维网会员

AR视频通话

（映维网Nweon 2023年09月14日）随着AR技术的发展， AR通话成为了一个重要的远程共在选项。在名为“Utilizing augmented reality data channel to enable shared augmented reality video calls”的专利申请中，Meta提出一种通过专用增强现实数据通道来实现共享增强现实视频呼叫的方法，从而促进在视频呼叫期间共享增强现实元素并与之交互。

专利描述的系统可以在包括视频音频的数据通道和AR数据通道的客户端设备之间建立视频呼叫，并通过AR数据通道传输AR数据，以致使另一个客户端设备在捕获视频中呈现AR元素。

图1示出了示例性系统环境100的示意图，其中可以实现共享增强现实视频呼叫系统104。如图1所示，环境100包括服务器设备102、网络106和客户端设备108a、108b-108n。

服务器设备102包括共享AR视频呼叫系统104。在一个或多个实施例中，共享AR视频呼叫系统104在客户端设备之间建立视频数据通道和AR数据通道，以在客户端设备之间实现具有共享AR元素的视频呼叫。

如图2所示，客户端设备204在数字视频呼叫接口212内显示由客户端设备204捕获的视频214和由客户端设备205捕获的视频216。同样，客户端设备205在数字视频呼叫接口218内显示由客户端设备205捕获的视频216和由客户端设备204捕获的视频214。客户端设备204和客户端设备同时通过音频数据通道208从各自客户端设备捕获的音频传输音频数据。

客户端设备204和客户端设备205利用AR数据通道210在客户端设备之间传输和接收AR数据，以在视频通话期间呈现共享的AR元素。如图2所示，客户端设备204和205呈现在视频通话期间共享的AR元素220。

客户端设备204在捕获的视频214呈现AR元素220。然后，客户端设备204将具有呈现的AR元素220的捕获的视频214发送到客户端设备205。同样，客户端设备205在捕获的视频216呈现AR元素220。随后，客户端设备205将具有呈现AR元素220的捕获视频216发送到客户端设备204。

通过在本地渲染AR元素，客户端设备可以利用非压缩捕获的视频，其中包括视频传感器数据，如但不限于深度信息、面部追踪信息和/或其他身体运动追踪信息。

共享AR视频呼叫系统104利用AR数据通道来促进在视频呼叫期间实时传输AR数据。例如，在视频通话期间，共享AR视频通话系统104可以建立AR数据通道，该通道便于在视频通话期间传输和接收附加数据，以在视频通话期间共享交互式AR环境、AR效果、基于AR的活动和/或单个AR元素。

在一个实施例中，共享AR视频呼叫系统104可以建立AR数据通道以利用一种或多种数据交换格式来促进AR数据通道内AR数据的传输。

另外，共享AR视频呼叫系统104可以建立数据消息通道，从而包括启用用于客户端设备订阅的数据流。例如，共享AR视频呼叫系统104可以接收来自客户端设备的订阅AR数据通道的请求。然后，共享AR视频呼叫系统104使客户端设备能够侦听通过数据流传输或广播的数据消息。

在一个实施例中，共享AR视频呼叫系统104可以在多个客户端设备之间启用共享AR视频呼叫。例如，共享AR视频呼叫系统104可以在客户端设备204、客户端设备205和一个或多个客户端设备222之间建立视频呼叫流202。

实际上，在通过AR数据通道210传输AR数据时，客户端设备204、客户端设备205和客户端设备222中的一个或多个可以呈现共享AR元素，以在多个客户端设备之间的视频通话中创建共享AR环境场景、AR活动和/或AR效果。

如上所述，共享AR视频呼叫系统104建立AR数据通道以在视频呼叫期间传输AR数据，以在多个客户端设备之间的视频呼叫中创建交互式和自由流动的AR元素。

图3示出了共享AR视频呼叫系统104的流程图。其中，系统建立了AR数据通道和利用AR数据通道在视频呼叫期间通信AR数据并呈现AR元素的客户端设备。

在302，共享AR视频呼叫系统104接收来自客户端设备1的与客户端设备2进行视频呼叫的请求。

在304，共享AR视频呼叫系统104在客户端设备1和客户端设备2之间建立共享AR视频呼叫。

在306，客户端设备1通过视频数据通道和音频数据通道向客户端设备2发送第一视频流。

在308，客户端设备2通过视频数据通道和音频数据通道向客户端设备1发送第二视频流。

在310，客户端设备1呈现第一和第二视频流。

在312，客户端设备2也呈现第一和第二视频流。

在314，客户端设备1在客户端设备1的第一视频流内启动共享AR元素。

在316，客户端设备1通过AR数据通道向客户端设备2发送于AR元素的AR标识符。

在318，客户端设备2用AR元素呈现第一视频流。

在320，作为对接收AR标识符的响应，客户端设备2呈现具有与所接收的AR标识符相关联的AR元素的第二视频流。实际上，客户端1和客户端2的视频流都在本地渲染一个共享的AR元素，以创建一个共享的AR环境场景、AR活动和/或AR效果。

当跨AR数据通道共享AR元素时，设备在呈现AR元素之前初始化AR元素。特别是，如图3的322a和322b所示，客户端设备在呈现AR元素之前都初始化了AR元素。

在一个或多个实施例中，一个或多个客户端设备接收AR标识符并等待，直到每个客户端设备初始化AR元素，以便在视频呼叫上跨多个客户端设备同步共享的AR体验。

在初始化时，客户端设备可以通过AR数据通道向其他客户端设备发送消息，表明客户端设备已准备好呈现AR元素或已初始化AR元素。

在特定情况下，客户端设备可以通过检索AR元素、加载AR元素和/或下载特定的AR数据包来初始化AR元素。在视频通话中接收到来自每个客户端设备的初始化消息后，各个客户端设备可以继续呈现AR元素。

另外，客户端设备可以暂停视频呼叫的一个或多个视频流，直到在每个参与的客户端设备上完成共享AR元素的初始化。共享AR视频呼叫系统104可以流式传输加载屏幕或加载动画，直到在每个参与的客户端设备上初始化AR元素。

同时，共享AR视频呼叫系统104使客户端设备能够继续通过音频数据通道发送和/或接收音频数据，并在多个客户端设备上初始化AR元素时，在视频呼叫上播放一个或多个客户端设备的音频。

如图3的324所示，客户端设备1与第一视频流内的AR元素交互。在与AR元素交互时，客户端设备1还向客户端设备2发送用于交互的附加AR标识符。然后，如图3的328所示，客户端设备2接收额外的AR标识符，并利用来自AR标识符的信息进行来自客户端设备1的交互，以基于AR标识符修改第二视频流内的AR元素。

在一个或多个实施例中，客户端设备可以继续在视频呼叫上的客户端设备之间传输各种数据组合。实际上，客户端设备可以传输视频数据、音频数据和/或AR数据的各种组合，以在视频通话期间呈现各种AR体验。

如上所述，共享AR视频通话系统104在视频通话期间利用AR数据通道在参与视频通话的客户端设备之间传输AR数据，建立共享AR环境场景。图4示出了在多个客户端设备之间建立具有共享AR环境场景的视频呼叫的共享AR视频呼叫系统104。

如图4所示，共享AR视频呼叫系统104在接收到来自客户端设备402a（或408a）发起视频呼叫的请求后，建立视频呼叫流420，其中包括视频数据通道422、音频数据通道424和AR数据通道426。

如图4所示，客户端设备402a通过AR数据通道426传输AR标识符，并在数字视频呼叫接口404中在捕获的视频406中呈现AR元素414a。

在接收到AR标识符后，客户端设备408a同时在数字视频呼叫接口410中捕获的视频412内呈现AR元素414b。

客户端设备402a和408a进一步显示视频流，以描绘用AR元件414b捕获的视频412和用AR元件414a捕获的视频406。

共享AR视频呼叫系统104可以允许客户端设备与视频呼叫中的AR元素交互，以影响跨视频呼叫的一个或多个参与客户端设备呈现的AR元素。

例如，图4示出客户端设备检测与AR元素的交互，并利用AR数据通道将所述交互反映到视频呼叫的其他客户端设备上的AR元素。

如图4所示，客户端设备402b检测用户交吹AR蛋糕的蜡烛。客户端设备402b通过AR数据通道426向客户端设备408b(发送带有交互数据的AR标识符。在接收到表示修改的AR元素和/或与AR元素的交互的AR标识符后，客户端设备408b呈现捕获的视频412中的AR元素414b，以反映在客户端设备402b检测到的修改AR元素416b，亦即吹熄蜡烛的蛋糕。

在一个或多个实施例中，共享AR视频呼叫系统104允许客户端设备能够检测和传输与AR元素相关的各种类型的交互数据。例如手部运动、手臂运动、头部运动、眼球运动、身体运动等等。

另一个例子是，客户端设备可以检测到一个移动，表明视频通话参与者正在翻动基于AR的书籍的一页。然后，客户端设备可以呈现基于AR的图书翻页，同时通过AR数据通道将交互传输到视频通话中的另一个客户端设备。另一个客户端设备可以接收AR数据，并在共享的AR环境中为基于AR的图书呈现相同的基于AR的图书翻页。