Meta专利为AR/VR语音交流提供多场景通道无缝切换解决方案
在不同的通道和配置之间无缝切换
（映维网Nweon 2023年09月06日）当在人工现实环境中使用应用程序或开玩游戏时，用户会希望以清晰直观的方式相互交流。例如，用户可以在各种音频配置中进行通信，包括基于多用户麦克风输入和扬声器系统建立的不同音频通道。由于可能存在多个音频通道，用户可能需要在不同的通道和配置之间切换。
所以，一种能够在不同用户对的不同音频配置之间无缝地切换的系统可以增强多人体验。在名为“Audio configuration switching in virtual reality”的专利申请中，Meta就介绍了这样一种系统。
图4是示出示例计算机系统400的框图，可以将系统400配置为在共享人工现实环境中实现用于XR兼容设备的音频配置控制。
系统400可以通过为共享XR环境中具有相应用户表示的更广泛的用户集的每一对两个用户提供、选择、静音等各种音频通道来实现不同的音频配置。系统400可以避免出现不希望的音频伪音，如回声等。有利的是，系统400可以根据用户在人工现实/XR环境中的交互在不同的音频配置和/或通道之间无缝切换。
对于每个特定用户，系统400可以以两人特定的方式选择性地静音特定音频源的其他用户。例如，如果特定用户和其他用户位于XR环境中的同一应用程序中，开玩相同的游戏等，则系统400可以在切换音频时将来自系统/方音频通道的其他用户的音频静音，以便特定用户可以在目标/应用程序音频通道中以更高音频质量听到其他用户的声音。
特别地，系统400可以启用音频的自动控制以避免冲突音频，例如将可用音频通道之一静音以避免重复音频。当特定用户和其他用户共同位于XR环境中时，可以为特定用户使用更高质量的音频通道，以便在沉浸式三维环绕声中听到其他用户，并听到与特定用户站在其他用户旁边的感觉相关的环境噪声。
系统400可以包括一个或多个计算平台402。计算平台402可对应于人工现实/XR平台的服务器组件。
可以将计算平台402配置为在成对级别上，并基于所有用户的XR环境中相应用户表示的位置信息来控制计算平台402的所有用户的音频体验的质量。
例如，可以将计算平台402配置为执行算法以确定何时在XR环境中应用空间化音频和何时应用非空间化音频。这样，计算平台402可以根据用户各自的位置自动将XR或游戏用户升级到与其他用户的每对音频通信的最高保真度。
例如，远程平台404的XR兼容设备可以从计算平台402接收丰富的存在信息，包括XR环境中所有用户表示的位置信息。可以从共享XR环境的第三方应用程序接收丰富的状态信息。
计算平台402可以被配置为根据客户机/服务器体系结构、点对点体系结构和/或其他体系结构与一个或多个远程平台404进行通信。远程平台404可以配置为通过计算平台402来与其他远程平台通信。
用户可以通过远程平台404访问承载共享XR环境的系统400。作为示例，远程平台404可以访问人工现实内容，以便在共享的人工现实中为远程平台404的相应用户使用。
应用音频模块408可用于确定、选择、发送、接收等用于单个用户的XR环境中的音频配置，包括用于XR/游戏环境中的用户表示/用户对。所述音频配置包括不同的音频通道或音频源，所述音频源可包括参与所述各自通道的多个用户。
换句话说，各个通道可以承载多方组呼叫、聊天和/或来自不同用户的多个麦克风输入。各个通道中包含的用户可以重叠。例如，XR或游戏环境中的特定用户可以使用其XR兼容设备或其他设备通过一方音频通道或应用程序音频通道与其他相关用户进行通信。
在共享XR环境中，特定通道可用于呈现空间化音频。这样，当特定用户的用户表示在另一个用户的用户表示附近并通过应用程序音频通道连接时，特定用户可能会听到虚拟世界中的另一个用户，就像他们在现实世界中彼此在附近交谈一样。
相比之下，其他通道可以是非空间化的。例如，来自系统音频模块410的一方音频通道可以是作为无线电功能的多个用户之间的VoIP呼叫，因为一方音频通道不依赖于选择或使用特定应用程序或多人游戏的多个用户中的任何一个，同时不依赖于位于游戏或XR环境的相同位置的相应用户表示。
换句话说，一方音频通道可以独立于用户与游戏或XR环境的交互方式连接用户。不位于游戏或XR环境的相同虚拟区域、部分或应用中的用户不能通过应用音频模块408提供的应用音频通道连接，但用户依然可以通过来自系统音频模块410的一方音频通道彼此听到。
通过这种方式，用户可以通过一方音频通道保持一定程度的音频通信，而不管他们是否参与同一游戏或虚拟应用程序。
麦克风切换器音频模块412可以实现发明所述的音频或麦克风切换器，以有利地使用户能够在特定通道上与单个用户交谈，而不必为通过任何一个通道或源进行可听连接的所有用户完全静音任何一个音频通道或源。
这种切换可以对通过特定类型音频连接的每对用户执行。作为示例，为了确定特定用户和其他用户在同一附近并且应该通过音频通道进行空间音频通信，麦克风切换器音频模块412可以分析来自XR环境的应用程序的存在信息。
只要所述用户对中的每对都已授予其游戏或XR兼容设备的麦克风访问权限，麦克风切换器音频模块412可以使用该信息将用户对从一个音频源切换到另一个音频源。麦克风切换器音频模块412可以控制通过由计算平台402或远程平台404提供的音频源进行音频通信的所有用户中的每个用户的音频模态。
例如，对于特定用户，麦克风切换器音频模块412可以控制与特定用户通过特定用户连接到的通道同时听到的每个其他用户的音频通信。如果特定用户同时访问多个通道，并通过一方音频通道与另一用户子集交谈，则麦克风切换器音频模块412可以为两个用户子集的每个特定用户在应用音频通道和一方音频通道之间自动切换音频通信。
换句话说，如果子集的特定用户和特定用户都处于相同的音频呼叫和XR环境中的相同应用程序或虚拟位置，则麦克风切换器音频模块412可以将特定用户和特定用户之间的个人通信切换到应用程序音频通道，
一旦确定两个用户都在应用程序中或位于同一位置，则无需完全终止任何一个用户的一方音频通道。特别是，如果特定用户和特定用户处于同一空间区域，则这对用户之间的音频通信可以从非空间化的无线呼叫体验升级为更高保真度的空间化应用音频体验。
所述混合音频模块414可使游戏或XR环境的用户能够同时与通过所述音频通道连接的组成员用户，以及位于相同当前目的地的用户对话。
这样，混合音频模块414有利地减少或最小化通过适用的音频源/通道听到重复音频流或不听到音频流的时间。
另外，混合音频模块414可使与应用音频通道和一方音频通道相对应的VoIP会话诸如通过远程平台404的XR兼容设备接收麦克风输入。混合音频模块414可以产生信号以指示用户何时位于同一空间区域内或位于同一空间区域内。
用户可以选择混合音频设置，例如麦克风输入的独占音频捕获或共享音频捕获。这样，根据用户输入，混合音频模块414可以选择或实现仅可以听到应用音频通道中的用户，仅可以听到一方音频通道中的用户，或者可以听到两个通道中的用户的音频配置。
混合音频模块414可以实现混合音频配置。其中，混合音频配置选择性地为特定用户应用音频通道，例如在特定用户和与特定用户进行音频通信的所有其他其他用户之间形成的所有聚合用户对。
混合音频模块414可以使用特定音频通道的呼叫中参与者的用户标识符来实现混合音频配置。例如，混合音频模块414可以接收与应用音频通道和/或一方音频通道中的活动用户/用户表示相关联的活动用户标识符的指示。
用户标识符的指示可以由计算平台402和/或远程平台404发送，例如基于收集XR应用程序中活动参与者的用户标识符的XR应用程序。
当标识符发生变化时，远程平台404的XR兼容设备可以将用户标识符变化的指示发送到计算平台402。混合音频模块414可以与应用音频模块408和系统音频模块410一起操作，以向用户提供从混合音频配置切换到应用或呼叫配置的选项。
出于隐私考虑，可以取消或限制与XR应用程序的数据共享，这样XR应用程序就不会被告知在一方音频通道中存在哪些用户标识符。
静音模块416可以使用系统调用来支持每个人的静音。例如，应用音频模块408和系统音频模块410可各自接收来自分别连接到应用音频通道和/或一方音频通道的远程平台404的相应客户端设备的麦克风音频输入。
由于应用音频模块408和系统音频模块410也可以接收音频，因此静音模块416可以接收定时信号，以确保在正确的时间对任何可用通道进行静音。
例如，当特定用户和另一用户进入相同的XR或游戏应用程序或共同位于XR环境中时，静音模块416可以使一方音频通道抑制特定用户和另一用户对的音频。
为此，XR应用程序可以向静音模块416提供那些XR应用程序中相对于XR或游戏环境的用户表示的目的地或位置信息。所述信息可允许静音模块416基于用户/用户表示是否位于或定位于共享环境中的相同虚拟区域或目的地，对各种用户对或用户表示进行静音。
可以向用户提供同意或拒绝给予麦克风访问呈现共享XR环境的计算平台402的选项。用户同时可以选择同意控制发送和/或接收麦克风输入的静音模块416，以便静音模块416可以根据与XR应用程序或特定虚拟区域的交互，选择性地静音应用程序音频通道或一方音频通道中的单个其他用户。
状态同步模块418可以接收元数据信息以同步各个用户对的状态信息。例如，状态同步模块418可以由特定的XR应用程序通知特定的一对用户正在XR环境中一起玩游戏。
状态同步模块418接收到的元数据同时可用于确定XR应用程序中的XR目的地或虚拟区域是否支持目标音频会话，例如通过应用程序音频通道呈现的音频会话。
状态同步模块418可用于确定指示特定用户对在XR位置中共同定位或一起交互的信息，以便可以使用、启动或切换到应用程序音频通道，从而允许特定用户对可以通过应用程序音频通道以高保真度空间化音频方式彼此听到。
另外，状态同步模块418可以方便多个用户一起开玩同一款游戏，并可以基于状态同步模块418协调入口或通过一方音频通道加载应用。有利地，状态同步模块418和麦克风切换音频模块412可以为特定用户维持多个音频通道，但为特定用户对使用不同的通道。
例如，当特定用户和另一个用户都开始使用一个VR应用程序时，一方音频通道不会完全关闭，以便特定用户和另一个用户可以使用应用程序音频通道（升级到更高质量的空间化音频通信通道），而特定用户可以继续通过派对音频通道与其他用户交谈，因为加载VR应用程序不会自动终止特定用户在派对音频通道中的参与。
换句话说，特定用户可以保持在所有所需的通道中，同时通过不同的音频通道与特定的其他用户交谈。
例如，XR模块420可用于通过计算平台402为远程平台404呈现共享的人工现实环境。XR模块420同时可以在不使用输入的情况下自动实现不同的音频配置。例如，XR模块420可以为XR环境中特定用户的用户表示附近的其他用户表示提供空间化或非空间化音频。
空间化或非空间化音频可以分别基于应用音频通道和一方音频通道进行传递。这样，XR模块420可以为特定用户希望与之进行音频通信的所有其他用户维护一方音频通道。
当特定用户进入相同的应用程序或游戏或与另一用户共同位于同一空间区域时，特定用户和新共同位于的另一用户可以使其音频连接自动从非空间化方音频通道升级到更高质量的空间化应用通道。
另外，特定用户可以具有基于与另一用户建立基于应用程序音频通道的连接而添加与另一用户的音频连接的选项。通过这种方式，XR模块420避免了多个音频问题，例如特定用户通过多个音频通道或源听到相同的另一个用户。
图7示出了流程图。
在步骤702，可以接收用户的人工现实位置信息的指示。
在步骤704，可以确定基于人工现实位置信息或应用程序的音频配置。
在步骤706，可以确定用于在用户和另一用户之间改变音频的音频配置的切换点。
在步骤708，可以基于切换点将音频配置改变为另一音频配置。
在步骤710，可以基于另一音频配置来输出音频。在一个方面，输出另一音频配置包括：当用户和另一用户共同位于共享的人工现实环境中时，经由用户的第一麦克风输入和另一个用户的第二麦克风输入，在用户与另一用户之间应用音频的空间化。
相关专利：Meta Patent | Audio configuration switching in virtual reality
名为“Audio configuration switching in virtual reality”的Meta专利申请最初在2022年1月提交，并在日前由美国专利商标局公布。
