苹果AR/VR专利为隐私保护提出限制XR应用接收的数据类型

小编刘卫华 | 分类：专利 / 苹果 | 2023年10月11日

加入映维网会员

托管应用程序同时管理用户私有信息

Vision Pro QQ群交流：653565822

（映维网Nweon 2023年10月11日）特定设备能够生成并呈现XR环境。在一个场景中，XR会话的用户可能希望与XR会话的其他用户共享XR应用程序的体验，例如游戏、绘画和生产力应用等。在共享的XR应用程序体验中，有必要防止XR应用程序访问用户之间的语音数据、角色或其他通信数据。

所以，有必要提供一种在XR环境中托管应用程序同时管理用户私有信息的技术。在名为“Applications in a multi-user environment”和名为“Conversation privacy for third party applications”的专利申请中，苹果就提出了一种相关的技术。其中，为了帮助维护隐私，可以限制XR应用程序接收的数据类型。

图3A示出将XR通信计算环境应用体验引入XR通信计算环境的XR通信计算环境 00的接口。

XR通信计算环境 302可能会将视图显示到共享的XR通信会话中。XR通信计算环境 302可以包括一个界面，例如菜单、手势、语音命令或其他用户可以用来选择要导入XR通信计算环境 302的应用程序的界面。

在本例中，XR通信计算环境 302包含一个菜单304，用于将应用程序体验带到XR通信计算环境 302。例如，可以对菜单304进行细分，以便对可用的XR通信计算环境应用程序进行分类。

在这个例子中，选择一个游戏类别306，而它将显示一个列表308，并列出可以引入XR通信计算环境 302的可用应用程序。

在一个实施例中，XR通信计算环境可以作为后台应用程序运行。例如，用户可以从一个活动的XR通信计算环境切换到另一个应用程序，从而浏览和/或选择一个应用程序以将其带入XR通信会话。

图3B示出向XR通信会话350带来应用体验的另一接口的线图。在本例中，用于共享内容的接口在XR通信计算环境情景之外执行。例如，用户正在浏览设备的应用或内容，并访问将应用体验带入XR通信计算环境的界面，比如说使用按钮、长按、选择内容项等。

在本例中，用户可以选择应用程序352并访问与所述应用程序352关联的情景菜单354。情景菜单354包含一个用于将应用程序体验引入XR通信计算环境的菜单项356。

在一个实施例中，用户可以从XR通信计算环境内部访问XR通信计算环境应用程序，而XR通信计算环境应用程序对XR通信计算环境的其他用户不可见。在XR通信计算环境未运行的场景中，可以启动XR通信计算环境实例，然后将应用程序引入XR通信计算环境。

在一个实施例中，XR通信计算环境包含应用程序可以利用的功能。例如，第一个用户可能与第二个和第三个用户处于XR通信会话中，第一个用户可能与第二个用户一起使用XR通信计算环境应用程序启动应用程序体验。

XR通信计算环境应用程序可以通过一个指示来调用或启动，表明XR通信计算环境应用程序正在XR通信会话的情景中执行。

对于在XR通信会话中的多个用户之间启动XR通信计算环境应用程序体验，这可能会在每个用户的本地设备启动XR通信计算环境应用程序实例。例如，XR通信会话可以在参与应用程序体验的每个用户的每个本地设备调用XR通信计算环境应用程序。

应用程序可以访问一个或多个API，以允许应用程序利用XR通信计算环境会话提供的功能。例如，XR通信计算环境应用程序可以调用XR通信计算环境提供的API来访问XR通信计算环境提供的功能。

在一个实施例中，当XR通信计算环境应用程序在XR通信计算环境的情景中执行时，XR通信计算环境会提供数据传输、网络、音频、视频和角色处理功能，而XR通信计算环境应用程序可以使用所述功能。

继续这个例子，如果应用程序体验的参与者没有XR通信计算环境应用程序，则XR通信计算环境应用程序可以利用XR通信计算环境的网络功能并进行传输，或者导致第二个设备以其他方式获取XR通信计算环境应用程序的一个版本，以便在应用程序体验期间使用。

与完整的XR通信计算环境应用程序相比，XR通信计算环境应用程序的版本提供更少或不同的功能。然后，与第一个用户关联的XR通信计算环境应用程序实例可以使用XR通信计算环境提供的联网功能将数据传输到XR通信计算环境应用程序的其他实例。

根据苹果的发明，来自XR通信计算环境应用程序的图形数据可以与可视化表示数据一起合并到XR通信会话的视频流中。

视觉表示数据是代表用户的图形数据。可以收集可视化表示数据，例如由XR通信计算环境实例收集，并在参与XR通信会话的其他设备之间分发。在一个实施例中，可视表示数据由另一个XR通信计算环境应用程序处理。另一个XR通信计算环境应用程序可以集成到XR通信计算环境中。

用户可以与XR环境中的Avatar相关联。在XR环境中，生成Avatar，打包成视频流，并分发给XR通信会话的其他参与者。在XR通信会话中的参与者之间，Avatar的动画和/或应用于Avarar的效果，以及视频可以由XR通信计算环境实例处理，并且可以基于视频流中的信息。

当XR通信计算环境应用程序在XR通信计算环境实例的情景中运行时，例如在应用程序体验期间，XR通信计算环境应用程序提供的图形通过API传递给XR通信计算环境实例，并作为XR通信会话的视频流的一部分发送。

在一个实施例中，XR通信计算环境应用程序的图形环境可以作为XR通信会话的图形环境的一部分显示。在其他情况下，在应用程序体验期间，XR通信计算环境实例的图形环境由XR通信计算环境应用程序的图形环境所取代。

图4示出应用体验400。在这个示例应用程序体验400中，XR通信计算环境应用程序402的图形环境取代了XR通信计算环境实例的图形环境。

可以将XR通信计算环境应用程序生成的图形数据发送到XR通信计算环境实例，并与视觉表示数据一起集成到XR通信会话的视频流中。

根据发明，代表第一用户404和第二用户406的化身继续由XR通信计算环境实例绘制到XR通信计算环境应用程序402的图形环境中。

例如，当两个用户参与一个XR通信计算环境体验时，XR通信计算环境应用程序可以提供位置信息，以便在哪里显示代表这两个用户的两个Avatar。Avatar的动画、效果等可以由XR通信计算环境实例在XR通信计算环境应用程序402的图形环境中，并以类似于在XR通信图形环境中呈现的方式呈现。

例如，XR通信计算环境可以访问本地用户的信息，并且XR通信计算环境可以在与XR通信计算环境应用程序提供的位置信息相对应的位置呈现代表本地用户的Avatar。类似地，本地XR通信计算环境可以从第二个XR通信计算环境应用程序接收Avatar信息。Avatar信息可以包含用于呈现和/或使表示第二用户的第二Avatar动画化的信息。

XR通信计算环境应用程序可以在与XR通信计算环境应用程序提供的位置信息相对应的位置呈现第二Avatar。第二个XR通信计算环境应用程序同时可以为一个或多个Avatar提供位置信息，而与用户本身相关联的动画或图形表示可以根据应用程序体验的参与进行调整或更改。

当接收到视频流时，传入的视频流由本地XR通信计算环境实例处理，XR通信计算环境实例可以直接呈现用于XR通信计算环境应用程序的图形数据，或者从接收到的视频流中提取用于XR通信计算环境应用程序的图形数据，并传递给XR通信计算环境应用程序进行处理和呈现。

由于XR通信计算环境应用程序只能访问由XR通信计算环境应用程序生成或使用的图形数据，因此XR通信计算环境应用程序不能访问用户的可视化表示。

在一个实施例中，XR通信计算环境应用程序可能能够控制可视化表示数据的各个方面。例如，XR通信计算环境应用程序可以请求XR通信计算环境实例不显示用户的图形化表示。

在这种情况下，隐藏用户的Avatar和/或其他图形表示。作为另一个例子，XR通信计算环境应用程序可以为XR通信计算环境实例的图形表示提供位置信息和/或大小信息。这有助于XR通信计算环境应用程序指示在XR通信计算环境应用程序环境中的位置，从而帮助优化应用程序体验。

在本例中，第一用户404在XR通信计算环境应用程序生成的游戏中与第二个用户406相对。XR通信计算环境应用程序可以会更改或更新用户图形表示的位置和/或大小。XR通信计算环境应用程序可以为每个参与者提供位置信息。

例如，XR通信计算环境应用程序可以通过XR通信计算环境实例访问关于用户的非个人身份信息，例如用户标识符。然后，可以为每个用户标识符分别提供用于用户图形表示的位置和/或尺寸信息。这种非个人身份信息可能在应用程序体验的实例之间更改或随机化。

XR通信计算环境应用程序可以在XR通信计算环境应用程序中包含登录或帐户功能。在这种情况下，参与者可以登录或创建帐户，XR通信计算环境应用程序可以将XR通信计算环境实例提供的非个人身份信息与帐户或登录相关联。

与用户相关或代表用户的音频内容同样可以由XR通信计算环境实例为XR通信计算环境应用程序处理。例如，由XR通信计算环境应用程序生成的音频数据，如音乐、声音效果、交互声音等可以由本地XR通信计算环境应用程序传递给特定设备的XR通信计算环境实例。

XR通信计算环境应用程序同时可以将有关音频数据的元数据传递给XR通信计算环境实例，以帮助控制音频数据的播放。

然后，XR通信计算环境实例可以将音频数据的表示或指示发送到参与应用程序体验的XR通信会话的其他设备，以便由其他设备复制。

在应用程序体验的参与者之间，语音音频数据可以由XR通信计算环境实例处理。例如在XR通信会话期间，从XR通信会话的参与者接收语音音频数据以生成音频流。所述音频流在参与XR通信会话的设备之间传递，并由适当的设备播放。

在应用程序体验期间，XR通信计算环境实例继续处理语音音频数据。例如，XR通信计算环境应用程序生成的音频数据可以通过API发送到XR通信计算环境实例并集成到音频流中。例如，XR通信计算环境应用程序可以提供音频数据，而所述数据可以合并到XR通信计算环境实例的音频流中，并发送给其他参与者进行回放。

接收到的音频流可以由XR通信计算环境实例处理，XR通信计算环境应用程序的音频数据可以直接由XR通信计算环境实例呈现，或可以从接收到的音频流中提取音频数据并传递给XR通信计算环境应用程序进行回放，而不需要XR通信计算环境应用程序访问音频流中其余部分的其他音频数据，例如语音音频数据。

由于XR通信计算环境应用程序只能访问由XR通信计算环境应用程序生成或使用的音频数据，因此XR通信计算环境应用程序不能访问应用程序体验参与者之间的语音音频数据。

在一个实施例中，XR通信计算环境应用程序能够控制语音音频数据的各个方面，例如，通过向XR通信计算环境提供方向性、静音或其他信息。所述信息可以由参与者提供，或可以为所有参与申请体验的参与者提供。

在一个实施例中，语音音频数据可以由另一个XR通信计算环境应用程序处理和/或传输。例如，可以将另一个XR通信计算环境应用程序集成到XR通信计算环境中。

图5是在多用户通信会话500中进行协作的流程图。

在502，接收在与第二设备的多用户通信会话中启动第一应用程序的请求，并启动应用程序体验。

在504，在多用户通信会话中呈现第一个应用程序的环境。例如，XR通信计算环境应用程序可以在XR通信会话中呈现。

在506，多用户通信会话的一个或多个进程接收数据，所述数据包括输入数据和第一通信数据。例如，第一个用户可以向XR通信计算环境应用程序提供控制输入以及语音信息。

在508，一个或多个进程向第一个应用程序提供输入数据。例如，控制输入可以由XR通信计算环境实例提供给XR通信计算环境应用程序。

在510，一个或多个进程向第二设备提供第一通信数据。例如，XR通信计算环境实例可以将接收到的语音输入数据传输到XR通信会话中参与应用程序体验的另一个设备。所述语音输入数据可由所述第一设备接收，例如由所述第一设备的麦克风接收。语音输入可以由XR通信计算环境实例处理并提供给XR通信会话，而不提供给XR通信计算环境应用程序。

在512，一个或多个进程从第二设备接收第二通信数据。例如，XR通信计算环境实例可以从参与XR通信会话中的应用程序体验的另一个设备接收语音数据。

在514，一个或多个进程在第一应用程序的环境中呈现第二通信数据，其中限制第一应用程序访问第一通信数据和第二通信数据。例如，XR通信计算环境实例将接收到的语音数据呈现给第一个用户，而不向XR通信计算环境应用程序提供接收到的语音数据。所接收的语音数据可以例如由第一设备的一个或多个扬声器呈现。

苹果指出，发明所述的技术考虑了获取和利用用户个人信息的选项。例如，相关个人信息可用于在电子设备提供改进的XR环境体验和应用程序体验。但所述信息应在用户知情同意的情况下获得，以便用户了解并控制其个人信息的使用。

有权访问个人信息的各方将仅出于合法和合理的目的使用信息，并将遵守至少符合适当法律法规的隐私政策和惯例。另外，相关条款必须完善，便于用户使用，并需要达到或超过政府/行业标准。同时，在任何合理和合法的目的之外，个人信息不会分发、出售或以其他方式共享。

同时，用户可以限制获取个人信息的程度。发明描述的过程和设备可以允许用户更改设置或其他偏好，以便用户控制对其个人信息的访问。