苹果专利介绍无线连接评估系统，改善基于PC无线渲染的头戴式AR/VR体验
评估无线传输质量
（映维网Nweon 2022年03月30日）当计算设备彼此通信信息时，这种通信可以通过物理有线连接或无线连接发生。对于无线连接，有时信号需要通过墙壁等物体进行传播，并削弱两台计算设备之间传输数据能力。当用户希望执行需要高信息传输的特定动作时，这对体验的影响尤为严重。但是，用户可能不知道问题的部分原因可能是由于物体造成的信号传输质量干扰。
例如对于XR设置，一个实施例可能涉及用户穿戴的头显与帮助生成CGR环境的PC进行无线通信。如果所述系统之间传播的信号受到损害，则XR环境可能无法正确呈现，并导致音频和/或视频帧丢失或延迟。
针对这个问题，有必要判断衡不同计算设备之间的通信质量。在名为“Connection assessment system”的专利申请中，苹果就介绍了一种用于评估无线连接质量的系统。
图1示出了用户105所在的示例环境100。在所示实施例中，环境100包括用户105，与基站120无线通信的呈现设备110，以及额外的物理对象，例如墙、桌子等。如图进一步所示，呈现设备110可以向用户105呈现XR视图115，并呈现强连接区域130、差连接区域140和不安全区域150。
在各种实施例中，基站120可以是配置为帮助生成呈现设备110所使用的内容的PC，例如XR视图115。呈现设备110可以是配置成向用户呈现XR视图的头戴式显示器或智能手机。
在所示实施例中，基站120和呈现设备110之间是包括沙发和咖啡桌的一组物理对象。由于所述物理对象的位置，所示实施例中出现了强连接区域130和差连接区域140。例如，特定的XR体验可能需要一定的网络带宽才能实现，所以强连接区域130可对应于提供满足指定阈值的连接质量区域。差连接区域140可以是未达到满足指定阈值的连接质量区域。
在一个实施例中，可以通过连接评估系统为环境100内的不同区域计算连接分数，并以一系列不同地的方式来呈现给用户105，以便用户105可以在它们之间进行选择。例如，强连接区域可以呈现出鲜艳的颜色。
图示的实施例同时出现了不安全区域150。不安全区域150可对应于存在潜在安全问题的区域，不一定考虑连接质量。例如，如果用户正在进行业务会议，则不安全区域150可以是对话可能被其他人偷听的区域。
为了识别区域130、140和150，在各种实施例中，呈现设备110收集各种类型的信息，包括信道拥塞、接收信号强度指示符、延迟、吞吐量等信息的网络信息、视觉信息和音频信息。例如，呈现设备110可以识别环境100中的物理对象，以便确定所述对象对呈现设备110和基站120之间的网络连接影响程度。
在各种实施例中，使用为环境100收集的信息，呈现设备110可以计算环境100内不同区域的连接分数。例如，如所示实施例中所示，呈现设备110可以确定呈现设备110和基站120之间存在沙发。呈现设备110可进一步确定沙发由合理地减弱通过沙发传播的信号的材料制成。因此，呈现设备110可以将较低的分数分配给信号必须通过沙发传播以到达基站120的区域。结果，呈现设备110可以确定所示实施例中所示的强连接区域130和差连接区域140。
在计算不同区域的连接分数之后，呈现设备110可以向用户105提供所述分数的指示。例如，呈现设备110可以提供视觉指示，例如绿色浮动球表示强连接区域130，红色浮动球表示差连接区域140。响应于呈现指示，用户105可以决定移动到强连接区域130。在一个实施例中，呈现设备110可提供引导用户105移动到指定区域的数字路线指引。
在各种实施例中，呈现设备110包括用于与基站120建立网络连接230的一个或多个网络接口。在一个实施例中，呈现设备110配置为基于接口的连接性以及呈现设备110正在交付的特定用户体验在不同的可用网络接口之间进行选择。例如，如果特定用户体验需要大量带宽，则呈现设备110可以在与基站120无线通信时选择支持专有无线技术的无线电。然而，如果用户仅仅是从基站120流式传输电影，则使用Wi-Fi。
呈现设备110可以经由连接230将传感器210和220收集的信息发送到基站120。基站120可以基于从传感器210和250获得的各种信息来呈现VR帧，压缩帧，并经由连接230将其发送到呈现设备110。
图4示出了呈现设备110接收的示例环境信息框图。在所示实施例中，环境100包括佩戴呈现设备110的用户105、基站120、已知对象422和未知对象424。此外，如图所示，呈现设备110接收网络信息410、视觉信息420和音频信息430。
如前所述，呈现设备110可以包括各种传感器，以帮助呈现设备11够捕获关于环境100的不同类型的信息，并用于确定有利于体验XR体验的强连接区域130和在XR体验期间应避免的差连接区域140。
在各种实施例中，网络信息410包括识别环境100内不同物理位置的呈现设备110和基站120之间的无线电信号强度的信息。网络信息410可以由呈现设备110的一组网络电路捕获。例如，网络信息410可以指示当呈现设备110位于沙发后面时呈现设备110和基站120之间的无线电信号强度近似为-70dbm，当呈现设备110位于沙发前面时，网络信息410可以指示呈现设备110和基站120之间的无线电信号强度近似为-50dbm。
为了收集网络信息410，用户105可以将呈现设备110移动到环境100中的不同位置，以便呈现设备110可以在所述位置测量呈现设备110和基站120之间的网络信号的功率电平。在一个实施例中，网络信息410可用于建立环境100中不同位置的连接强度的基本近似值。网络信息410可以包括识别呈现设备110到基站120的连接的信道拥塞、延迟和吞吐量的附加信息。
在各种实施例中，视觉信息420包括提供环境100中的物理布局和/或物理对象的视觉表示信息。视觉信息420可由一个或多个世界传感器210捕获。音频信息430包括与环境100内发生的声音有关的信息。音频信息430可以由呈现设备110的一组麦克风捕获。在各种实施例中，音频信息430可用于确定环境100内的不安全区域150。例如，如果音频信息430指示存在源自特定位置的人声，则呈现设备110可以向用户105指示所述位置作为不安全区域150。
图5示出了示例连接评估引擎335的框图。在所示的实施例中，连接评估引擎335接收四个输入510并产生三个输出520。如图所示，输入510包括网络信息410、视觉信息420、音频信息430和已知对象信息515，输出520包括视觉指示522、音频指示524和触觉指示526。
在各种实施例中，连接评估引擎335是一组可执行的软件例程，并用于识别环境100中的强连接区域130、差连接区域140和/或不安全区域150。为了识别不同的区域，连接评估引擎335可以计算环境100中各个位置的分数，并相应地将区域分类为强连接区域130或差连接区域140。连接评估引擎335可单独确定是否将特定位置分类为不安全区域150。
为了计算环境100中不同位置的分数，连接评估引擎335最初捕获环境100的环境信息，例如视觉信息420和音频信息430。连接评估引擎335同时可以捕获网络信息410。除了捕获与环境100有关的信息之外，连接评估引擎335同时从本地或外部数据库检索已知对象信息515，例如已知对象信息515可以由第三方维护。
在各种实施例中，已知对象信息515包括识别已知对象422的列表以及关于所述对象特定属性的信息。例如，已知对象信息515可以包括零售商出售的椅子的目录。目录可识别特定椅子是否由木材、皮革、塑料等制成。在各种实施例中，已知对象信息515可进一步包括指示特定材料引起的干扰的信息。例如，已知对象信息515可指示砖块可对5ghz信号造成-15dbm的衰减。
在各种实施例中，在捕获关于环境100的环境信息并检索已知对象信息515之后，连接评估引擎335计算环境100中不同位置的分数。为了计算特定位置的分数，连接评估引擎335可以确定所述特定位置和基站120之间是否存在物理对象。连接评估引擎335使用例如一组经过训练的机器学习模型来分析环境100的图像。
如果连接评估引擎335确定在特定位置和基站120之间存在物理对象，则连接评估引擎335可以确定物理对象是已知对象422或未知对象424。为了进行确定，连接评估引擎335检查物理对象的图像和已知对象422的图像，以确定物理对象是否匹配任何已知对象422。
如果物理对象是已知对象422，则连接评估引擎335可以查找所述对象的属性，并确定物理对象引起的干扰量。例如，连接评估引擎335可以确定物理对象对应于由木材制成的特定椅子，并确定其对传输造成近似量的衰减。
在各种情况下，如果物理对象是未知对象424，则连接评估引擎335可尝试确定所述对象由什么材料制成。例如，呈现设备110可包括世界传感器210，后者可用于测量物理对象的折射率或热导率。基于折射率或热导率，连接评估引擎335可以确定物理对象的材料。连接评估引擎335随后可检索关于所述材料的信息。
基于由位于特定位置和基站120之间的物理对象引起的确定的干扰量，连接评估引擎335可将分数分配给所述特定位置。如果在呈现设备110和基站120之间发送的信号预期在某个位置被合理地衰减，则连接评估引擎335可以分配较低的分数；否则，可以分配更高的分数。
如果网络信息410指示与正在评估的特定位置在预定义距离内的位置的无线电信号强度，则连接评估引擎335可以通过从另一个位置外推无线电信号强度来计算特定位置的无线电信号强度。在各种情况下，连接评估引擎335可以基于估计由特定位置和基站120之间的物理对象引起的衰减量来调整无线电信号强度。然后，连接评估引擎335可以基于调整后的无线电信号强度计算分数。
在计算环境100内的位置的分数之后，在各种实施例中，连接评估引擎335确定这些位置是强连接区域130还是差连接区域140。在一个实施例中，可以为每种类型的区域指定分数范围。因此，如果计算出的分数落在特定分数范围内，则相关位置可分类为相应区域。
在一个实施例中，在确定强连接区域130和差连接区域140之后，连接评估引擎335可以生成视觉指示522、音频指示524和/或触觉指示526，并将其呈现给用户105，以便引导用户105朝向或离开特定区域。
在一个实施例中，信息存储在基站120，并用于识别连接评估引擎335计算的分数和环境100中各个位置的分类。因此，当佩戴呈现设备110的用户105进入环境100时，呈现设备110可以从基站120检索信息，这样它就不必再执行环境100的评估。
换句话说，一个呈现设备110可以评估环境100以识别强连接区域130和差连接区域140，并且可以通过基站120直接或间接地与其他呈现设备110共享所述评估。
在一个实施例中，当呈现设备110检索环境100的评估时，它可以重新评估环境100以确定布局是否已经改变。如果布局没有改变，则呈现设备110可以使用先前的评估。否则，呈现设备110可以更新评估。
除了识别环境100中的强连接区域130和差连接区域140之外，连接评估引擎335同时可以识别环境100中用户105在进行XR体验时可能希望避免的不安全区域150。例如，如果用户105正在进行共存业务会议，则用户105可能不希望其他用户窃听该会议。
在一个实施例中，连接评估引擎335可以分析视觉信息420和音频信息430，以识别环境100中存在其他用户的区域。例如，如果音频信息430指示有人站在环境100的一个角落里，则连接评估引擎335可以将所述角落分类为不安全区域150，并向用户105提供指示。在另一个实施例中，连接评估引擎335可识别可能伤害用户105的物理对象（例如箱子），并将包括所述物理对象的区域分类为不安全区域150。
图6示出了包括视觉指示522A-C和音频指示524的示例输出520的框图。如前面讨论，呈现设备110可以生成并呈现指示522、524和526，以识别强、差和不安全区域130、140和150给用户105。当呈现视觉指示522时，呈现设备110可以用识别特定区域的虚拟可视化来增强环境100的一组图像。如图所示，视觉指示522A是向下指向强连接区域130的箭头。因此，当用户105看到所述箭头时，用户105可以选择向所述箭头移动以到达目标区域，以便改善呈现设备110和基站120之间的连接质量。
在各种情况下，可能没有直达特定区域的路径。这时，呈现设备110可以呈现引导用户105沿着路径的视觉指示522。
名为“Connection assessment system”的苹果专利申请最初在2021年5月提交，并在日前由美国专利商标局公布。
