苹果AR/VR专利介绍了Vision Pro游玩空间安全防护系统
防护系统
（映维网Nweon 2024年02月22日）熟悉VR头显的用户应该都知道一种所谓的防护系统。因为VR头显会用数字内容取代用户周遭的现实世界，所以为了防止用户因失去物理世界视觉感知而与现实物品碰撞，设备需要一种提醒告示系统，从而在用户即将遇上危险时提供相关预警。
在名为“Immediate proximity detection and breakthrough with visual treatment”的专利申请中，苹果提出了一种根据接近度检测来呈现警示性视觉元素或者提供透视视图，从而提醒用户的方法。
在一个实施例中，当用户接近物理对象时，可以在沉浸式应用程序中呈现给特定虚拟内容的呈现，以便用户能够意识到物理环境。
图1A示出具有呈现虚拟内容110的显示器105的示例性电子设备100A。为清楚起见，电子设备100A是指位于第一位置的电子设备。位于第二位置的电子设备称为100B，位于第三位置的电子设备则被称为100C。
图1B示出的设备100B位于物理环境120中的第二位置，更靠近物理对象。在本例中，电子设备100B正在接近物理环境120中的物理桌125。
在一个实施例中，当设备100在环境120中移动时，设备100可以确定是否有任何量子化的空间block被物理对象占用。
设备100可以通过收集传感器数据来确定所述空间的任何量化block是否被占用，以确定所述空间的占用状态。如果设备100在物理对象的预定距离内，则设备100可以通过应用视觉处理来修改显示器105上的呈现，以表明物理对象在电子设备100的预定距离内。
在图1B的示例中，电子设备100B位于办公桌125的第一预定邻近范围内。这样，将第一视觉处理130应用于虚拟内容。为了图1B的示例的目的，虚线应用于虚拟树，其呈现在物理环境120中靠近物理桌125的电子设备100B的显示器105的一部分。
视觉处理可以包括动画、颜色变化或对虚拟对象的其他修改。另外，虚拟处理可以包括对用户表示的更改，使得物理对象或物理对象的特征对用户可见。
根据一个实施例，可以应用各种视觉处理，并且可以基于设备或设备的用户与物理对象的接近程度选择特定的视觉处理。例如，不同的预定距离可能与不同的视觉处理有关。
作为另一个示例，当用户接近物理对象时，可以动态地应用视觉处理。例如，当用户接近物理对象时，可以以一种更明显的方式应用特定的动画或颜色变化。
如下图2所示，所述设备100可以量化所述设备100周围物理环境120的一部分，以确定一组量化区域中的每一个是否被占用、未被占用或具有未知状态。这样，是否满足预定距离的确定可以基于确定被占用的block位于设备100的预定距离内的确定。
转到图1C，电子设备100C位于物理环境120中的第三个位置，并且比图1A和图1B的示例更接近物理桌125。
在一个实施例中，设备100C可以确定从被占用的block满足第二预定距离，例如，因为该block由于物理桌125而被占用。这样，设备可以对显示在显示器105上的虚拟内容应用另一种视觉处理。
例如，可以应用颜色或其他图像特征的变化，或者可以应用动画或其他图形。另外，如图1C所示，可以应用透视处理，使得用户能够查原本由虚拟内容阻挡的物理办公桌125。
在一些实施例中，直通处理可以包括修改在直通显示器上呈现的虚拟内容，使得诸如物理办公桌125的物理对象可见。作为另一示例，设备100C可以捕获物理设备125的图像并在显示器105上呈现图像，使得用户能够确定物理对象在预定的接近范围内。
根据一个或多个实施例，通过应用各种视觉处理，电子设备100可以向用户指示，否则可能对用户不明显的物理对象位于预定的邻近范围内。因此，用户能够更加了解环境中的物理对象。
转向图2A，根据一个或多个实施例描述了示例系统设置的另一种视图。特别是，图2A显示了物理环境120的视图，其中用户205利用电子设备100查看显示器105的虚拟内容。虚拟内容可以作为沉浸式体验的一部分呈现在显示器105。
在一个实施例中，可以将电子设备100配置为确定物理对象是否存在于靠近用户的区域中。所述电子设备100可以配置为量化所述设备的邻近区域，以确定所述环境的特定部分是否被占用。
如图所示，环境可以量化为围绕用户和/或电子设备100的空间225A的大量区域。量子化区域可以是例如物理环境的2D或3D部分。区域可以基于与所述设备的空间关系来确定，使得所述区域随着所述设备移动而穿过空间。
例如，区域225A可以定义为与电子设备100具有固定的距离和方向。在一个实施例中，block的距离可以由设备永久地定义，或者它可以根据用户设置输入而变化。另外，与设备相关的block的距离和方向可以根据情景上下文动态改变。
例如，如果用户正在进行不需要或很少需要运动的活动，例如观看沉浸式电影，并且/或者在小房间或隔间中，用户可以最小化到最远的block235A的距离，这样就不会不断地向用户传达墙的存在，或者设备可以在识别到电影应用正在运行并且用户面对近墙时自行调整。
如果设备检测到用户正在移动位置或已经站起来并开始移动，则设备可以将距离重新调整为默认值235C。区域225的集合可以位于各种配置中。例如，区域225的集合可以配置为用户前面的平面、围绕用户的圆弧、圆柱体或球体等。
根据一个或多个实施例，电子设备100可以包括可用于检测物理环境120中的物理障碍物的传感器210。例如，传感器210可以包括深度传感器、激光雷达等。
当所述电子设备100在所述环境中移动时，可以确定所述区域225A集合中的每个区域的状态。如果在所述区域中检测到物理对象，则所述状态可以是已占用状态。如果所述传感器数据表明所述区域没有物理对象，则所述状态可以是未占用状态;如果所述区域没有收集到足够的传感器数据，则所述状态可以是未知状态。
在图2A的示例中，基于传感器210收集的传感器数据，为设备前面的区域225A分配状态。作为示例，将block230A和235A描述为具有未占用状态。在一个实施例，可以使用激光雷达信号来确定办公桌125的深度在距离设备100的最远block235A的距离之外，从而表明设备100和办公桌125之间的block未被占用。
相应地，将230A和235Ablock分配为未占用状态。另外，区域225A包括设备后面的block。为本例的目的，区域225A的block240A可以赋予未知状态，因为传感器正在用户205前面收集数据，而电子设备100收集的传感器数据尚未观察到区域240A。
转向图2B的示例，设备100与办公桌125之间的空间关系发生了变化，使得办公桌125的一部分位于设备跟踪的区域225B内。在一个实施例中，基于传感器210基于设备100与桌面125之间关系的变化收集的附加传感器数据，可以为设备前面的区域225分配状态。
因此，block230B被描述为具有未占用状态，而block235B描述为具有已占用状态，因为物理桌125的卓腿位于block235B内。根据一个实施例，可使用激光雷达信号来确定办公桌125的深度在block235B内，从而表明block235B被占用。
另外，根据激光雷达信号在物理环境120中移动的性质，当没有中间物体存在时，激光雷达信号在block235B之前穿过的block可以确定为未被占用。为了本例的目的，区域225B的block240B可以继续赋予未知状态，因为传感器正在用户205前面收集数据，并且区域240B尚未被电子设备100观察到。
在一个实施例中，可以确定所占用的block是否满足用于特定视觉处理的特定接近阈值。距离阈值可以基于从电子设备100和/或用户205到被占用block的预定距离。
在图2C的示例中，基于接近阈值将额外的视觉处理应用于被占用的block。所述设备100与所述书桌125之间的空间关系发生了变化，使得所述书桌125的更多部分位于所述设备追踪的区域225C内。
在一个实施例中，可以根据传感器210基于设备100与桌面125之间关系的变化收集的附加传感器数据，为设备前面的区域225C分配状态。所以，block 230C和235C被描述为具有占用状态，因为物理桌125位于block 230C和235C内。
根据一个实施例，可使用激光雷达信号来确定办公桌125的深度在block235B内，从而表明block235B被占用。另外，为了本例的目的，区域225B的block240B可以继续被赋予未知状态，因为传感器正在用户205前面收集数据，并且区域240B尚未被电子设备100观察到。
由于激光雷达信号可用于确定block 230C被占用，因此从设备100的角度来看，block 235C可基于位于被占用的block后面而被分配一个已占用状态。或者，由于LiDAR信号可能不接收block235C的数据，则block235C可以分配一个未知状态。
多个视觉处理可以应用于具有被占用状态的block，例如基于与设备100的距离。在一个实施例中，由于所述block可以位于距离设备100的固定距离和方向上，因此当所述block被占用时，每个block可以与特定的视觉处理相关联，从而固有地满足接近阈值。
作为示例，如果block 230B是距离电子设备100最近的被占用的block，则可以应用第一视觉处理，例如图1的视觉处理130，而如果block 230A是距离电子设备100最近的被占用block，则可以应用第二视觉处理，例如图1的视觉处理140。
另外，可以将视觉处理应用于具有未占用状态的block。当block具有未知状态时所应用的视觉处理可以与block具有已占用状态时相同或不同。另外，对于具有占用状态和未知状态的block，接近阈值可以相同或不同，以便确定要在显示器105上应用或呈现的视觉处理。
如本例所示，block 230C和235C的阴影用比图2B中block 235B的阴影更深的颜色描绘，因此block 230C和235C内的物体比block 235B内的物体更靠近设备。
图3以流程图形式显示了一种将占用或未占用状态分配给靠近电子设备和/或用户的物理环境区域的技术。
从305开始，电子设备100在此收集环境的传感器数据。特别是，电子设备100收集指示环境中物理对象的存在和/或位置的传感器数据。例如电子设备可以使用诸如深度摄像头、激光雷达或其他技术等技术，以提供指示用户附近区域内物体的传感器数据。
电子设备100可以向环境中发送信号以检测环境中是否存在任何物体，或者可以从附加设备接收信号数据和/或表明环境中存在物理物体。物理对象可以是静态对象，例如墙壁、家具、器具、植物等。另外，物理对象可以包括动态对象，例如其他人、宠物、动物和其他移动对象。
在310，电子设备在接收数据的环境中识别一组空间block。特定的一组block可以是一组二维或三维空间区域。空间区域可以以接近装置的二维或三维方式布置。例如，所述block可以布置在电子设备和/或用户前方的平面，布置在围绕电子设备和/或用户的圆弧，布置在围绕电子设备和/或用户的圆柱体等等。
在一个实施例中，所述block可以定义为与电子设备和/或用户具有预定关系的空间区域，使得所述block的位置随着用户移动而移动。
在315，为block集中的每个block分配一个状态。可将最靠近电子设备的block设置为“未占用”状态。另外，block可以与“未知”状态相关联，直到收集到足够的传感器数据以确定所述block的“已占用”或“未占用”状态。
为了确定物体是否存在于一个block内，电子设备100可以使用一个或多个传感器来确定环境内物体的深度。例如，激光雷达设备可以通过物理环境传输信号，并根据物体信号的反射来确定物体的位置。
在320，识别一个或多个block，传感器数据表明特定block包括物理对象。当信号从物理环境中的物理表面反射时，可以确定存在物理对象，并且可以为所述block分配占用状态，如block325所示。因此，可以识别与反射位置相关联的一个或多个block。
由于确定所述被占用状态需要确定所述信号通过所述环境，因此可以对所述设备和所述被占用的block之间的block进行推断。
在330，电子设备100确定中间block。基于位于电子设备和所占用的block之间的block进行确定。例如，可以根据用于检测被占用的block的信号通过所确定的block的确定来确定所述block。然后在335，确定的block被分配为“未占用”状态。
流程图300继续340，确定是否接收到额外的传感器数据。例如，当电子设备100在环境120内移动时，可以接收附加的传感器数据。例如，当电子设备100在物理环境120中移动或在物理环境中改变位置或方向时，传感器210可以收集额外的数据。
另外，可以随着时间的推移收集附加数据，以指示即使设备未移动，物体是否已进入靠近设备的区域。另外，电子设备100可以从其他来源接收与特定block的状态相关的传感器数据或其他数据。
如果在340接收到额外的传感器数据，或者与电子设备正在跟踪的block的状态相关的额外数据，则流程图返回到310，识别接收数据的block集，并且在315处重新分配各种block的状态。流程图继续进行，直到没有接收到额外的数据。
例如，如果用户停止使用电子设备，或者电子设备保持静止。在一个实施例中，当用户使用电子设备100来保持准确的状态信息时，特定block的状态可以连续更新。
图4描述了用于根据用户和/或设备与物理环境中的物理对象的接近程度呈现的内容应用视觉处理。
流程图从405开始，其中XR内容呈现在电子设备的显示器。
在410，由设备收集用于由用户和/或设备周围的block所定义的区域的传感器数据。附加传感器数据可以指示环境中物体与设备之间空间关系的变化。例如设备的移动可引起用户周围block状态的变化。这样，电子设备的位置和/或方向的变化可以触发要重新分配的block的状态信息。另外，即使设备不移动，环境中物体的移动都可能导致特定block状态的变化。
在415，分配block的状态。可以根据新的传感器数据确定所述block的更新状态。另外，用于前一个block的传感器数据和/或状态信息可用于基于设备的运动确定当前block的当前状态。例如，如果确定一个block被占用，并且设备旋转90度，则可以根据先前位于环境中相同位置的block的状态，为与前一个block相同位置的当前block分配已占用状态。
在420，确定具有占用或未知状态的block是否在电子设备的预定阈值距离内。
如果在420处确定在阈值距离内没有被占用或未知block，则流程图返回到410，并且设备继续收集传感器数据。如果在420处确定到该block的距离满足预定的阈值距离，则流程图继续block425，并确定特定的阈值距离。
在430处，根据阈值距离选择视觉处理。视觉处理提供关于物理障碍和/或物理环境中潜在障碍的视觉线索，同时对通过电子设备参与沉浸式体验的用户造成最小的干扰。因此，视觉处理可以根据阈值距离内的block是否被占用或仅仅是未知而有所不同。另外视觉处理可以基于电子设备与所述被占用和/或未知block的距离而有所不同。
视觉处理可以包括对呈现的内容的覆盖，例如颜色或其他图像属性的更改、附加动画或显示属性的更改，例如触发透视显示功能。另外，可以呈现与所占用的block一致的半透明彩色block，和/或指示物体到装置的距离的block的颜色变化。
在435，电子设备100根据所选的视觉处理呈现XR内容。因此，电子设备100的显示105可以根据视觉处理来增强沉浸式内容的呈现。当达到预定阈值时，可以随着用户和/或设备移动而不改变所述block的状态而修改视觉处理的呈现。
例如，如果环境中的一个block被占用，并且阈值距离指示应该应用动画，则动画的速度可能会随着用户接近或离开block而改变。由于block可能随着用户移动，当导致block被占用的物理对象接近更接近用户的block时，视觉处理可能会发生变化。另一个例子是，不透明度、亮度或其他视觉特征可能发生变化。
所述流程图返回到410，并且所述设备继续收集传感器数据，这可以导致将状态重新分配给所述block，如上所述关于block415。另外，如果确定block不再被占用和/或未知，则可以增强或移除视觉处理。
相关专利：Apple Patent | Immediate proximity detection and breakthrough with visual treatment
名为“Immediate proximity detection and breakthrough with visual treatment”的苹果专利申请最初在2023年6月提交，并在日前由美国专利商标局公布。
需要注意的是，一般来说，美国专利申请接收审查后，自申请日或优先权日起18个月自动公布或根据申请人要求在申请日起18个月内进行公开。注意，专利申请公开不代表专利获批。在专利申请后，美国专利商标局需要进行实际审查，时间可能在1年至3年不等。
另外，这只是一份专利申请，不代表一定通过，同时不确定是否会实际商用及实际的应用效果。
