苹果专利提出ARKit交互优化，降低耗电，提升AR体验
主要用于包括触控屏的移动设备
（映维网 2021年11月20日）近年来，增强现实的发展势头非常明显，各种用例层出不穷。增强现实技术可以通过叠加数字对象来增强用户对现实世界的感知能力。然而，苹果认为目前与增强现实环境交互的方法和接口繁琐、低效且有限。例如，在增强现实环境中使用一系列输入来确定虚拟对象的方向和位置非常繁琐，给用户造成了巨大的认知负担，并降低了增强现实环境的体验。另外，不少方法都需要非常长的时间，从而浪费了能源，这对于电池驱动型设备尤为关键。
所以，行业需要提供能够优化与数字对象交互的方法。在名为“Devices, methods, and graphical user interfaces for system-wide behavior for 3d models”的专利申请中，苹果就描述了这样一种方法。另外，这种方法主要用于包括触控屏的移动设备。
在一个实施例中，计算机系统具有触控板。在一个实施例中，计算机系统具有触敏显示器。在一个实施例中，计算机系统具有图形用户界面（GUI）、一个或多个处理器、存储器以及存储在存储器中用于执行多个功能的一个或多个模块、程序或指令集。在一个实施例中，用户通过触控笔和/或手指接触来与GUI交互。在一个实施例中，交互用例可以包括游戏、图像编辑、绘图、文字处理、电子表格制作、视频会议和网页浏览等等。
在一个实施例中，在具有显示器、触敏表面和一个或多个摄像头的计算机系统执行用于与数字对象交互的方法。所述方法包括在显示器显示第一用户界面区域中的虚拟对象的表示。所述方法同时包括，当在显示器显示第一用户界面区域中的虚拟对象的第一表示时，在触敏表面对应于虚拟对象表示的位置检测触点的第一输入。
所述方法同时包括，响应于检测所述触点的第一输入，根据所述触点的第一输入满足第一标准的确定：在所述显示器显示第二用户界面区域，包括将第一用户界面区域的至少一部分的显示替换为一个或多个摄像头视场的表示。
在一个实施例中，在具有显示器、触敏表面和一个或多个摄像头的计算机系统执行用于与数字对象交互的方法。所述方法包括在显示器显示第一用户界面区域中的虚拟对象的表示。所述方法同时包括，当在显示器显示第一用户界面区域中的虚拟对象的第一表示时，在触敏表面对应于虚拟对象的位置检测第一触点的第一输入。
所述方法同时包括，响应于检测到第一触点的第一输入，并根据第一触点的输入满足第一标准的确定，在与第一用户界面区域不同的第二用户界面区域中显示虚拟对象的表示。所述方法同时包括，当在第二用户界面区域中显示虚拟对象的第二表示时，检测第二输入，并且响应于检测第二输入，根据第二输入对应于操纵第二用户界面区域中的虚拟对象的请求的确定，基于第二输入改变第二用户界面区域中的虚拟对象的第二表示的显示属性；以及，根据第二输入对应于在增强现实环境中显示虚拟对象的请求的确定，显示具有一个或多个摄像头视场表示的虚拟对象第三表示。
根据一个实施例，在具有显示器、触敏表面和一个或多个摄像头的计算机系统执行用于与数字对象交互的方法。所述方法包括，响应于显示第一用户界面的请求，显示具有第一项的表示的第一用户界面。所述方法同时包括，根据第一项对应于相应虚拟三维对象的确定，显示第一项的表示。其中，所述表示具有指示第一项对应于相应第一虚拟三维对象的视觉指示。根据第一项不对应于相应虚拟三维对象的确定，所述方法包括在没有视觉指示的情况下显示第一项的表示。
所述方法同时包括，在显示第一项的表示之后，接收显示包括第二项的第二用户界面的请求。所述方法同时包括，响应于显示第二用户界面的请求，显示具有第二项的表示的第二用户界面。所述方法同时包括，根据第二项目对应于相应虚拟三维对象的确定，显示具有视觉指示的第二项目的表示，以指示第二项目对应于相应的第二虚拟三维对象。根据第二项目不对应于相应虚拟三维对象的确定，所述方法包括在没有视觉指示的情况下显示第二项目的表示。
根据一个实施例，在具有显示生成组件、一个或多个输入设备和一个或多个摄像头的计算机系统用于与数字对象交互的方法。所述方法包括接收在第一用户界面区域中显示虚拟对象的请求，第一用户界面区域包括一个或多个摄像头视场的至少一部分。所述方法同时包括，响应于在第一用户界面区域中显示虚拟对象的请求，经由显示生成组件在包括第一用户界面区域的一个或多个摄像头视场中显示虚拟对象的表示。其中，所述一个或多个摄像头视场是所述一个或多个摄像头所在的物理环境的视图。
显示虚拟对象的表示包括：根据不满足对象放置标准的确定，其中，所述对象放置标准要求在所述一个或多个摄像头视场中识别所述虚拟对象的放置位置，以便满足所述对象放置标准。然后显示具有第一组视觉特性和第一方向的虚拟对象的表示；
根据满足对象放置标准的确定，使用与第一组视觉特性不同的第二组视觉特性，以及与在一个或多个摄像头视场中检测到的物理环境中的平面相对应的第二方向来显示虚拟对象的表示。
在一个实施例中，检测包括一个或多个摄像头的设备的姿态变化。所述方法包括接收在第一用户界面区域中显示物理环境的增强现实视图的请求，第一用户界面区域包括一个或多个摄像头视场的表示。所述方法同时包括，响应于接收到显示物理环境的增强现实视图的请求，显示一个或多个摄像头视场的表示，并且根据对物理环境的增强现实视图不满足校准标准的确定，显示校准用户界面对象。其中，校准用户界面对象的操作是根据物理环境中一个或多个摄像头的移动来动态地设置动画，而显示校准用户界面对象包括：在显示校准用户界面对象时，通过一个或多个姿态传感器进行检测一个或多个摄像头在物理环境中的姿态变化；以及响应于检测物理环境中的一个或多个摄像头的姿态变化，相应地调整校准用户界面对象的至少一个显示参数。
所述方法进一步包括，在校准用户界面对象的同时，检测校准标准是否满足。所述方法还包括，响应于检测到满足校准标准，停止显示校准用户界面对象。
图1A是具有触敏显示系统112的便携式多功能装置100的框图。设备100包括存储器102、存储器控制器122、一个或多个处理单元（cpu）120、外围接口118、RF电路108、音频电路110、扬声器111、麦克风113、输入/输出（I/O）子系统106、其他输入或控制设备116、以及外部端口124。设备100可选地包括一个或多个光学传感器164。设备100可选地包括一个或多个强度传感器165，其用于检测设备100上的触点强。设备100可选地包括一个或多个触觉输出生成器167，其用于在设备100生成触觉输出。所述组件可选地通过一条或多条通信总线或信号线103进行通信。
RF（射频）电路108接收和发送RF信号。射频电路108将电信号转换成电磁信号，并通过电磁信号与通信网络和其他通信设备通信。RF电路108可选地包括用于执行所述功能电路，包括但不限于天线系统、RF收发器、一个或多个放大器、调谐器、一个或多个振荡器、数字信号处理器、编解码器芯片组、用户识别模块（SIM）卡、存储器等。
图2是便携式多功能设备100的另一个示例。触控屏可选地在用户界面（UI）200内显示一个或多个图形。在一个实施例中，用户能够通过在图形上做出手势来选择一个或多个图形，例如使用一个或多个手指202或一支或多支触控笔203。在一个实施例中，当用户断开与一个或多个图形的接触时，发生一个或多个图形的选择。在一个实施例中，手指与图形接触的交互手势可选地包括一个或多个轻触、一个或多个滑动（从左到右、从右到左、向上和/或向下）和/或手指的滚动（从右到左、从左到右、向上和/或向下）。在特定情况下，无意中接触图形不会选择图形。例如，当与选择相对应的手势为点击时，扫过应用图标的滑动手势不会选择相应的应用。
名为“Devices, methods, and graphical user interfaces for system-wide behavior for 3d models”的苹果专利申请最初在2021年7月提交，并在日前由美国专利商标局公布。
