苹果专利提出手部+肢体+眼动追踪实现高精度AR/VR触控交互
查看引用/信息源请点击：patentlyapple
根据肢体追踪信息和眼动追踪信息来定位用户控制的空间选择器
（映维网 2021年07月16日）美国专利商标局日前公布了苹果的一项XR头显专利申请。相关系统涉及的肢体和眼动追踪功能，这样当用户在虚拟世界或增强现实模式中触按选择数字图标时，触控选择的精确度将能获得保证。事实证明，在尝试精确定位的时候，单纯的手部追踪不是非常可靠，所以团队希望结合肢体追踪和眼动追踪来解决问题。另外，这家公司同时提出了一个内置到眼动追踪系统中的独特隐私功能。
苹果指出，有系统利用手部追踪来确定XR环境中的空间选择点。例如，通过手部追踪来确定与用户手部相关联的手部追踪区域，然后系统可以选择手部追踪区域的中心点作为空间选择点。
但由于不够精确，空间选择点常常与用户手部的实际位置不对应。有时候，空间选择点和实际位置之间的偏移将导致系统错误地判断用户的选择。
作为一种解决方案，名为“Positioning a user-controlled spatial selector based on extremity tracking information and eye tracking information”的发明希望根据肢体追踪信息和眼动追踪信息来定位用户控制的空间选择器。
苹果指出，与单纯利用眼动追踪的系统相比，结合肢体追踪信息和眼动追踪信息可以帮助电子设备更精确地评估用户是否正在选择虚拟对象。
在一个实现中，电子设备确定与肢体追踪和眼动追踪相关联的各个置信水平，并使用各个置信水平来定位用户控制的空间选择器。
在一个实现中，电子设备确定眼动追踪特性。例如，眼动追踪包括计算机生成环境（CGR）环境的特性（如CGR环境的亮度水平、CGR环境和CGR对象之间的对比度水平、选择CGR对象的可能性）、用户眼睛注视位置、用户眼睛注视位置的历史数据等等。
在一个实现中，电子设备确定肢体追踪特性。例如，肢体追踪特定包括用户手持铅笔，用户肢体颤抖等等。然后，电子设备使用肢体追踪特性来确定与肢体追踪数据相关联的置信水平。
下面的专利图1是多功能设备的示例框图，其包括眼动追踪传感器、眼动追踪控制组件、以及肢体追踪传感器和相关控制组件。
图3B介绍了根据肢体追踪和眼动追踪在CGR环境中定位用户控制的空间选择器，技术应用的媒介设备是诸如iPad这样的平板设备。
在苹果的专利图3D中，我们看到了数字图标的分解图。电子设备实现眼动追踪功能，以便确定CGR环境的第二候选虚拟空间位置。所述系统是为了准确评估用户选择了什么图标。
苹果指出，眼动追踪传感器检测用户的眼睛注视，并生成指示用户眼睛注视的眼动追踪数据。在各种实现中，眼动追踪据包括指示用户注视点的数据。
肢体追踪传感器获得指示用户肢体位置的肢体追踪数据。例如在一个实现中，肢体追踪传感器对应于手部追踪传感器，后者获得指示指示用户手部或手指位置的手部追踪数据。
在一个实现中，肢体追踪传感器利用计算机视觉技术并基于摄像头图像来估计肢体姿势。
苹果指出，在一个实现中，图3相关的电子设备对应于头戴式显示器，所述头戴式显示器包括显示CGR环境的集成显示器。
上图是根据肢体追踪和眼动追踪在CGR环境中定位用户控制的空间选择器的系统框图。
未来的眼动追踪系统将十分注重用户隐私
苹果一直非常强调隐私问题。这份专利申请同样得到了体现。团队在发明中写道：“在各种实现中，电子设备包括隐私子系统，隐私子系统包括与用户信息相关联的一个或多个隐私设置过滤器，例如包括在用户眼睛注视数据和/或肢体位置数据中的用户信息。”
在一个实现中，隐私子系统选择性地防止和/或限制电子设备获取和/或传输用户信息。所以，响应于向用户提示用户偏好和/或选择，隐私子系统可以从用户接收用户偏好和/或选择。在一个实现中，隐私子系统防止电子设备获取和/或传输用户信息，除非隐私子系统获得用户的知情同意。
在一个实现中，隐私子系统匿名化特定类型的用户信息。例如，隐私子系统接收隐私子系统匿名化用户信息的用户输入。
作为另一示例，隐私子系统独立于用户指定，亦即自动地匿名化可能包括敏感和/或识别信息的特定类型用户信息。
名为“Positioning a user-controlled spatial selector based on extremity tracking information and eye tracking information”的苹果专利申请最初在2021年1月提交，并在日前由美国专利商标局公布。需要注意的是，这只是一份专利申请，不确定苹果是否会或将于合适商业化所述发明技术，同时不确定实际应用时的效果质量。
