苹果新AR/VR专利分享了使用定向光源并基于闪烁的注视点追踪技术
使用定向光源并基于闪烁的注视点追踪技术
（映维网 2021年03月13日）有关注映维网专利分享的小伙伴应该知道，苹果已经提交过一系列的眼动追踪专利。日前，美国专利商标局又公布了一份名为“Glint-based gaze tracking using directional light sources”的苹果眼动追踪发明。
所述文件主要描述了使用定向光源并基于闪烁的注视点追踪技术。尽管这项发明主要是用于iPhone和iPad等移动设备，但苹果指出头戴式设备同样适用。
值得一提的是，众多厂商都有探索基于闪烁的眼动追踪技术。
专利描述的实施例基于角膜中心和瞳孔中心或眼球中心来确定注视方向。角膜中心是用一个定向光源来确定，以产生一个或多个从眼睛表面反射并被传感器捕获的闪光。例如，通过记录光源方向的编码器确定来自定向光源的光的角度（例如，方向）。光源的已知方向有助于确定角膜闪光的距离，并且使得能够例如基于单个闪光来确定角膜位置。角膜中心和瞳孔中心或眼球中心可用于确定注视方向。
在一个实施例中，处理器可以执行存储在非暂时性计算机可读介质中的指令来确定或追踪注视方向。光源产生光束。光束随时间在多个方向移动，并且在检测到闪烁时传感器接收光束从眼睛一部分的反射。光源是定向光源，所以光源的方向可变。
在一个实施例中，扫描器配置成在多个角度扫描来自光源的光。扫描器可以使用电机或伺服电机、振镜或压电致动器来控制旋转关节。或者，可以在不使用任何移动部件的情况下实现扫描器。在这种情况下，可以使用在1D或2D阵列中组织的多个窄光束光源，其中每个光源指向不同的角度，并且具有响应于控制信号而打开/关闭特定光源的控制逻辑。
当检测到闪烁时，可识别与产生闪烁的光相关的光源的相关方向或角度，并用于确定角膜表面的闪烁位置以及最终的注视方向。定向光源可以是激光器、垂直腔面发射激光器（VCSEL）、窄光束光源、准直光源等。编码器可在产生光束时识别光源的第一角度，使得所述方向与相应的闪烁相关联。
所述方法基于传感器产生的数据（如像素数据）确定反射的第二方向。在一个实施例中，传感器是事件摄像头，并配置成检测像素处的强度变化。在一个实施例中，传感器是基于帧的摄像头，并配置成捕捉像素处的强度值。
所述方法基于光束的第一方向和反射的第二方向来确定眼睛的角膜中心。例如，这可能涉及通过使用第一角度和第二角度进行三角剖分来确定角膜表面点的位置。这种确定可能涉及确定闪烁的深度/距离，从而确定角膜表面上的点的深度/距离。给定角膜表面上该点的位置，可以确定角膜中心。在一个实施例中，角膜中心使用平均角膜半径进行确定。在其它实施例中，角膜中心使用先前测量的眼睛角膜半径来确定。在其它实施例中，基于由第二窄光束光源产生的第二闪烁来确定角膜中心。在一个实施例中，基于角膜表面点和关于用户的角膜形状的其他信息来确定角膜的3D重建。在一个实施例中，角膜中心是使用单个闪烁来确定。
所述方法同时确定眼睛的瞳孔中心或眼球中心，或两者。在一个实施例中，瞳孔中心基于在相同或不同传感器处检测到的瞳孔/虹膜反射环境光进行确定。在一个实施例中，基于来自另一漫射光源的反射光来确定瞳孔中心。
所述方法通过确定从瞳孔中心到角膜中心的方向或从眼球中心到角膜中心的方向来确定注视方向。在一个实现中，基于角膜中心、瞳孔中心和角膜中心来确定注视方向。
相关专利：Apple Patent | Glint-based gaze tracking using directional light sources
名为“Glint-based gaze tracking using directional light sources”的苹果眼动追踪发明最初在2020年9月提交，并在日前由美国专利商标局公布。
