苹果新申请三份AR/VR专利，探索降低眼动追踪功耗
用于降低眼动追踪的功耗
（映维网 2021年03月24日）众所周知，AR/VR头显是“能耗大户”，它们对续航（移动设备）和计算能力提出了非常大的要求。若能减少功耗，这将会对头显的显示性能和沉浸感，甚至是元器件的设计搭配都会产生非常积极的影响。
目前各家厂商主要是在探索如何在尽可能维持成本不变（甚至降低成本）的情况下减少头显的性能开销。这显然包括有望在2022年发布相关设备的苹果。
日前，美国专利商标局公布了多份与之相关的专利申请。名为“Eye tracking using low resolution images”，“Eye tracking using eye odometers”和“Low-power eye tracking system”的发明描述了同一眼动追踪技术的不同方面，并主要用于降低眼动追踪的功耗。
1. Low-power eye tracking system
类似图像渲染的异步补帧技术，在进行眼动追踪时，无需一直使用全分辨率图像来执行相关的计算，可以在高分辨率帧之间插入低分辨率帧来降低系统的功耗。
在上面的图例中，100为头显，110为显示器，130为红外光源，140为眼动追踪器，160为控制组件，192为眼球。
专利描述了一种包含眼动追踪系统的头戴式设备。所述的眼动追踪系统包括眼动追踪摄像头和头部追踪摄像头。眼动追踪摄像头和头部追踪摄像头捕获图像以追踪眼睛和头部的相对运动。其中，眼动追踪摄像头可以在捕获高分辨率帧之间捕捉低分辨率帧，从而降低整体系统的功耗。
2. Eye tracking using low resolution images
苹果描述的眼动追踪系统可以包括眼动追踪摄像头。眼动追踪摄像头可用于在捕获高分辨率帧之间捕获低分辨率帧，例如通过在摄像头传感器组合像素或通过捕获像素的水平和垂直条纹而非整个帧。低分辨率信息可用于在处理全高分辨率帧之间的间隔内追踪用户眼睛相对于设备的相对运动。
在一个实施例中，由摄像头传感器捕获的高分辨率帧比由同一摄像头传感器捕获的低分辨率帧包含更多像素。高分辨率帧可以包括摄像头传感器能够捕获的大多数像素或所有像素，而低分辨率帧可以包括比同一摄像头传感器能够捕获的像素少得多的像素。
在一个实施例中，可以通过包括一个或多个处理器的控制组件将摄像头传感器从捕获高分辨率帧的高分辨率模式切换到捕获低分辨率帧的低分辨率模式。
高分辨率帧和低分辨率帧的结合可以大大降低3D重建的执行频率，从而显著减少眼动追踪系统的功耗。
3. Eye tracking using eye odometers
在上述的实施例中，在捕获低分辨率时，或者说当控制组件将摄像头传感器从捕获高分辨率帧的高分辨率模式切换到捕获低分辨率帧的低分辨率模式，眼动追踪摄像头可以视为“眼里程计（eye odometer）”。
眼里程计可用作低功率组件，并用以追踪用户眼睛相对于头显的相对运动。它可以允许仅当检测到头显相对于用户眼睛的移动时才执行3D重建，以生成用于眼动追踪的用户眼睛3D模型。
眼眼里程计的数据可以提供对先前已知和可信的3D模型的相对更新，并允许眼动追踪器的帧速率降低，例如从每秒120帧降低到每秒10帧或更少，并且可以允许执行更少的3D重建，从而显著降低眼动追踪系统的功耗。
上述三份专利申请都是在2020年9月提交，并在日前由美国专利商标局公布。
