微软专利用“眼动追踪+自适应光学”降低AR/VR NED设备重量成本
用注视点渲染来节省处理资源，从而降低设备的重量和成本
（映维网 2021年08月12日）可提供AR/VR体验的近眼显示器（Near-Eye Display；NED）可通过多种不同方式进行构建。例如在一个实现中，NED设备可以利用一系列的透镜来折射光线。又如在另一个实现中，波导可以将生成的图像从光学系统中的一个位置转换到另一个位置。这种波导可以由基板制成，并转换表示由光引擎生成的图像的传播光线，然后沿着光学路径将其传播到用户的一只眼睛或两只眼睛。
对于上述的透镜或波导实现，图像通常是在名为“视窗”的图像区域再现。这个图像区域可以对应于与用户眼睛相关的各种位置和角度。
但对于典型的NED设备，大视场图像的再现可能十分困难，因为用于显示大视场图像的现有技术通常旨在优化整个视窗中的图像，亦即针对大量的图像角度和瞳孔位置优化生成的图像，以应对任何方向的眼球运动和眼睛形状和大小的变化。这种全视窗图像优化会造成笨重和昂贵的NED设备，因为厂商一般需要采用复杂的光学组件以执行相关优化。
针对这个问题，微软在一份名为“Display with eye tracking and adaptive optics”的专利申请中提出了一种包含眼动追踪和自适应光学元件的显示器发明，通过注视点渲染来节省处理资源，从而降低设备的重量和成本。
在任意时刻，基于用户的眼睛位置，只有一小部分的视窗得以利用。另外，眼睛通常只在中心凹以高分辨率感知与瞳孔视线相对应的一小部分图像，外围区域则具有较低的感知能力。所以，可以同时可以结合上述两点来节省宝贵的处理资源，并因而降低NED设备的重量和价格。
通过确定用户眼睛的瞳孔位置和注视方向，NED设备不需要在整个视窗产生高分辨率图像，并只为对应于用户眼睛中心凹位置和注视方向的有限区域保留图像校正和/或优化或处理，而图像的其余外围区域可以利用较低的图像质量。
为了应对瞳孔的变化位置，眼动追踪单元可以确定用户眼睛的适当瞳孔位置和注视方向，并且可以利用自适应光学元件来提供对应于眼睛位置的优化图像，不需要在整个视窗生成优化图像。例如，在没有眼睛追踪的NED设备中，系统可能需要优化位于跨度达20mm的视窗中的图像，而引入眼睛追踪可以将优化空间减少到5mm，从而防止不必要的昂贵处理。另外，自适应光学元件可用于校正NED设备中可能出现的像差。
图3A描绘了将生成的图像传播到用户眼睛302的光学系统110示例。如图3A所示，光学系统110可包括光引擎112，其可包括用于产生光线的发光器304。发光器304可以是任何类型的发光器件，例如发光二极管、有机发光二极管或激光二极管。光引擎112可以产生代表图像的光线，以便向用户的眼睛302传播。来自发光器304的光线可以向显示引擎114的光学元件306传播并进行准直。在一个实施例中，光学元件306可以是单透镜，并可以是具有部分反射/透射涂层的透镜。其中，部分反射/透射涂层可以允许入射光通过，同时将由发光器304产生的光反射到用户的眼睛302。
光学系统110利用光学元件306将光线反射到视窗308，到达视窗的角度范围定义生成图像的视场。理想情况是，对于光学无限远的每个图像点，从显示引擎114向整个视场宽度反射的光线将完全平行，这样无论用户的眼睛在视窗内移动到哪里，其都将基于光线的平行性质来查看清晰的图像。然而，由于与光学元件相关联的像差，到达整个视窗宽度的光线通常不是完全平行，如光线310所描绘一样（为说明目的而夸大）。所以，当用户的眼睛在视窗移动时，图像分辨率可能由于像差而降低。
在上述实施例中，自适应光学116可用于执行像差校正，并且可以利用眼动追踪信息来执行与指定区域相对应的光线校正，亦即与眼睛注视相对应的区域。这种信息可以通过控制组件118传送到自适应光学元件116。
图3B描绘了利用自适应光学元件116对光线应用校正的光学系统110。具体来说，当光线从光学元件306反射时，光线可通过自适应光学元件116，而自适应光学元件116可至少基于视窗的已知尺寸或至少基于控制元件118提供的眼动追踪信息对光线进行校正。
眼动追踪信息可以提供用户的瞳孔位置和注视方向。所以，自适应光学元件116可围绕对应于用户瞳孔位置和注视方向的光线应用校正。如图3B所示，自适应光学元件116可对光线312A、312B和312C进行校正，以修改光线的角度，从而致使光线几乎平行，从而为对应于用户眼睛中心凹的视窗部分提供高质量图像。换句话说，自适应光学元件不需要对光线314A、314B和314C执行优化处理，因为所述光线将引导到用户眼睛302的外围区域，而用户眼睛外围区域的感知能力较低。
总的来说，专利描述的实施例主要利用眼动追踪单元来确定用户眼睛的瞳孔位置和注视方向。基于来自眼动追踪单元的数据，显示引擎可以利用自适应光学元件将高分辨率光线定向到用户的眼睛，同时允许低分辨率光线由用户眼睛的外围区域接收。通过这样的方式，NED设备不需要为整个区域生成高分辨率图像。换句话说，NED设备可以搭载采用更简单和更薄光学元件的更高分辨率显示器。
相关专利：Microsoft Patent | Display with eye tracking and adaptive optics
名为“Display with eye tracking and adaptive optics”的微软专利申请最初在2020年1月提交，并在日前由美国专利商标局公布。
