Meta AR/VR专利探索改善视场内照明的眼动追踪精度
将由多个波导引导的照明光衍射成向用户眼睛传播的光束的多个PVH（又可称PVG或BPG）
（映维网Nweon 2023年07月26日）对于VR头显的光学眼动追踪方法，与将光源定位在用户视场外围相比，视场内照明可以提供更高的眼动追踪精度。例如当光源位于用户的视场范围内时，捕获到眼睛所有注视角度的角膜闪烁的可能性更高。另外，在用户的视场内定位光源可以在光源的放置和分布方面提供更大的灵活性，从而令摄像头捕获的光量最大化，并可以降低光源输出光的强度和光源的功耗。
然而，视场内照明存在多个挑战。例如，用户视场中的光源可能影响真实世界图像和显示图像的透视质量，并可能增加眼动追踪系统的成本和功耗。
在名为“Liquid crystal polarization hologram (lcph) based eye tracking for ar/vr”的专利申请中，Meta就提出了自己的解决方案。
在一个实施例中，近眼显示器的眼动追踪系统可以包括配置为放置在近眼显示器用户眼睛视场中的基板、用户眼睛视场外的一个或多个光源并配置为发射照明光，在基板内或基板上形成并配置为引导由一个或多个光源发出的照明光的多个波导，以及配置为将由多个波导引导的照明光衍射成向用户眼睛传播的光束的多个PVH（又可称PVG或BPG）。
波导和PVH可以对可见光透明，所以可以放置在用户眼睛的视场中。由多个PVH衍射的光束可以具有大的立体角，因此可以在用户的眼睛处重叠和干涉。或者，由多个PVH衍射的光束可以是窄光束，其在用户的眼睛上不会相互重叠，但可以在用户的眼睛上形成闪烁。
一个或多个摄像头可以收集从用户眼睛反射的光，以捕获具有干涉条纹图案或闪烁的用户眼睛图像。然后可以通过例如图像处理器或神经网络处理器分析所捕获的图像，以确定或推断用户眼睛的位置。
在一个示例中，光源可以是相干光源，波导可以是单模波导，并且由一对PVH衍射的一对光束可以在用户的眼睛处重叠和干涉，以产生正弦干涉图案的形式的光图案。因此，PVH可以将干涉条纹图案投射到眼睛表面，从而密集地采样眼睛表面。
由于用户眼睛的3D轮廓，由摄像头捕获的用户眼睛的2D图像可能包括扭曲的干涉条纹图案。根据摄像头捕获图像中的信息，可以计算出用户眼睛表面的3D图像或深度图像。例如，眼睛表面的深度轮廓可以通过使用例如具有深度感测的三角测量以视频帧速率创建。
在另一个示例中，光源不需要是相干光源，眼动追踪系统可能包括大量波导和PVH，以产生大量光束。由PVH衍射的光束可以是窄光束，并且可能不会重叠和干扰用户的眼睛，但可以在用户的眼睛上形成2D闪烁图案。
Meta指出，所提出的PVH可以放置在用户眼睛的视场中，并且可以以高衍射效率衍射照明光。因此，可以实现高效的场内照明。另外，PVH可能能够产生具有大立体角的衍射光束，使得衍射光束可以在大的重叠区域干涉，从而形成大的干涉条纹图案。
一对PVH可以产生一组条纹。使用多对PVH可以生成具有不同方向和/或周期的多组条纹。同时，PVH比其他类型的光栅耦合器更容易制造。因此，使用场内PVH生成的干涉条纹图案或闪烁图案能够产生密集采样和更准确的眼睛深度轮廓，从而提供准确，节能和经济高效的集成眼动追踪系统。
图8示出由两个相干光束干涉以形成条纹图案的示例。在所示实施例中，平面波810通过两个狭缝820和822可产生两束相干光束，因此两束光束在两个狭缝820和822处可具有相同的频率和一定的固定相位关系。当两束相同频率ω=2πf的光束叠加在表面830上的一点时，它们可以激发出相同方向的振荡。
因此，可以通过控制两个狭缝820和822之间的距离来控制表面830上干涉图案的周期性。
图9A示出了包括眼动追踪系统的近眼显示器900。所述系统使用PVH 950生成的干涉条纹图案960进行3D眼动追踪。如图所示，近眼显示器900可包括用于每只眼睛的框架910和基板920。基板920可以由框架910保持，并且可以包括任何合适的材料。基板920可以对可见光和红外光透明。基材920可具有平坦或弯曲的侧面。
在所示的示例中，眼动跟踪系统包括产生相干光的光源930，例如垂直外腔表面发射激光器VECSEL。光源930可以发射波长在可见光谱之外的光。例如，光源930可以发射红外波段内的光。光源930可以连接到框架910或可以位于框架910或基板920中。
光源930发出的光可以通过例如包括绝热锥形波导或光栅耦合器的边缘耦合器耦合到波导940中。波导940可以在基板920内或在基板920上形成，并且可以包括任何合适类型的波导。
在一个实施例中，波导940可以包括核心层和包层，其中核心层可以包括例如SiO2，并且可以具有大于包层折射率的折射率。波导940可包括一个或多个分路器，分路器将耦合到波导940中的光分裂成在两个或多个波导940中传播的两个或多个光束。两个或多个光束可以具有基本上相同的振幅。每个波导940可包括可在波导940的末端部分扩展光束的锥形结构942。
PVH 950可以在锥形结构942上形成，并且可以配置为将由波导940引导的光束从波导940耦合到用户的眼睛990。
在一个实施例中，可以在PVH 950和波导940之间使用偏振转换器，例如四分之一波片。通过两个PVH 950从两个波导940耦合出来，并向用户眼睛990传播的两个光束可以各自具有大的立体角，并且因此可以在用户的脸上具有大的重叠区域。
两束光束可以在重叠区域内相互干涉以在用户的眼睛上形成干涉条纹图案960。相邻亮条纹或暗条纹之间的距离取决于两个PVH 950中心之间的距离d、光源930发出的光的波长、以及PVH 950与用户眼睛990之间的距离。例如，当两个PVH 950中心之间的距离d增加时，干涉条纹图案960可能变得更精细，并可用于测量较小的特征。
图9B示出由干涉条纹照明图案照射的用户眼睛的2D图像962。所述干涉条纹照明图案可由图9A所述眼动追踪系统产生，并且可包括明暗条纹。图象962可由照摄像头捕获。
如图9B所示，由于用户眼睛和面部的非平坦表面，在2D图像962中捕获的用户眼睛和面部的条纹可能被扭曲。在平面上形成的条纹与所捕获的图像962中的条纹之间的畸变可以提供用户眼睛的轮廓和位置的信息。
图9C示出由干涉条纹照明图案照射的用户眼睛的2D图像重建的用户眼睛3D轮廓964。在一个实施例中，可以基于用户眼睛干涉条纹照明图案的畸变来生成用户眼睛的3D轮廓964。
在一个实施例中，可以使用两个或多个摄像头在不同位置，并从不同角度捕获的两个或多个2D图像来生成用户眼睛的3D轮廓964。可以使用诸如三角测量的技术来确定3D轮廓964。诸如用户眼睛的位置或注视方向的信息可以从3D轮廓964中提取，并且可以例如用于图像渲染。
图10A示出了使用闪烁进行眼动跟踪。与在近眼显示器900中一样，近眼显示器1000中的眼动追踪系统可包括用于每只眼睛的帧1010和基板1020。基板1020可以由框架1010保持，并且可以包括任何合适的材料。基板1020可以对可见光和红外光透明。基材1020可具有平坦或弯曲的侧面。
眼动跟踪系统可包括产生相干或非相干光的一个或多个光源1030，例如LED和MicroLED等。光源1030可以发射波长在可见光谱之外的光。例如，光源1030可以在红外波段发射光。光源1030可以连接到框架1010或可以位于框架1010或基板1020中。
光源1030发出的光可以通过例如包括绝热锥形波导或光栅耦合器的边缘耦合器耦合到波导1040中。波导1040可以在基板1020内或在基板1020上形成，并且可以包括任何合适类型的波导。
在一个实施例中，波导1040可以包括核心层和包层，其中核心层可以包括例如SiO2，并且可以具有大于包层折射率的折射率。波导1040可包括一个或多个分路器，分路器将耦合到波导1040中的光分成在两个或多个波导1040中传播的两个或多个光束。两个或多个光束可以具有基本上相同的振幅。每个波导1040可包括可在波导1040的端部扩展光束的锥形结构1042。
PVH 1050可以形成在每个波导1040的锥形结构1042上，并且可以配置为将由波导1040引导的光束从波导1040耦合到用户的眼睛1090。
在一个实施例中，可以在PVH 1050和波导1040之间使用偏振转换器，例如波片。通过PVH 1050耦合出波导1040的光束可能是发散角较小的窄光束，因此可以在用户的眼睛上形成闪烁。由于发散角小，通过PVH 1050从波导1040耦合出来的光束不会在用户眼睛上重叠，从而不会相互干扰，但可能会在用户眼睛的不同区域形成闪烁。
图10B示出用户眼睛1095的图像1060，包括闪烁1062。闪烁可以出现在用户眼睛的不同区域。
在一个实施例中，闪烁1062可以在用户眼睛1095上形成特定图案，例如圆形。可以使用诸如质心算法之类的技术来确定捕获图像中眼睛上闪烁的位置。质心化算法可以通过在局部邻域中寻找能量最大的像素位置来确定闪烁的中心。
然后，眼睛的旋转位置可以根据所捕获图像中相对于眼睛的已知特征的闪烁位置来确定。在一个实施例中，可以由多个摄像头从不同角度捕获带有闪烁的用户眼睛的多个图像，以提供更准确的位置信息。
上述PVH 950和1050是一种Q>1的布拉格光栅，其具有较强的偏振选择性。PVH可以是透射PVH，又可以是反射PVH。PVH可以包括具有多个光学各向异性分子的双折射材料层。
例如，LC PVH可能包括液晶分子，形成独特的自组织不对称螺旋结构，并遵循2D排列模式。不同偏振态的光可以由PVH以不同的方式衍射。
PVH可以将线偏振或非偏振光束衍射成沿一个方向传播的左旋圆偏振光束和沿另一个方向传播的右旋圆偏振光束。PVH可以具有更高的折射率调制Δn，因此可以在大衍射角下实现高一阶衍射效率，并且与非偏振VBG相比，入射光可以具有更宽的角/光谱带宽。
图11A示出侧面视图中的PVH 1100。在所示的实施例中，PVH 1100可包括在对准层1110上形成图案螺旋结构的手性掺杂剂和双折射材料分子1120。所述液晶导向器可平行于对准层1110。
PVH 1100同时可以包括第二对准层，其中包括双折射材料分子1120的图案螺旋结构可以被对准层1110和第二对准层夹在中间。由于将手性掺杂剂掺杂到双折射材料分子中，可以沿着它们的方向获得螺旋结构。
通过控制旋扭功率和/或手性掺杂剂的浓度，可以调节y轴上的周期性Py（和螺距p）。由于手性掺杂剂的螺旋扭曲能力，双折射材料的光轴可以沿螺旋方向旋转。
对准层1110可具有周期性表面对准图案。由于周期性的表面对准图案，双折射材料在对准层1110上不同位置的光轴可在x-z平面上以不同的方位角旋转，并可在水平面上形成周期性结构。
相比之下，在传统的CLC结构中，在垂直方向上可能会产生螺旋扭曲，而在水平面上胆甾型液晶均匀。
双折射材料分子1120可以表现出螺旋结构，具有垂直于对准层1110的周期性，并且具有相对于对准层1110具有斜角φ的周期性等折射率平面。
因此，PVH 1100的光栅矢量K相对于对准层1110的表面法线方向可能有一个斜角φ。当周期折射率面数足够高时，可以满足布拉格衍射条件，而PVH 1100根据入射圆偏振光的倾斜角度ϕ和旋向性的不同，可以高效地对入射圆偏振光进行+1或- 1衍射阶的反射或透射衍射。
例如，PVH 1100可以高效率地将右手圆偏振光反射衍射到第一衍射阶，并且可以允许左手圆偏振光以最小衍射或基本上没有衍射通过。
相关专利：Meta Patent | Liquid crystal polarization hologram (lcph) based eye tracking for ar/vr
名为“Liquid crystal polarization hologram (lcph) based eye tracking for ar/vr”的Meta专利申请最初在2021年12月提交，并在日前由美国专利商标局公布。
