XPANCEO将被动式眼动追踪模块集成到隐形眼镜中
将被动式眼动追踪模块集成到隐形眼镜中
（映维网Nweon 2025年08月29日）眼动追踪是人机交互的一项关键技术，在AR和VR系统中尤为重要。在一项研究中，XPANCEO提出了一种新型的眼动追踪方法，将被动式眼动追踪模块集成到隐形眼镜中。相关模块由两个叠加的光栅组成，光栅之间由狭窄间隙隔开。重叠的光栅会产生莫尔条纹，而它们之间的空间分离则导致视差效应，即观察角度变化时图案发生转变，从而实现精确的角度测量。
所述方法对环境光照条件不敏感，既不需要刻度条和色标，又不需要透视校正。利用这种方法，团队通过实验测量了隐形眼镜的方向，其角分辨率超过0.3°，这对于大多数AR/VR应用中的视线检测来说是令人满意的。另外，所提出的技术平台具有将测量精度提高多倍的潜力。
隐形眼镜代表了视觉相关设备的一个前景平台。除了医疗应用，隐形眼镜有望成为未来AR/VR投影系统和其他应用的潜在平台。精确的图像投影需要持续监测眼球位置，特别是当隐形眼镜（带有嵌入式投影系统）相对于眼球具有旋转或平移（沿眼球滑动）自由度时。
目前集成在镜片的追踪解决方案包括嵌入式线圈、光电探测器，甚至微型加速度计和磁力计。尽管所述方法可以超越标准计算机视觉方法的精度，但它们通常存在局限性，例如需要眼部麻醉、设计笨重或制造工艺复杂。这同时使得镜片辅助眼动追踪的问题变得重要。
XPANCEO团队提出了一种嵌入隐形眼镜的简单、经济高效的标记，以用于高精度眼动追踪，仅需一个非专业的外部摄像头模块。所述追踪标记是一个被动光学元件，由两个重叠的光栅组成，由于视差效应，其产生的莫尔条纹对观察角度高度敏感。莫尔条纹的相对位移能够精确追踪镜片的旋转，实现了约0.3度的角分辨率，并具有进一步改进的潜力。
标记简化了眼动追踪流程，同时提高了精度并降低了图像分析的计算需求。这个被动光学元件当被外部摄像头模块观察时，其外观会随着观察角度的变化而发生显著改变。这使得能够精确评估固定在隐形眼镜内的追踪标记与摄像头模块之间的夹角。尽管佩戴隐形眼镜进行眼动追踪起初可能显得麻烦或不必要，但值得注意的是，已有超过1.4亿人使用隐形眼镜。另外，高精度眼动追踪主要面向集成在镜片的AR系统，这使得集成辅助追踪模块成为自然的延伸。
这项研究侧重于通过开发外观对观察角度变化极其敏感的追踪标记来提高测量精度。提高视角敏感度的有效方法之一是视差。然而，隐形眼镜有限的厚度（通常几百微米）限制了潜在的视差位移。即便是几度的倾斜，产生的视差位移都仅有几微米。为了检测如此微小的位移，追踪标记的参考元件必须同样是微观尺度。由于元件太小，没有显微镜无法直接观察，团队利用莫尔效应来实现可观察的大尺度变化。
如图1c所示，当两个相同、周期为p（小于成像系统分辨率）的光栅完美重叠（无相对位移或旋转）时，它们均匀地透射光线而不形成特定图案。然而，光的透射取决于观察角度。因此，当垂直于表面观察时（图1c(i)），透射率最大。当观察角度 Θ = arctan(p/(2H)) ≈ p/(2H)（其中H是光栅之间的间隙）时，透射率最小，因为一个光栅的狭缝被另一个光栅的线条遮挡（图1c(ii)）。
在大约两倍此角度 Θ = arctan(p/H) ≈ p/H 时，透射率再次达到最大（图1c(iii)）。这可以通过透射率图（图1c(iv)）来说明，它随光栅坐标x的变化是恒定的，但随观察角度Θ周期性变化。这种强度变化使得能够在角周期 aΘ = p/H（在近轴近似下）内确定视角。尽管这种结构的亮度仅由观察角度决定，但结构内不同点可能以略微不同的角度被观察，这会引入透射梯度。这意味着，严格来说，测得的强度应关联于相应点的观察角度，而非整个眼动追踪模块的角度。
双层光栅结构提供了可在宏观尺度上观察到的角度敏感性，但其实际应用仍面临一定的挑战。首先，用于确定观察角度的结构亮度显著依赖于环境光照条件、摄像头参数和其他外部因素。其次，在利用标记上特定点进行一次角度测量后，由于可能与邻近点混淆，在后续测量中识别同一点可能存在问题，这固有地限制了测量精度。另外，同一标记从不同角度和距离观察时可能呈现不同外观，这使点匹配过程复杂化。第三，标记亮度的角度依赖性具有周期性，可能限制无歧义测量的范围。
为了帮助将标记强度与观察角度匹配，可以加入一个参考图案（类似于彩色图中的色标），并经历相同的光照条件。值得注意的是，如果双层标记本身包含至少一个完整的强度周期，它就可以作为自身的参考标尺。这种布置允许同时观察到最大和最小强度，可用于校准标记亮度。当使用两个相同光栅设计此类标记时，最小所需标记尺寸可估计为 d * aΘ ≈ d * (p/H)，其中d是摄像头到镜片的距离。所述估计假设标记的角尺寸很小的近似不成立，并且标记似乎承载了完整的强度角周期aΘ，因为其相对两侧是在不同角度被观察的。
对典型尺寸（H ~ 200 µm, p ~ 30 µm, d ~ 10 cm）的保守估计表明，标记尺寸应变得与隐形眼镜尺寸（15 mm）相当，这使得集成变得不切实际。然而，可以通过在两个堆叠光栅的周期之间引入轻微失配来显著减小标记尺寸。如图1d所示，即使在标记相对两侧以近似相同角度观察的小角度尺寸近似下，这种结构都会产生称为莫尔条纹的周期性条纹。
引入的修改使得莫尔条纹具有有限的空间周期 ax = p₁p₂/Δp（其中Δp是光栅周期的差值），而角周期aΘ保持不变（见图1d(iv)），因为它仅取决于（略微修改后的）光栅周期与光栅间隙之比。对于足够小的标记，可以假设其整个区域上的观察角度是均匀的（零角尺寸近似），因此条纹周期完全由光栅周期失配决定，而它们的相位对应于视差引起的位移，即相位取决于观察角度。
这种方法最初是为获得参考强度图而开发，它使得能够测量条纹的相位和周期，而非特定点的强度。这种方法不仅确保了测量独立于光照条件，而且能够从多个点收集信息，显著提高了信噪比并减少了测量误差。
即便在成功确定条纹相位并从中推导出观察角度之后，必须牢记的是，相位应相对于某个在所有测量中保持相同的原点来确定。尽管边缘、角点或标记框架可以作为参考，但仅依靠少数几个点进行相位评估最终会受到点位置确定精度的限制，从而影响整体测量精度。
由于定位单个点极易受噪声影响且受限于观察相机的像素大小，因此最好相对于一个由大量点组成的复杂物体来测量条纹相位。另一个周期性结构可能是实现此目的的合适选择。因此，建议在单个眼动追踪标记上集成至少两个呈现不同莫尔条纹的元件。如果莫尔条纹随观察角度变化相对于标记发生不同的位移（或等效地说，彼此相对位移），则测量它们的相对相位就足够，无需测量单个莫尔条纹的绝对相位。
研究人员通过调整上下光栅之间的周期失配来实现多种不同的莫尔条纹，同时保持它们的平均周期几乎不受影响。为了将眼动追踪的角度范围扩展到莫尔条纹的角周期aΘ之外，可以实现连续的眼动追踪。由于角度变化是连续的，莫尔条纹的相位可以无歧义地确定。另外，如果莫尔结构具有不同的角周期，它们的最小公周期可能大到足以覆盖整个感兴趣范围。
在制备方面，构成眼动追踪标记的光栅由200微米厚的聚二甲基硅氧烷弹性体（PDMS，Sylgard 184）层制成，其不透明线条由一层薄的黑墨水（来自美国Dynamic Color Co.的黑色纹身墨水；炭黑溶于异丙醇和水的溶液）形成。首先，将Sylgard 184的预聚物基体与交联固化剂充分混合。然后，混合物在离心机中脱气并注入注射器。将注射器安装在狭缝涂布机（来自英国Ossila Ltd的Slot-Die Coater）的泵，随后涂布到标准显微镜载玻片（76×26×1 mm）之上；涂层厚度通过内置千分尺控制。
沉积后，PDMS薄膜按照Sylgard说明书提供的程序在烘箱（来自德国IKA-Werke GmbH的OVEN 125 basic干燥烘箱）中固化。为了使PDMS表面亲水以便涂覆墨水，基材在空气等离子体（来自德国Diener electronic GmbH的ATTO等离子体系统）中处理。之后，将一层薄的黑纹身墨水旋涂到PDMS表面（来自英国Ossila Ltd的Advanced Spin Coater），并在热板上干燥。
使用激光雕刻机（来自美国Full Spectrum Laser LLC的Muse UV Galvo Laser engraver，355 nm DPSS光源）在墨水层上直接刻写出所需设计的光栅（分布在基板上，间距足够大以便后续操作）。将光栅用锋利的解剖刀从PDMS层上切下，留下空白PDMS的外框，并转移到空白载体载玻片上。参考光栅A以墨水面朝上转移，而互补光栅B则以墨水面朝向载玻片放置。
进一步的组装采用PDMS-PDMS键合，在HB16引线键合机（来自德国TPT Wire Bonder GmbH）进行。所述设备配有H80拾取放置选项，具有用于平面内XY方向的鼠标式操纵器、手动旋转台以及配备真空拾取工具的电动Z轴。带有光栅B的载玻片放置并夹在载物台上，而承载光栅A的基板与光栅B对齐，并借助内置显微镜、XYZ控制器和真空工具使其接触。这形成了一个夹层结构，层序如下（从下到上）：载玻片、光栅B的墨水层、200微米PDMS薄膜、光栅A的墨水层、200微米PDMS薄膜、载玻片。
然后移除载体载玻片，留下400微米厚的眼动追踪模块。最后一步，将模块封装到模铸隐形眼镜中，其中隐形眼镜同样由Sylgard 184 PDMS材料制成。为此，将模块浸入PDMS中并放置在阴模中的所需位置，之后在烘箱中对聚合物进行部分固化。然后，将模具完全填充PDMS，盖上阳模，放入烘箱进行完全固化。
相关论文：Contact Lens with Moiré patterns for High-Precision Eye Tracking
总的来说，团队展示了一种集成了被动光学视差基眼动追踪模块的隐形眼镜（需要一个外部通用摄像头来观察）。系统对观察角度的变化高度敏感，简化了图像处理。研究人员利用莫尔效应在模块上形成周期性图案。这一创新方法测量的是图案之间的相对位移，而非图案的绝对位移，从而消除了对参考点和透视畸变校正的需求。所述方法不仅简化了数值分析，而且显著提高了测量精度。多个莫尔图案的实施使得可以对结果进行平均，进一步降低了不相关的随机误差贡献。所有这些措施共同实现了优于0.3°的角精度——约为视差敏感莫尔结构角周期（aΘ）的1/37——验证了方法的有效性。值得注意的是，在角度范围中心±10°内实现了更高的精度（优于0.2°），满足了典型的AR/VR应用要求。
除了高精度，这一解决方案同时为大规模实施提供了实用优势。眼动追踪模块设计简单，相对易于制造，即便使用相当大的（数十微米）结构元件都能保持高精度。
当然，系统需要一个标准摄像头模块（当前大多数解决方案中已具备），且不需要辅助照明，从而无需硬件修改即可与现有AR/VR设备无缝集成。这一系统使用计算高效的算法进行图像处理，可实现连续眼动追踪而不会产生过高功耗。另外，它存在提高精度的潜力，主要是通过减小光栅周期，这可以将测量精度提高至少数倍。
