多校联合团队研发无透镜超薄眼动追踪系统FlatTrack
超扁平和轻量级的眼动追踪系统
（映维网Nweon 2025年05月28日）对于XR头显，眼动追踪摄像头是一个重要的组件。在一项研究中，印度理工学院马德拉斯分校，美国莱斯大学和北卡罗来纳大学教堂山分校团队提出了一个紧凑的眼动注视追踪器，并使用了基于掩模的无透镜摄像头。
所述摄像头与共同设计的轻量级深度神经网络算法相结合，能够放置在离眼睛非常近的地方，可在眼镜框架内，从而形成超扁平和轻量级的眼动追踪系统。团队收集了大量的近眼无透镜摄像头测量数据，以及校准的注视方向来训练注视点追踪网络。
通过真实和仿真实验，团队表明所提出的注视点追踪系统的性能与传统的基透镜追踪器相当，同时保持了更平坦和更紧凑的形状参数。其中，注视回归器具有实时（>125 fps）的注视追踪性能。
眼动追踪在增强现实和虚拟现实系统中发挥着至关重要的作用。例如，通过精确追踪用户在任何给定时间所看的位置，眼动追踪可以促进更自然和更直观的交互，例如基于注视的选择和控制界面，从而增强用户与虚拟环境的交互。
眼动追踪同时可以优化系统资源的使用，只在用户目光对焦的区域渲染高分辨率图形。这种技术称为注视点渲染，可以显著提高显示性能]。除了通过选择性按需渲染提高整体图形性能外，注视点渲染同时显著减少了计算负载，允许更流畅和更身临其境的AR/VR体验。
尽管近年来发展迅速，但现有的眼动追踪技术依然面临着重大挑战，并影响了它们在各种应用中的实用性。除了需要更高的准确性和可靠性外，眼动追踪组件的物理尺寸通常限制了它们与可穿戴AR/VR头显的集成，并带来了重大的设计问题。
具体来说，光学元件，如透镜、滤光片和它们的外壳直接影响设备的整体尺寸。用于安装传感器和相关电子设备的结构，包括保护组件的外壳，则进一步增加了系统的体积。另外，由于眼动追踪会泄露敏感的个人信息，隐私问题同样随之出现。最后，眼动仪需要低延迟，以确保交互式应用程序的响应性和沉浸式用户体验。
相关障碍需要硬件和软件的不断进步，以增强眼动追踪技术的多功能性和用户友好性。所以，印度理工学院马德拉斯分校，美国莱斯大学和北卡罗来纳大学教堂山分校团队提出了一种无透镜的视线追踪原型，而它具有小尺寸、便宜、轻便和隐私保护等优点。
计算光学成像技术的发展突破了传统光学系统依赖复杂的透镜组这一局限，不再受限于光学系统的大小、形状和焦距等物理参数。无透镜成像主要利用光学信号与算法的结合，通过算法来补偿光学系统的不足。无透镜系统的成像过程不需要透镜的参与，而是通过衍射光学元件对光线进行调制，再通过数学方法进行图像的重建。
在无透镜成像中，透镜由薄、轻、便宜的光学编码器取代，从而产生了扁平、轻量化的小型化摄像头。无透镜摄像头使用先进的计算重建算法从捕获的传感器测量中恢复场景。对于合理设计的编码器，测量结果可以包含足够的信息，并能够使用后处理算法恢复场景图像，将传感器测量结果解复用，以重建场景的清晰图像。
尽管图像的数字后处理是诸如畸变校正、合成景深和去噪等任务的标准，但无透镜摄像头的根本不同之处是，后处理是光学成像硬件和算法软件一起设计的成像系统设计的一环。另外，由于无透镜摄像头在测量中间接编码信息，然后通过求解逆问题计算提取信息，它们同时为眼动追踪测量中的隐私提供了支持。
同时，无透镜摄像头固有地捕获3D信息，这确保了更准确的预测。在研究中，团队采用无透镜摄像头设计配合轻量级卷积神经网络来实现紧凑的眼动追踪。
具体来说，他们使用近红外PhlatCam来开发超薄近眼追踪器。使用所述系统，研究人员收集了第一个由近20000对无透镜捕获和校准注视矢量组成的大型数据集。
团队进一步提出了一种两阶段的方法来估计无透镜捕获的注视点，并评估了这种方法在数据集的有效性。实验表明，无透镜摄像头允许构建具有高保真注视估计的紧凑注视追踪器。
相关论文：FlatTrack: Eye-tracking with ultra-thin lensless cameras
总的来说，团队为无透镜摄像头提出了一个视线追踪框架。由于其超薄的外形和轻便的性质，无透镜摄像头可用于赋能增强现实/虚拟现实等领域。然而，现有的注视估计研究并没有充分利用这一优势。
充分利用无透镜摄像头的优势进行注视点追踪的瓶颈之一是缺乏数据集。为了解决这个问题，团队提出了FlatTrack数据集。使用自定义的无透镜注视估计管道在FlatTrack数据集进行评估，团队表明无透镜注视估计可以具有高保真度。另外，相关注视估计算法可以在以非常高的速度（大约125 fps）在典型的GPU中运行。
