研究探索自适应神经形态眼动追踪技术实现高保真低延迟瞳孔运动捕获
瞳孔追踪保真度提高了6+%，达到IoU~=92%
（映维网Nweon 2025年03月04日）传统的基于RGB摄像头的眼动追踪系统经常受到时间分辨率差和计算限制的困扰，限制了它们捕获快速眼球运动的有效性。为了解决相关限制，印度理工学院卡拉格普尔分校和新加坡管理大学团队提出了EyeTrAES。
这种使用神经形态事件摄像头的新方法主要用于高保真地追踪自然瞳孔运动。EyeTrAES的亮点之一是使用了一种新颖的自适应windowing/slicing算法，确保在一个事件框架内，在大范围的眼球运动模式中，恰好有适量的描述性异步事件数据积累。
然后，应用轻量级的图像处理功能，从单个眼睛累积事件帧来执行瞳孔分割和追踪。
研究表明，相关方法将瞳孔追踪保真度提高了6+%，达到IoU~=92%，而延迟至少比纯基于事件的眼动追踪替代方案低3倍。另外，EyeTrAES捕获到的微观瞳孔运动在个体之间表现出明显的差异，所以可以作为生物特征fingerprint。
细粒度眼动追踪已经变得越来越重要。传统的眼动追踪系统通常依靠RGB摄像头来捕获眼睛（通常是两只眼睛）的图像，然后对图像进行处理，以提取与注视方向和扫视等特征相关的信息。
然而，这种系统经常面临诸如时间分辨率差、相对较低的帧速率、有限的动态范围和高计算开销等挑战。这一点尤其重要，因为眼部肌肉可以产生强大的、短暂的、高速的运动。更具体地说，人眼的特征是角速度超过300◦/𝑠，特别是在眼球跳动时，眼加速度高达24000◦/𝑠。
近年来，神经形态事件摄像头已成为一种富有前景的替代方案。与以固定速率捕获帧的传统RGB摄像头不同，事件摄像头在每像素的基础上异步地产生事件，延迟非常低。这样的摄像头不仅可以在10,000 Hz及以上的采样率工作，而且能够将事件生成率适应潜在的事件速度。所述特性令事件摄像头非常适合捕获快速和动态的现象。
除了缺乏底层颜色或纹理信息之外，事件摄像头眼动追踪的一个关键挑战是其极高的事件率（动态场景高达1.06 Geps）和随之而来的事件处理计算负担。
为了应对相关挑战，过去关于眼事件数据处理的研究首先聚合异步事件集合来创建同步事件框架。大多数基于眼动追踪的技术首先尝试使用标准图像处理方法在每个这样的事件帧内追踪瞳孔区域的位置，然后从序列中提取瞳孔运动相关特征。
在过去的所有研究中，帧聚合是在固定的时间或事件窗口执行。然而，这种固定的窗口策略不足以支持眼球运动速率的广泛变化：在慢眼运动期间，小窗口捕获的运动学数据不足，而在快速眼动期间，大窗口容易过度积累，从而导致细粒度运动信息的丢失。
在一项新研究中，印度理工学院卡拉格普尔分校和新加坡管理大学团队探讨了开发基于事件摄像头的眼动跟踪技术的挑战，而他们的愿景是将小型化事件摄像头纳入到个人可穿戴设备，比如智能眼镜或头戴式显示器。
通过持续追踪佩戴者的自然眼球运动，这种事件摄像头可以支持瞳孔运动学的实时提取。基于先前的生理学研究结果，团队认为即便在高度运动学方差的情况下，对瞳孔运动特征的准确提取可以进一步提高基于眼动追踪的应用的保真度和多样。
实验表明，目前业界提出的方法在积累窗口中缺乏适应性，从而导致瞳孔定位误差显著增加，这反过来又会导致细粒度瞳孔运动特征的不准确计算。所以，他们提出了一种新颖的自适应windowing/slicing算法，以将异步事件流转换为捕获适量瞳孔运动学信息的事件帧。
然后，他们提出了一个新的图像处理管道，它既可以从事件帧中高精度地提取瞳孔位置坐标，又可以在计算方面足够轻，允许在设备端执行。
名为EyeTrAES的解决方案可以确保在一个事件框架内，在大范围的眼球运动模式中，恰好有适量的描述性异步事件数据积累。然后，应用轻量级的图像处理功能，从单个眼睛累积事件帧来执行瞳孔分割和追踪。
研究表明，相关方法将瞳孔追踪保真度提高了6+%，达到IoU~=92%，而延迟至少比纯基于事件的眼动追踪替代方案低3倍。另外，EyeTrAES捕获到的微观瞳孔运动在个体之间表现出明显的差异，所以可以作为生物特征fingerprint。
相关论文：EyeTrAES: Fine-grained, Low-Latency Eye Tracking via Adaptive Event Slicing
总的来说，团队提出了一种使用事件摄像头进行细粒度低延迟瞳孔运动追踪的新方法。EyeTrAES使用一种新颖的自适应事件积累技术，结合轻量级瞳孔分割算法，以更高的精度和更低的延迟跟踪眼睛瞳孔区域，同时产生的帧处理延迟仅为4.7 ms。
