精度低于1.75°,AR/VR科研团队研发 10000Hz眼动追踪混合摄像头
使用了基于事件和基于帧的混合型摄像头
(映维网 2021年05月24日)大多数眼动追踪器都是利用摄像头来监控用户瞳孔。遗憾的是,传统的摄像头传感器再带宽方面存在约束,从而强迫厂商在分辨率和帧率之间进行权衡。另外,传统的摄像头需要消耗相当的资源。针对所述问题,一系列的科研团队都在而探索不同的解决方案。
日前,由加州大学、斯坦福大学和瑞典皇家理工学院组成的团队在IEEVR大会提出了一种基于Event Camera的眼动追踪方法。据介绍,相关解决方案的摄像头在刷新率方面超过10000Hz,而且精度能够媲美高端桌面级商用追踪器的水平。
近年来,新兴的Event Camera或Event-Based Camera越来越受到行业的关注。Event Camera是一种生物启发式传感器,是研究人员受人类视网膜原理启发而设计了神经拟态视觉传感器。与传统摄像头不同,神经拟态视觉传感器没有“帧”的概念,并且是采用基于事件驱动的方式来捕捉场景中的动态变化。当现实场景中发生变化时,神经拟态视觉传感器会产生像素级的输出,即Event/事件。一个事件可以包括t,x,y,p。其中, x和y是事件在2D空间的像素坐标,t是事件的时间戳,p是事件的极性。事件的极性代表场景的参数变化(如亮度): 上升(positive)或下降 (negative)。
由加州大学、斯坦福大学和瑞典皇家理工学院组成的团队所提出的系统正是建立于这种Event Camera。具体而言,团队使用了基于事件和基于帧的混合型摄像头,其能够同时获得定期采样帧和自适应采样事件。研究人员同时开发了一个在线二维瞳孔拟合函数,为每一个或数个事件更新一个参数模型。另外,团队提出了一个多项式回归器来实时估计由参数化瞳孔模型获得的注视点。
团队指出:“利用基于事件的注视数据集,原型系统在45度到98度的视场中达到了0.45度到1.75度的精度。对于这项技术,我们希望能够为虚拟现实和增强现实提供新一代的超低延迟渲染和显示技术。”
1. 系统综述
......(全文 1606 字,剩余 929 字)


