纽约大学研发FovealNet注视追踪框架，延迟降低42％助力VR渲染优化
与以前的方法相比，FovealNet的速度至少提高了1.42倍，对注视点输出的感知质量提高了13%。
（映维网Nweon 2025年05月08日）利用实时眼动追踪，注视点渲染可以提高硬件效率和视觉质量，因为系统可以只在注视点区域（视网膜上视觉灵敏度最高的小区域）渲染高分辨率图形，而外围视图则以较低分辨率渲染。然而，基于深度学习的注视点追踪解决方案往往表现出追踪误差的长尾分布，可能会降低用户体验，并导致失准和视觉质量下降。
在一项研究中，美国纽约大学团队提出了一种人工智能驱动的注视点追踪框架FovealNet，并旨在通过战略性地提高注视点追踪精度来优化系统性能。
为了进一步降低注视点追踪算法的实现成本，FovealNet采用了一种基于事件的修建方法，从输入图像中消除了超过64.8%的非相关像素。另外，它包含一个简单而有效的令牌修剪策略，可以动态地删除令牌而不会影响追踪准确性。
最后，为了支持不同的运行时渲染配置，团队提出了一种系统性能感知的多分辨率训练策略，令注视追踪DNN能够更有效地适应和优化整体系统性能。
......（全文 1664 字，剩余 1273 字）
请微信扫码通过小程序阅读完整文章或者登入网站阅读完整文章
映维网会员可直接登入网站阅读
PICO员工可联系映维网免费获取权限
