研究人员提出3D视线预测技术,让AR设备预知抢先渲染场景

PICO 4 Ultra

查看引用/信息源请点击:techxplore

让AR设备预知抢先渲染场景

映维网Nweon 2026年06月02日)美国佐治亚理工学院交互计算学院团队正在开展一项研究:从第一人称视角追踪并预测用户在3D环境中的视线轨迹。未来,AR眼镜或许能够主动预测用户的视线方向,并提供更流畅的交互体验。

研究人员提出3D视线预测技术,让AR设备预知抢先渲染场景

目前大多数眼镜设备只能被动响应用户的视线方向,始终在“追赶”。团队的方法则能让设备提前预判,使体验更加无缝衔接。

研究人员解释道:“这使AR系统能够预判用户接下来会与什么交互、视线将转向何处,从而主动渲染体验。”

尽管已有研究基于2D静态图像预测用户视线,但她的工作是首次通过3D框架来解决这一问题。研究人员指出:“我们生活在3D世界中,人们会从多个视角动态移动,所以我们需要在3D而非2D空间中预测视线。我们所追踪的是一个人在空间中注意力的3D路径。”

团队提出了一种新的问题形式:在跨不同第一人称视角时保持一致的、并且植根于佩戴者3D环境中的坐标系中预测视线目标。为了应对第一人称视频的动态特性和视线的连续性,他们将过去的视频帧、头部姿态以及视线观测值作为任务的输入,并为这一任务开发了一种基于Transformer的架构。

相关论文Forecasting 3D Scanpaths in Egocentric Video

实验结果显示,他们的解决方案平均可以预测未来最多3秒,特定情况甚至可达10秒。这足够AR系统提前渲染出更丰富的环境。

本文链接https://news.nweon.com/140762
转载须知:转载摘编需注明来源映维网并保留本文链接
素材版权:除额外说明,文章所用图片、视频均来自文章关联个人、企业实体等提供
QQ交流群苹果Vision  |  Meta Quest  |  AR/VR开发者  |  映维粉丝读者
XR Research Wechat Group/微信群
资讯