Pathformer3D: 基于三维球坐标系的360°图像扫描路径预测与时空依赖建模
三维扫描路径转换器Pathformer3D
（映维网Nweon 2025年01月02日）360度图像的扫描路径预测有助于在虚拟现实/增强现实应用中实现快速渲染和更好的用户交互。然而，现有的360度图像扫描路径预测模型都是在二维等矩形投影平面进行扫描路径预测，而二维平面的畸变和坐标不连续导致计算误差较大。
在一项研究中，南京航空航天大学对三维球面坐标系下的360度图像进行扫描路径预测，并提出了一种新的三维扫描路径转换器Pathformer3D。
具体来说，首先使用3D Transformer编码器来提取360度图像的3D上下文特征表示。然后，将上下文特征表示和历史注视信息输入到Transformer解码器中，输出当前时间步长的注视嵌入。其中自注意模块模仿人类视觉系统的视觉工作记忆机制，直接建模注视之间的时间依赖性。
最后，从每个注视点嵌入中学习一个三维高斯分布，并从中采样注视位置。对四个全景眼动追踪数据集的评估表明，Pathformer3D优于当前最先进的方法。
......（全文 1581 字，剩余 1243 字）
请微信扫码通过小程序阅读完整文章或者登入网站阅读完整文章
映维网会员可直接登入网站阅读
PICO员工可联系映维网免费获取权限
