德研究团队开发混合注视点渲染技术，实现VR高保真实时渲染
注视点渲染
（映维网Nweon 2025年04月03日）新视图合成（NVS）的最新进展，特别是神经辐射场NeRF和高斯飞溅3DGS，已经在逼真的场景渲染中展示了令人印象深刻的结果。然而，由于延迟和计算限制，虚拟现实系统的高性能要求在直接利用像3DGS这样的快速渲染场景表示时提出了挑战。
在一项研究中，德国埃尔朗根-纽伦堡大学团队提出注视点渲染作为解决相关障碍的解决方案。研究人员分析了最先进NVS方法的渲染性能和与人类视觉系统的兼容性，并为虚拟现实引入了一种新颖的注视点渲染方法，在注视点区域拒用神经点渲染清晰，详细的输出，并在外围融合3DGS平滑渲染。
评估证实，与标准的VR-ready 3DGS配置相比，所提出的方法增加了感知清晰度和细节丰富度。另外，系统满足实时VR交互的必要性能要求，并可增强用户的沉浸式体验。
换句话说，通过将注视区域的高细节神经点渲染与周边视觉的平滑3DGS渲染混合在一起，团队证明在不影响系统性能的情况下，可以将亮度场渲染得清晰而身临其境。
最先进的VR头显具有非常高的分辨率显示，这对渲染算法提出了非常高和严格的性能要求。大多数注视点渲染算法在尝试通过降低分辨率、追踪的光线数量或类似方法来减少外围区域计算成本的同时，尽可能地确保注视点区域变得清晰。然而，相关技术会引起诸如时间不稳定或闪烁等副作用，而周边视觉高度敏感。
近年来，三维高斯飞溅作为一种立体场景表示技术出现，并可用于实现逼真、快速的新视图合成。它本质上产生平滑的渲染，与周边视觉的要求完美协调。但是，为了在注视点区域获得清晰细节的令人愉悦的结果，所需的高斯基元数量将帧时间推高到VR可接受的水平以上，如图1和2所示。
在研究中，德国埃尔朗根-纽伦堡大学从与人类视觉系统和VR性能要求的兼容性方面探索了最先进新型视图合成方法用于注视点渲染的适用性，目标是实现平稳运行和视觉愉悦的VR体验。
团队选择了一种混合方法，将注视区域的高细节神经点渲染与周边视觉的平滑3DGS渲染混合在一起，从而利用两者的各自优势。
特别地，选择神经点绘制用于注视点区域。神经点渲染使用神经网络作为智能图像过滤器，从栅格化的神经点描述符中解释颜色，并从投影的像素大小的点云中填充洞。
它们的闪烁倾向，尤其是它们对高分辨率输出的剧烈性能影响，使它们无法用于完整的图像生成，但它们可以为小得多的注视区域产生清晰和细节丰富的结果。
相关论文：VR-Splatting: Foveated Radiance Field Rendering via 3D Gaussian Splatting and Neural Points
总之，团队提出的注视点渲染方法为克服实时虚拟现实系统中辐射场渲染的计算需求提供了可行的解决方案。通过将注视点区域的高细节神经点渲染与周边视觉的平滑3DGS渲染混合在一起，他们证明在不影响系统性能的情况下可以将亮度场渲染得清晰而身临其境。
另外，这一混合解决方案满足了VR交互的性能需求，在渲染质量和用户体验方面提供了显著改善，为更逼真和沉浸式VR应用铺平了道路。
