泰国科学研究所提出新视图合成算法，通过精确处理照明效果显著增强体三维真实感
NeX研究可以显著提高虚拟现实中体三维捕捉和播放的真实感。
（映维网 2021年08月20日）就实景VR而言，体三维视频是沉浸式内容的黄金标准，而静态场景捕捉则是摄影测量。但所述的两种方法都有局限性，有损于真实感，特别是当涉及到“视点依赖（View-Dependent）”效果时，如镜面反射高光。泰国VISTEC科学研究所（Vidyasirimedhi Institute of Science and Technology）针对这个问题进行了研究，并提出了一种视图合成算法，通过精确处理相关照明效果来显著增强真实感。
VISTEC科学技术研究所已于早前发表了一篇论文，并将这项实时视图合成算法命名为NeX。团队的目标是只使用场景中的少量输入图像来合成新帧，并从真实图像之间的任意点逼真地描绘场景。
研究人员指出，这项研究以名为多平面图像（Multiplane Image；MPI）的技术作为基础。与以前的方法相比，VISTEC的解决方案能够更好地模拟视点依赖效果（如镜面反射高光），并创建了更清晰的合成图像。
除了所述的提升，团队同时对系统进行了高度优化，使其能够以60Hz的频率轻松运行。这比以前的技术水平提高了1000倍。
尽管尚未针对具体用例进行打磨，但研究人员已经通过具有立体深度和全六自由度运动的VR头显对系统进行了测试。
若按照视频所示，效果显然非常惊艳。
请注意木头的反光和水壶把手的复杂高光。就我所知，像这样的视点依赖效果细节对于现有的体三维和摄影测量捕获方法来说非常困难。
在我看过的大多数VR体三维视频捕获，其通常难以确定镜面反射高光的适当立体深度。
摄影测量或“场景扫描”通常会将场景照明“烘焙”为纹理，但这一般会致使半透明对象看起来像硬纸板，因为当你以不同角度查看对象时，照明高光无法正确移动。
相关论文：NeX: Real-time View Synthesis with Neural Basis Expansion
他们总结道：“我们的方法在捕捉和再现复杂的视点依赖效果方面有效，并且能够在标准图形硬件实现高效的计算，所以可以允许实时渲染。我们对公共数据集和更具挑战性的数据集进行了广泛研究，而结果证明了我们方法的先进性。我们相信，Neural Basis Expansion可以应用于光场因子分解的一般问题，并使其他场景表示（不限于MPI）的高效渲染成为可能。我们认为特定反射参数和高频纹理可以显式优化，而所述见解同时有助于恢复精细细节（这是现有隐式神经表征所面临的挑战）。”
进一步的信息请访问NeX项目官网，包括你可以通过浏览器体验的演示内容。如果你是用Firefox火狐，团队提供了基于WebVR的演示以结合PC VR头显。但遗憾的是，它们目前不支持Quest的浏览器。
