英特尔“自由视图合成”技术可实现照片级3D图像渲染效果
向我们展示了何谓照片级真实感
（映维网 2020年08月27日）如果我说“优秀的图形”，你大概会认为这是指支持高分辨率纹理和光追的最新3A级游戏。如果我说“照片级真实感”，答案可能会类似，但会额外关注图形细节和真实世界之间的相似性。不过，英特尔实验室的最新研究向我们展示了何谓照片级真实感，以及其在游戏开发方面的应用，尤其是虚拟现实。
这种新技术名为Free View Synthesis（自由视图合成），它可以利用你从环境中获取源图像（如在森林行走时录制的视频），并重建和渲染图像描述的环境，而且这一切是以完全的“照片级真实感”3D格式进行。你将能拥有玩家般的“Target View（目标视图）”，然后在这个环境中自由行走并产生新的真实感视图。值得一提的是，研究人员将在ECCV2020展示相关的研究，有兴趣的读者可以关注大会。
这种技术对游戏开发的应用显而易见。就理论而言，当拥有了真实世界的图片，系统就能够自动生成一个不仅在布局和内容方面相同，而且在外观方面同样接近的游戏环境。利用所述技术，游戏开发者能够快速轻松地进行关卡设计，并实现可与现实媲美的视觉逼真度。
Free View Synthesis（自由视图合成）拥有大量的应用，但具体到游戏方面，英特尔实验室智能系统的首席科学家弗拉登·科尔顿（Vladen Koltun）指出“它可以创造出与现实别无二致的游戏”。
具体的技术细节请参阅下面的论文，但概要而言，根据源图像产生的环境是利用了Structure from Motion（SfM）和Multi-View Stereo（MVS），它们可以创建一个代理深度映射，然后，目标视图通过“卷积网络”重投影和处理特征，从而合成新视图。简而言之：获取源图像，根据图像创建一个“深度映射”环境，然后使用卷积网络合成新视图。
相关论文：Free View Synthesis
“这会涉及在经典图形管道中遇到的一定几何计算，然后再通过一个卷积网络，正如你在标准深度网络推理中看到的那样。”团队将深度学习用于只有有限数量源图像作为参考的真实场景，并创建照片级真实感视图的任务。
下面的视频展示了其他尝试做类似事情的技术，包括NPBG。但正如视频所示，Free View Synthesis（自由视图合成）可以产生稍微更好的效果。
科尔顿指出，SfM和MVS的使用对于Free View Synthesis（自由视图合成）非常重要，“许多其他技术没有像我们那样使用SfM/MVS”。研究人员认为不重视SfM/MVS已经取得（并将继续取得）的所有惊人进展是非常浪费的事情，“相反，我们应该以其作为基础，并再接再厉。我们的方法之所以能达到如此高的保真度，很大程度上要归功于SfM/MVS技术在过去30年间所取得的进步。”
就理论而言，利用Free View Synthesis（自由视图合成），游戏开发者可以录制一段在当地公园漫步的视频，然后将图像放入相关管道，这样就能够产生公园的照片级真实感画面，并选择想要的任何移动路线。我们同时可以由此推论，这项技术应该可以快速地创建一个逼真的虚拟现实环境，并允许玩家在其中自由走动。另外，尽管“当前的实现没有针对实时性能进行优化……但在实时执行方面没有根本性的障碍”。
Free View Synthesis（自由视图合成）需要深度学习的图形能力，但这应该不是一个问题。真正需要解决的挑战是（至少对于游戏而言）：在场景中创造新的合成元素。在一个照片真实感的公园里走来走去当然不错，但要制作一款游戏，你需要能够与环境交互，或许要引入其他元素（比如FPS游戏中的枪支）。
科尔顿表示，这种技术如何应对所述情况“是一个有待研究的问题”。换言之，这个问题尚未得到回答。“在目前的形式中，所述方法只适合处理静态场景。它允许你在静态场景中自由移动视点，同时保留照片级真实感的外观。最终，诸如此类的技术将能够扩展到动态场景中。这是一个活跃的研究课题。”
这可能就是为什么这项技术“不会马上出现”在游戏中的原因。他补充道：“即使在未来几年内都不会出现，但最终会成为现实”。
对于Free View Synthesis（自由视图合成）这样的渲染技术，再结合头显硬件方面的进步，这将能为虚拟现实带来了巨大的技术飞跃。
