英特尔用AI分析真实照片+游戏CG图像，实时渲染更逼真游戏画面
可能代表了未来实时计算机图形学的一个全新方向
（映维网 2021年05月14日）英特尔智能系统实验室（Intelligent Systems Labs)的研究人员发现了一种可以用真实照片来增强计算机生成图像的方法。以《侠盗猎车手5》为例，所述方法利用深度学习来分析游戏生成帧，然后从真实图像数据集中生成新的帧。尽管对于今天的游戏而言速度太慢，但它可能代表了未来实时计算机图形学的一个全新方向。
尽管是在2013年发行，但《侠盗猎车手5》依然是一款画面出众的游戏。当然，它远不符合“照片级真实感”的定义。
通过所述方法优化的游戏帧
业界已经能够创建预渲染的照片级图像，然而，实时创建依然是一个重大挑战。实时光追技术朝着真实感图形又迈进了一步，但即使是当今画面最优秀的游戏，其离真正的照片真实感尚有一定的差距。
英特尔智能系统实验室的研究人员日前发表了一份研究。通过以《侠盗猎车手5》的现有渲染引擎作为基础构建一个深度学习系统，其展示了一种实时创建真实照片级图形的方法。结果令人印象深刻，并显示出远超过类似方法的稳定性。
就概念而言，所述方法类似于英伟达的深度学习超级采样（Deep Learning Super Sampling；DLSS）。但DLSS设计成引入图像，然后生成同一图像的高清晰版本，而英特尔智能系统实验室的方法则引入一幅图像，然后通过真实图像数据集来增强图像的真实感，特别是一个名为Cityscapes的数据集（从汽车角度提取街景图像）。所述方法从数据集中提取与《侠盗猎车手5》游戏引擎最初生成帧最匹配的特征来创建一个全新的帧。
诚然，这种“风格转换”方法并不完全是新创，但其新颖之处是将游戏引擎创建的G-buffer数据集作为图像合成过程的一环。
G-buffer数据示例
G-buffer是每个游戏帧的表示，包括深度、albedo、法线贴图和对象分割等用于游戏引擎正常渲染过程的信息。智能系统实验室的方法不是只查看游戏引擎渲染的最终帧，其同时查看G-buffer中所有可用的额外数据，以便能够更好地判断应根据照片级真实感数据集中的哪个部分进行绘制，从而创建场景的精确表示。
这种方法可以带来很强的时间稳定性（从一帧到下一帧的移动对象看起来在几何上是一致的），以及语义一致性（新生成帧中的对象能够正确地表示原始帧中的对象）。研究人员将所述方法与其他方法进行了比较，而其他方法中的大多数都在这两个方面都尤为挣扎。
然而，这种方法的速度太慢，无法实际应用于游戏（Nvidia RTX 3090只能做到2 FPS）。但研究人员相信，这种方法日后可以优化，并与游戏引擎协同工作，从而加快速度。若能实现，未来同样有望给虚拟现实带来真正的照片级真实感图形。
研究人员总结道：“我们将基于学习的方法与传统的实时渲染管道相结合。我们希望我们的方法能够帮助未来的图形管道，并与实时光追兼容……由于用作输入的G-buffer是在GPU本地生成，所以我们的方法可以更深入地集成到游戏引擎中，从而提高效率并可能进一步提高逼真度。”
