Facebook宣布神经超采样实时渲染，实现VR高清显示新突破，低清图像实时转高清
一种可以将低分辨率输入图像转换为高分辨率输出的机器学习方法
（映维网 2020年07月02日）VR实时渲染提出了一系列独特的挑战，其中最主要的是支持图片级真实感效果，实现更高的分辨率，并达到比以往任何时候都更高的刷新率。为了应对这一问题，Facebook Reality Labs（FRL）的研究人员开发了DeepFocus。这个于2018年12月首次亮相的渲染系统主要是利用人工智能在变焦头显中创建超逼真的视觉效果。团队将在今年的SIGGRAPH大会介绍研究的下一篇章，并表示它将开启为虚拟现实创造未来高保真显示器的全新里程碑。
将在SIGGRAPH大会介绍的论文名为“Neural Supersampling for Real-time Rendering（用于实时渲染的神经超采样）”介绍了一种可以将低分辨率输入图像转换为高分辨率输出的机器学习方法。这种upsampling（上采样）过程利用了神经网络并以场景统计进行训练，从而能够恢复清晰的细节，同时节省在实时应用程序中直接渲染所述细节的计算开销。
上面的GIF动图比较了低分辨率颜色输出和神经超采样方法实现的16x超采样输出。
1. 研究的是什么？
为了降低高分辨率显示器的渲染成本，FRL使用的输入图像的像素比期望输出少16倍。例如，如果目标显示器的分辨率为3840×2160，FRL的神经网络将以游戏引擎渲染的960×540分辨率输入图像着手，并作为一种实时后处理过程将其upsample（上采样）至目标显示分辨率。
尽管社区已经存在大量关于摄影图像的机器学习upsampling（上采样）研究，但没有一个直接谈及渲染内容（如游戏引擎生成的图像）的独特需求。这是由于渲染图像和摄影图像在图像形成方面的根本区别。在实时渲染中，每个采样点在空间和时间上都是一个点。所以渲染内容通常是高度锯齿，会产生锯齿状的线条和其他采样伪影。对于这一点，你可以参阅本文的低分辨率输入示例。这使得渲染内容的upsampling上采样既是一个抗锯齿问题，同时又是一个内插问题，不同于已得到计算机视觉领域充分研究的去噪和去模糊问题。对于输入图像高度锯齿，以及需要插值的像素完全丢失信息这一事实，这为渲染内容生成高保真和时间相干重建提出了重大挑战。
......（全文 1585 字，剩余 795 字）
