Meta在SIGGRAPH 2022大会分享两项图形渲染研究成果
软硬件技术
（映维网Nweon 2022年08月22日）成立于1967年的SIGGRAPH大会一直致力于推广和发展计算机绘图和动画制作的软硬件技术，并已经成为一个集科学、艺术、商业于一身的权威性学术研讨会。今年的活动将采取混合形式：线下现场于当地时间8月8日至11日在温哥华会议中心进行；7月25日至10月31日期间提供一系列的线上内容。
下面映维网整理了Meta发表的两场关键主题演讲的内容简介：
- Neural Shadow Mapping/神经阴影映射
- Efficient Estimation of Boundary Integrals for Path-Space Differentiable Rendering/路径-空间可微渲染的边界积分有效估计
1. Neural Shadow Mapping/神经阴影映射
阴影提供了重要的几何、深度和遮光提示。它在定义AR/VR中三维图形渲染的空间关系方面起着至关重要的作用。通过判断光源的来源以及对象与其周围环境的空间关系，人眼可以从阴影中获取线索。高质量阴影已在图形社区得到全面研究。但由于近似（例如基于预滤波的阴影映射）和/或需要专用硬件支持（例如基于GPU的光追阴影），现有方法质量会下降。这使得它们难以在资源有限的AR/VR系统中应用。
对于应用神经网络增强现有实时渲染管道的最新进展，其可以实现毛发等复杂外观的高质量低成本渲染。基于这一最新进展，Meta提出了一种可实时为动态对象生成高质量硬阴影和软阴影的机器学习方法。所述方法不需要光追硬件，而且具有高性能（<6ms/帧），需要很少的内存（<1.5MB），易于部署在商用低端GPU硬件。
团队使用基于“vanilla”光栅化的阴影映射的输出来产生时间稳定的硬阴影和软阴影。他们设计了一种基于各种场景中半影大小统计的紧凑型神经结构，以支持快速训练并泛化到看不见的动态对象。如下图所示，所述方法不仅保持了对动态场景的支持和接近光追参考，并且质量与基于高性能预滤波的方法相比有所提高。
硬阴影和软阴影方法接近离线光追的质量，同时在性能精度谱方面占据有利位置。在高性能方面，产生的结果质量高于× Moment Shadow Maps 。只需要vanilla阴影映射输入来生成接近光追参考的视觉（和时间）结果，超过了成本更高的去噪交互式光追方法。
2. Efficient Estimation of Boundary Integrals for Path-Space Differentiable Rendering/路径-空间可微渲染的边界积分有效估计
在计算机图形学中，基于物理的渲染技术通过求解涉及各种场景属性（如camera pose、场景几何体（例如顶点位置）和空间变化的场景材质属性的专用数学方程来模拟光传输，从而生成照片级真实感图像。相反，基于物理的可微渲染（PBDR）方法旨在计算相对于任意场景属性表现出复杂光传输效果（例如软阴影、互反射和焦散）的真实感图像的导数。
这种新的通用性使得PBDR成为解决具有挑战性的逆渲染问题的关键组件，亦即使用基于梯度的优化从物理测量（如照片）恢复场景几何和材质属性。对于大多数逆渲染场景，在自然环境光下重建高质量场景属性是一项困难的任务，因为360度照明条件显著增加了优化复杂度。
在研究中，团队根据物理绘制中的路径引导技术，并开发了一种基于引导的重要性采样方法，以有效地处理基于PBDR的逆绘制管道中的复杂光照。另外，所述方法可以自然地结合使用经典多重要性采样策略的多引导采样，以进一步提高逆绘制的质量和性能。实验结果表明，这一方法在至少一个数量级性能改进的情况下实现了显著更好的场景重建质量。在下图中，研究人员在自然环境光下重建了真实世界对象的高质量几何体和表面材料，从而展示了所述方法的有效性。
可以看到，使用基于PBDR的逆绘制管道，Meta能够在自然环境光下重建真实世界对象的形状几何和材质。第1行包含参考照片，第2行包含显示从球体开始的优化过程结果。
