Facebook基于球体可微渲染器Pulsar可大量应用于三维重建、神经渲染
使用球体作为场景表示，在避免拓扑问题的同时可以获得前所未有的速度。
（映维网 2021年07月14日）对于根据图像观察学习3D场景表示的所有现代神经渲染方法而言，可微渲染管道都是基础。最近，神经渲染已经赋予了大量的应用，例如视图合成、面部再现和三维重建。现代神经渲染可分为三个部分：1.三维神经场景表示；2.从三维数据到一致二维表示的投影（投影步骤）；以及3.使用统计模型（通常是神经网络）处理投影数据以生成最终图像（神经着色步骤）。
这个策略结合了经典渲染和神经网络的优点。通过投影步骤，可以生成场景的一致几何表示，而神经着色步骤可以通过利用最新的生成性神经网络来生成逼真的图像。其中，神经网络可以近似复杂的自然图像形成现象，无需显式建模。
理想情况下，这种神经渲染方法可以以端到端的方式联合训练：学习场景的3D表示并通过投影和着色步骤发送。生成的图像可以与ground truth观测值进行比较，从而为优化过程提供信息。这不仅可以在着色步骤中改进生成模型，同时可以联合学习场景的表示和投影步骤中潜在的未知参数。这个过程需要以可缩放的方式通过整个管道高效地计算梯度，这样即使对于以真实世界分辨率渲染的复杂详细场景的几何体，其都可以实现高性能。
......（全文 1502 字，剩余 1036 字）
请微信扫码通过小程序阅读完整文章或者登入网站阅读完整文章
映维网会员可直接登入网站阅读
PICO员工可联系映维网免费获取权限
