谷歌利用众包照片为AR/VR提供地标3D建模

查看引用/信息源请点击：venturebeat

令人信服地在3D中复刻相关地标和照明

（映维网 2020年08月13日）一直以来，将现实地点转换为3D模型对人类艺术家而言都是巨大的挑战，尤其是需要实现照片级真实感的时候。

但谷歌研究人员已经构思出一种替代方案，其可以同时地自动化3D建模过程并改进结果，利用一个包含众包地点照片的神经网络来令人信服地在3D中复刻相关地标和照明。

名为神经辐射场（Nergular Radiance Fields，NeRF）的技术可通过确定光线的终止位置而从2D图像中提取3D深度数据，然后就能够创建看似合理的地标3D纹理模型。

谷歌的NeRF-in-Wild（NeRF-W）系统则更进一步。首先，它使用“in-the-wild photo collections”作为输入，从而扩展计算机从多个角度查看地标的能力。接下来，系统评估图像以寻找结构，分离出摄影图形和环境变化，如图像曝光、场景照明、后处理和天气条件，以及镜头到镜头的对象差异。然后，它将重新创建场景，将静态元素（结构几何和纹理）与提供体三维辐射的瞬态元素混合。

因此，可以从多个角度流畅地查看NeRF-W的3D地标模型，而且看起来不会抖动或出现伪影。同时，照明系统使用检测到的变化来为场景照明和阴影提供辐射指导。

另外，NeRF-W可以将图像到图像对象的差异视为一个不确定域，然后消除或弱化差异。标准的NeRF系统则允许差异显示为云状遮挡伪影，因为它在图像摄取过程中不会将它们与结构分离。

......（全文 807 字，剩余 325 字）