比DNR更快更好，Facebook提出ANR铰接神经渲染，让虚拟化身细节更逼真
由美国佐治亚理工学院、德国波恩大学、Facebook Reality Lab和Epic Games组成的团队
（映维网 2021年07月21日）捕捉真实感是计算机视觉的重要目标之一。3D绘制和神经网络的进展带来了具有显著保真度的方法。然而，这通常需要用到昂贵而复杂的捕获设置，从而妨碍了结果模型的简单数字化和传输。最近的Deferred Neural Rendering（DNR）式可以利用不精确的几何体和相对简单的神经着色器来真实地捕捉具有视点相关效果的复杂场景。在第一步中，使用neural latent texture对几何体进行光栅化，然后使用卷积网络将其转换为RGB图像。渲染网络和神经纹理都进行了优化，以产生逼真的结果。
DNR特别适合于刚性对象。它的管道可以以一种自然的方式扩展到可变形对象：可以使用蒙皮网格来捕捉几何体。然后，可以将来自姿态网格的光栅化神经纹理转换为RGB图像。尽管就概念而言十分简单，但神经网络必须学习更复杂的变形相关效果。另外，用于渲染的网格通常不是真实几何体的完美表示，从而导致对齐问题，并限制了DNR在可变形物体场景中的应用。
针对这个问题，由美国佐治亚理工学院、德国波恩大学、Facebook Reality Lab和Epic Games组成的团队提出用Articulated Neural Rendering （ANR）来解决所述问题。据介绍，ANR系统地将DNR从神经阴影模型结构重建为优化方案，而团队利用ANR来解决动画中最具挑战性的问题之一：虚拟化身。下图是由ANR渲染的虚拟化身示例。
......（全文 1402 字，剩余 910 字）
请微信扫码通过小程序阅读完整文章或者登入网站阅读完整文章
映维网会员可直接登入网站阅读
PICO员工可联系映维网免费获取权限
