Facebook为体三维3D内容提出MVP动态渲染，实现高性能解码和高效渲染
产生了更高质量、更可驱动的模型
（映维网 2021年05月29日）根据二维图像数据进行动态三维对象和场景的图像真实感绘制是计算机视觉和图形学领域的一个研究热点。近年来，基于学习的方法获得了令人印象深刻的实证结果。受其推动，体三维表示在图形社区重新引起了人们的兴趣。利用诸如深度神经网络这样的泛型函数逼近器，相关方法通过直接监控原始图像像素来获得令人信服的结果。所以，它们避免了分配几何和辐射特性这一通常非常困难的任务。利用体三维模型固有的简单性，众多研究致力于扩展小幅运动建模方法、光照变化、减少数据需求，以及学习效率等。
尽管在体三维模型方面取得了进展，但它们依然需要做出权衡；要么内存占用量大，要么渲染的计算开销大。巨大的内存占用极大地限制了所述方法的分辨率，并导致高频细节的缺乏。另外，高计算成本限制了对实时应用的适用性，例如VR临场感。理想的表示应该是内存效率高、渲染速度快、可驱动且具有较高的渲染质量。
Neural Volumes是一种用于学习、渲染和驱动动态对象的方法（动态对象使用外向内摄影头装备捕获）。由于统一的体素网格是用来模拟场景，这一方法适用于对象，而不是场景。由于场景的大部分都是由空的空间组成，所以Neural Volumes使用一个扭曲场来最大化可用分辨率的效用。然而，这种方法的有效性受到扭曲分辨率和网络以无监督方式学习复杂逆扭曲的能力的限制。
Neural Radiance Fields（NeRF）则使用紧凑表示法解决分辨率问题。另外，NeRF只处理静态场景。另一个挑战是运行时，因为多层感知器（MLP）必须沿着camera光线在每个采样点进行评估。要合成单个高分辨率图像，这将导致数十亿次MLP评估，导致渲染时间非常慢，大约每帧30秒。
......（全文 1494 字，剩余 871 字）
请微信扫码通过小程序阅读完整文章或者登入网站阅读完整文章
映维网会员可直接登入网站阅读
PICO员工可联系映维网免费获取权限
