Meta Reality Labs分享MVP体三维3D动态渲染技术的灵感和挑战
介绍了相关研究的灵感，出发点和下一步等等
（映维网 2021年12月21日）在名为《Mixture of Volumetric Primitives for Efficient Neural Rendering》的论文中，Meta为体三维3D内容提出了一种MVP动态渲染技术，其结合了体元和基于体元的方法的优点，可实现高性能解码和高效渲染。日前，Meta旗下Reality Labs的研究科学家史蒂芬·隆巴迪（Stephen Lombardi）接受了SIGGRAPH的专访，并进一步介绍了相关研究。
在神经体三维方面，团队提出了一种仅在给定多视图图像数据的情况下根据新视图实时重建和渲染运动对象的方法。这是一个非常令人兴奋的研究领域，因为它将在虚拟现实和增强现实中实现引人注目的交互式内容。
神经体三维背后的主要思想是，用体三维表示法对场景进行建模。体三维表示法包括空间中每个点的RGB颜色和不透明度值。在那篇论文中，团队探索了一种基于体素的体三维表示法。基于体素的方法有一系列的优点。首先，可以使用3D卷积实时生成体素网格，从而为动态场景建模。其次，可以使用三线性插值快速采样体三维的颜色和不透明度值。所述优点使得‘Neural Volumes’模型能够实时呈现。然而，‘Neural Volumes’在场景的三维范围内均匀分布体素，这使得难以对高分辨率对象建模。
为了解决这个问题，团队提出了‘Mixture of Volumetric Primitives（MVP）’。不是使用一个大型三维体素网格对场景建模，而是使用一组更小的移动体素网格对场景建模。通过允许模型更好地控制场景不同部分的体素密度，并使用原语的运动对场景的运动进行建模，MVP能够以比‘Neural Volumes’更高的分辨率和更快的帧速率对动态场景进行建模。
......（全文 1242 字，剩余 664 字）
请微信扫码通过小程序阅读完整文章或者登入网站阅读完整文章
映维网会员可直接登入网站阅读
PICO员工可联系映维网免费获取权限
