研究员提出快速3D神经隐式头部化身模型，保持高质量同时实现实时渲染

小编 ovaliu | 分类：论文 | 发布日期 2024年10月17日

加入映维网会员

在保持细粒度可控制性和高渲染质量的同时实现了实时渲染

（映维网Nweon 2024年10月17日）用神经隐式体积表征构建的3D化身已经达到了前所未有的真实感水平。然而，相关方法的计算成本依然是其广泛采用的一个重大障碍，特别是在虚拟现实和远程会议等实时应用之中。尽管业界已经尝试开发用于静态场景的快速神经渲染方法，但它们不能简单地用于支持逼真的面部表情。

为了解决所述挑战，谷歌、加拿大西蒙菲莎大学和香港科技大学的研究人员提出了一种全新的快速3D神经隐式头部化身模型，而它在保持细粒度可控制性和高渲染质量的同时实现了实时渲染。

关键思想在于引入局部哈希表混合形状。每个顶点的哈希表与通过CNN预测的权重线性合并，从而产生依赖表情的嵌入。新颖表示使用轻量级MLP实现了高效的密度和颜色预测，并通过分层最近邻搜索方法进一步加速。大量的实验表明，所述方法可以实时运行，并且在具有挑战性的表情方面获得与最先进渲染质量相当的结果。