研究员提出快速3D神经隐式头部化身模型，保持高质量同时实现实时渲染
在保持细粒度可控制性和高渲染质量的同时实现了实时渲染
（映维网Nweon 2024年10月17日）用神经隐式体积表征构建的3D化身已经达到了前所未有的真实感水平。然而，相关方法的计算成本依然是其广泛采用的一个重大障碍，特别是在虚拟现实和远程会议等实时应用之中。尽管业界已经尝试开发用于静态场景的快速神经渲染方法，但它们不能简单地用于支持逼真的面部表情。
为了解决所述挑战，谷歌、加拿大西蒙菲莎大学和香港科技大学的研究人员提出了一种全新的快速3D神经隐式头部化身模型，而它在保持细粒度可控制性和高渲染质量的同时实现了实时渲染。
关键思想在于引入局部哈希表混合形状。每个顶点的哈希表与通过CNN预测的权重线性合并，从而产生依赖表情的嵌入。新颖表示使用轻量级MLP实现了高效的密度和颜色预测，并通过分层最近邻搜索方法进一步加速。大量的实验表明，所述方法可以实时运行，并且在具有挑战性的表情方面获得与最先进渲染质量相当的结果。
随着新兴的VR/AR应用的普及，对高性能逼真人类化身的需求急剧增加。由于单目RGB视频数据采集的便利性，如何从单目RGB视频中构建高效、高质量的虚拟化身成为了一个富有前景的方向。
尽管早期的研究大多采用基于表面的模型，但最近提出的方法开始利用复杂的管道在神经辐射场构建人类化身，从而提供生动的动画以及显着更好的渲染质量，特别是在具有挑战性的部分，如头发和眼镜。但缺点是，相关方法往往非常缓慢。
当然，业界已经提出了神经辐射场的快速方法，而它们主要用于静态场景或预录制的时间序列。尽管取得了巨大的成功，但将相关方法扩展到人类化身并不简单，需要在控制化身时实时渲染动态面部表现。
......（全文 1313 字，剩余 674 字）
