基于高斯飞溅交互渲染用于创建可照明可动画的Avatar
以更快的速度渲染更高质量的结果
（映维网Nweon 2025年01月20日）从多视角或单目视频中创建可照明和可动画Avatar是数字人类创作和虚拟现实应用的一项挑战。以前的方法依赖于神经辐射场或光追，导致训练和渲染过程缓慢。
通过利用高斯飞溅，浙江大学，伦敦大学学院，犹他大学团队提出了一种简单有效的方法，可以将身体材质和照明从稀疏视图或单目视频中分离出来，这样Avatar就可以在新的视点、姿势和照明下以交互帧率同时渲染。
具体而言，首先使用SDF获得规范体三维网格，并为每个网格顶点分配属性。然后，规范空间中的高斯函数从附近的体网格顶点进行插值以获得属性。随后，使用前向蒙皮将高斯属性变形到posed空间，并将可学习的环境照明与高斯属性结合起来进行阴影计算。
为了实现快速的阴影建模，研究人员从密集的视点对人体网格进行栅格化，以获得可见性。团队指出，所述方法不仅简单，而且足够快，可以在环境光线变化的情况下进行角色动画的交互渲染。实验表明，与以往的研究相比，所提出方案可以在合成数据集和真实数据集上以更快的速度渲染更高质量的结果。
创建逼真人类化身是一个挑战。为了实现高度的视觉真实感，Avatar应该能够在各种姿势和照明下动画。现有的高质量创建方法需要昂贵且复杂的设备，从而限制了推广。
通过从多视图RGB视频中学习，一系列的研究已经成功地使用NeRF或3DGS建模高质量的Avatar，但它们未能泛化到未知照明条件。这个关键的限制是由于它们将依赖于视图的颜色烘烤到高斯或神经场，没有考虑材质的固有属性。
......（全文 1796 字，剩余 1221 字）
