AvatarPerfect系统实现3D虚拟形象精准优化，交互式编辑消除姿态伪影

小编广东客 | 分类：论文 | 2025年5月9日

加入映维网会员

手动编辑渲染的Avatar图像

（映维网Nweon 2025年05月09日）使用3DGS从单目视频创建高质量的3D Avatar有利于虚拟现实。然而，由于输入视频中的信息有限，现有的自动方法在新姿态下会出现伪影。针对这个问题，东京大学，天津大学和Adobe团队提出了AvatarPerfect。

这个新颖的系统允许用户手动编辑渲染的Avatar图像，从而迭代地完善3DGS Aavatar。在每次迭代中，系统都会建议一个新的body和camera姿势，以帮助用户识别和纠正伪影。编辑后的图像用于更新当前的Avatar，而系统继续建议下一个body和camera姿势，以进一步完善。

为了研究AvatarPerfect的有效性，团队进行了一项用户研究，将所提出方法与现有的3DGS编辑器SuperSplat进行了比较。结果表明，与现有的3DGS编辑器相比，系统可以帮助用户获得更高质量的精细3DGS Avatar。

逼真的、可动画化的3D Avatar在AR/VR等应用中发挥着重要作用。由于NeRF和3DGS等方面的进展，Avatar的质量得到了显著改善。

使用3DGS，用户可以通过捕获覆盖单个body姿势的RGB单目视频来创建逼真的3DGS Avatar。由此产生的Avatar可以实时地以各种姿势进行动画和渲染。前所未有的质量和易用性使3DGS头像即使对非专业用户都具有吸引力和可访问性。

然而，当将输入视频中未捕获的新身体姿势分配给3DGS Avatar时，我们通常会遇到两种类型的伪影。第一种类型是浮动高斯，其中不自然的椭圆围绕着身体浮动（图2a中的红框）。这种伪影的发生是因为，在输入视频中仅使用有限数量姿势来获得适当蒙皮权重来变形高斯函数是具有挑战性的。

第二种类型的伪影是异常颜色高斯，由于输入的单目视频中样本不足，它会在区域中产生阴影外观或不一致的颜色（图2b中的蓝色框）。这种伪影的发生是因为输入视频通常包含被遮挡的部分，这使得准确估计隐藏区域的高斯分布的颜色具有挑战性。因此，当为生成的3DGS角色分配新姿势时，伪影出现在输入视频中的隐藏区域周围。

尽管以前的算法尝试消除相关伪影，但由于缺乏新姿态的参考信息，当应用新姿态时，伪影依然存在。相比之下，当在输入视频中不包含的新姿势下呈现静态Avatar时，人类依然可以快速识别伪影并使用简单的3D选择交互手动操纵伪影高斯。

然而，这种交互存在两个主要问题。首先，对于没有经验的用户来说，操作3D对象并不直观。其次，由于3DGS的复杂渲染过程，操纵高斯函数的后果尚不清楚。具体来说，直接在3D空间中操作高斯函数会导致编辑区域周围的外观不太光滑。所以，对于用户来说，确定适当的编辑视点以及编辑哪个高斯以减少伪影是具有挑战性的。

为了解决这个问题，东京大学，天津大学和Adobe团队提出了AvatarPerfect。这个交互式系统通过2D图像编辑迭代地细化3DGS Avatar。在每次迭代中，AvatarPerfect都会建议一个新的body和camera姿势对，并呈现一个带有伪影的Avatar图像供用户改进。

用户可以使用各种2D图像编辑工具来删除Avatar图像中呈现的伪影：背景工具、油漆工具和油漆扩散工具。在用户删除建议的Avatar图像中的伪影后，AvatarPerfect使用原始输入视频和用户编辑的图像更新3DGS头像。

经过几次迭代，生成的3DGS角色可以在新的姿态下使用减少的伪影进行动画和渲染。他们首先测量输入视频和用户细化的Avatar图像中每个高斯的可见性。通过能见度测量，优化下一个body和camera姿势，以显示尽可能多的高斯分布。这种姿势建议方法减轻了用户识别姿势与伪影的需要，并消除了复杂的3D操作的需要。

团队进行了一项用户研究，以比较AvatarPerfect与现有3DGS编辑器SuperSplat的有效性。结果表明，AvatarPerfect可以允许用户提炼更多的伪影，生成更高质量的3DGS Avatar。团队相信这个方法允许用户有效地改进预训练的3DGS化身，减少生成高质量3D Avatar所需的工作量，并增强VR体验。