研究员介绍LoDAvatar技术，实现高质量3D虚拟角色渲染优化
高斯Avatar
（映维网Nweon 2025年04月18日）随着虚拟现实技术的发展，人们对3D Avatar的需求越来越大。Gaussian Splatting技术的出现使得高斯Avatar的渲染具有更高的视觉质量和更低的计算成本。尽管业界提出了一系列的方法来实现可驱动的高斯Avatar，但对平衡视觉质量和计算成本的关注有限。
在一项研究中，北京理工大学和鹏城实验室团队介绍了LoDAvatar，一种通过分层嵌入和选择性细节增强方法将细节层次引入高斯Avatar的方法。
LoDAvatar的关键步骤包括数据准备、高斯嵌入、高斯优化和选择性细节增强。团队在不同的细节水平进行了涉及高斯Avatar的实验，并采用客观评估和主观评估。结果表明，在渲染过程中，将细节层次整合到高斯Avarar中可以减少计算成本，同时保持合适的视觉质量，从而提高运行时帧率。
团队表示，提倡采用LoDAvatar来渲染多个动态高斯角色或广泛的高斯场景，以平衡视觉质量和计算成本。
虚拟现实技术的发展增加了对逼真的3D Avatar的需求。制作3D Avatar的传统方法通常涉及利用扫描数据或基于多视图图像进行3D建模。近年来，3D Gaussian Splatting（3DGS）技术的引入为生成Avatar开辟了新的途径。
3DGS是一种创新的渲染技术，专为虚拟对象和场景的实时渲染而设计。与依赖点和网格进行虚拟对象和场景构建的传统方法相比，3DGS呈现为一种灵活且富有表现力的表示方式。各向异性三维高斯函数可以准确地描绘高质量的辐射场，高斯函数显式，非常适合基于GPU的快速光栅化。
这个功能可以在VR中渲染高质量的虚拟Avatar，同时降低计算成本并在渲染期间实现高帧率。在创建动态高斯Avatar时，研究人员已经深入研究了可驱动的3DGS的方法。Driveable 3D Gaussian Splplatting将高斯函数嵌入到相应网格化身的表面，从而将高斯函数从世界坐标系转换到相应网格三角形表面的局部坐标系。这允许高斯属性随着网格模型的变化而变化，从而实现高斯属性的动态渲染。
由于其减少的数据存储需求和引导Avatar执行超出捕获数据集的操作的能力，Driveable 3DGS广泛应用于动态高斯Avatar。尽管大量的研究工作集中在实现动态高斯Avatar，但很少注意平衡视觉质量和计算成本。
增加生成中使用的高斯函数数量可以提高视觉质量，但同时会增加计算成本。与虚拟Avatar的实时交互在VR中至关重要，强调了以最小的计算成本渲染Avatar以获得更高的显示帧率的必要性。
研究人员的动机在于利用可管理的高斯数量来生成Avatar，并引入细节水平（LoD），以更好地利用GS所固有的高视觉质量和低计算成本优势。
为了在高视觉质量和最小化计算成本之间取得平衡，团队提出了LoDAvatar，它通过分层嵌入和选择性细节增强方法生成具有不同LoD的高斯Avatar，如图1所示。所述方法包括数据准备、高斯嵌入、高斯优化和选择性细节增强四个阶段。
在数据准备阶段，首先使用网格和相应的纹理映射作为输入来制作网格Avatar。为网格Avatar生成关键帧动画，并记录关键帧的一系列多视图图像及其相应的摄像头参数。
随后，高斯嵌入涉及到在网格头像的每个三角形面建立一个局部坐标系。在每个三角形的顶点和表面中心初始化高斯函数，并将其参数从世界坐标系转换为局部坐标系。
在高斯嵌入之后，通过约束高斯函数在三角形顶点的位置并保持一定数量的高斯函数来进行高斯优化。优化后，将原三角形中心的高斯函数重新定位，并与顶点的高斯函数位置相连，形成新的三角形。
在选择性细节增强阶段，利用图像掩模识别需要细节增强的三角形。在相应的三角形表面嵌入新的高斯函数，以实现选择性细节增强。随后的优化过程保持固定的低细节高斯，同时在每次迭代中只精炼新引入的高斯，逐步增强Avatar的细节，并生成从低到高细节水平的高斯Avatar。
通过分层嵌入和选择性细节增强技术生成的虚拟Avatar可以驱动并用于虚拟现实中的交互，从而展示了卓越的视觉质量和降低的计算成本
总的来说，团队介绍了一种利用分层嵌入和选择性细节增强来生成具有不同LoD的高斯Avatar的方法——LoDAvatar。
所述方法以现有网格头像为输入，包括数据准备、高斯嵌入、高斯优化和选择性细节增强。团队进行了两个实验来评估所提出的方法。实验1通过客观评价和主观评价两方面对LoDAvatars的视觉质量进行了评价，结果表明层次嵌入和选择性细节增强方法可以生成具有合适视觉质量的LoDAvatars。
在实验2中，检查了LoDAvatars在运行时的平均帧率来分析计算成本，进一步强调了在高斯Avatar中集成LoDAvatars的重要性。
LoDAvatar展示了减少渲染所需计算成本的潜力，而团队认为层次嵌入和选择性细节增强方法可以有效地用于动态高斯Avatar的LoD生成，在视觉质量和计算效率之间取得平衡。
