浙江大学提出XHand虚拟手系统，实现高保真实时手部渲染
它能够实时恢复不同姿势的手部动画的高保真几何和纹理
（映维网Nweon 2025年01月16日）虚拟手在各种数字界面中发挥着关键作用，可以增强用户沉浸感，促进虚拟环境中的自然交互。在扩展现实领域，即时渲染变得势在必行。在一项研究中，浙江大学团队介绍了一个富有表现力的虚拟手系统XHand。
它可以实时综合生成手的形状、外观和变形。为了获得细粒度的手部网格，研究人员使用三个特征嵌入模块分别预测手部变形位移、反照率和线性混合蒙皮权重。为了在细粒度网格实现逼真的手部渲染，所述方法采用基于网格的神经渲染器，利用网格拓扑一致性和嵌入模块的latent code。
在训练过程中，他们提出了一种局部感知的拉普拉斯平滑策略，通过结合不同层次的正则化来有效地保持必要的细节并消除非期望伪影。InterHand2.6M和DeepHandMesh数据集的实验评估证明了XHand的有效性，它能够实时恢复不同姿势的手部动画的高保真几何和纹理。
虚拟手在虚拟现实等数字环境中至关重要。准确的表示和逼真的手部动作对于提供真实和引人入胜的用户体验十分关键。由于手部肌肉的复杂性和个性化，获得精细的手部表征具有一定的挑战性，而这直接影响到虚拟空间中的用户体验。
基于参数化模型的方法已经成功地对数字人体进行了建模，为有效地分析和操纵人体和手的形状和姿态提供了结构化框架。相关模型在各种应用中发挥了至关重要的作用，使计算机动画和手-物交互成为可能。
由于它们主要依赖于基于网格的表示，这将它们限制在固定的拓扑结构和有限的3D网格分辨率。所以，模型很难准确地代表复杂的细节，如肌肉，服装和毛发，从而阻碍了它们渲染高保真图像。
无模型方法通过各种技术为手部网格的表示提供了有效的解决方案。基于图形卷积网络（GCN）和UV基3D手部网格的表示能够重建具有详细变形的各种手部姿势。轻量级自编码器进一步增强实时手部网格预测。尽管在捕获精确的手部姿势方面取得了这些进步，但所述方法在保留复杂的几何细节方面依然不足。
最近，神经隐式表征已经成为合成静态场景新视图的强大工具。有研究将所述方法扩展到关节对象的领域，特别是人体。尽管取得了令人鼓舞的成果，但它们在恢复细节几何形状方面存在困难，而细节几何形状通常在真实感渲染中起着至关重要的作用。
为了解决相关挑战，浙江大学团队提出了旨在实现实时性能和富有表现力虚拟手的XHand。
所述方法包括使用细分的MANO模型预测手变形位移、顶点反照率和线性混合蒙皮（LBS）权重的特征嵌入模块。模块利用手部网格的平均特征并计算不同姿势的特征偏移量，从而解决了由于显著姿势相关变化而难以直接学习动态个性化手部颜色和纹理的问题。
通过区分平均特征和姿势相关特征，模块简化了训练任务并提高了结果的准确性。另外，研究人员结合了一个局部感知的拉普拉斯平滑项，以提高从图像中提取几何信息的效率，并应用不同级别的正则化。
为了实现逼真的手部渲染，他们使用基于网格的神经渲染器，利用特征嵌入模块的latent code来保持拓扑一致性。所述方法保留了详细的特征，并通过各种正则化级别将伪影最小化。
最后，研究人员使用InterHand2.6M和DeepHandMesh来评估方法。实验结果表明，XHand可以提供高保真的网格和实时的手部姿态渲染，优于以往的方法。
总的来说，研究人员提出了一个具有照片逼真的渲染和细粒度几何图形的手化身XHand。他们利用有效的特征嵌入模块来区分平均特征和姿态相关特征来获得手部姿态的精细网格。为了保证手部合成的高质量，方法采用了基于网格的神经渲染，并考虑了网格拓扑一致性。
在训练过程中，团队引入了局部感知拉普拉斯正则化，通过不同级别的正则化来减少伪信号，同时保持细节。对InterHand2.6M和DeepHandMesh数据集进行的严格评估证明，它在各种姿势的手部动画中产生高保真几何和纹理的能力。
