密歇根大学提出HumanSplatHMR：人体姿态更准，渲染更真
姿态更准，渲染更真
（映维网Nweon 2026年05月11日）密歇根大学的研究团队提出一种名为HumanSplatHMR的新型计算框架，可同时提升从视频中恢复人体三维姿态的精度和生成可动画虚拟化身的渲染质量。所述方法通过将人体网格重建与高斯飞溅渲染技术闭环耦合，在无需动捕设备或离线后处理的条件下，显著改善了对真实场景中人体运动的建模效果。
在计算机视觉与图形学领域，从单目视频中准确恢复人体姿态并构建逼真的可动画虚拟化身一直是重要挑战。现有方法通常将姿态估计与虚拟化身渲染分为两步，或者为了渲染质量而削弱姿态的几何约束，导致姿态误差放大，或者为了姿态精度而牺牲渲染的灵活性和真实感。
针对上述问题，密歇根大学的研究人员提出了HumanSplatHMR。这一解决方案以视频中每帧图像为输入，首先借助现有姿态估计模型（如HMR2.0）得到初始的人体网格（SMPL参数），然后通过可微渲染将渲染图像、深度图、人体分割与真实观测进行比较，并将误差反向传播至姿态参数与3DGS表示，实现两者的联合优化。
为了避免高斯点云过度拟合训练视角而脱离人体几何，研究团队设计了一种“布料感知网格嵌入损失”。这一损失函数将高斯点云松散地约束在人体网格表面附近的一个薄层内，既允许衣物等非刚性形变的局部灵活性，又确保高斯点云与人体几何保持整体一致。同时，他们引入了深度监督和扁平化正则化，进一步提升三维姿态的全局准确性和新视角下的渲染质量。
实验在Human3.6M、3DPW和NeuMan等多个公开数据集进行。结果显示，HumanSplatHMR在人体关节位置误差方面相比基线HMR2.0和GART均有降低，尤其是在姿态噪点较大的数据集3DPW上提升更为明显。在新视角渲染方面，所述方法在峰值信噪比、结构相似性等指标方面优于对比方法。消融研究同样证实，它在保持高渲染质量的同时，能够有效避免因可学习蒙皮权重导致的人体姿态精度下降。
相关论文：HumanSplatHMR: Closing the Loop Between Human Mesh Recovery and Gaussian Splatting Avatar
研究团队表示，HumanSplatHMR的流程具有较好的扩展性，未来将推广至多人场景的追踪与重建，为虚拟现实等领域提供更可靠的技术支撑。
