加州大学团队突破3D人体动态网格压缩技术，比特率降低24.51％
对真实世界扫描的3D人体动态网格进行压缩
（映维网Nweon 2025年05月16日）在虚拟现实和远程呈现等应用的推动下，对真实世界扫描的3D人体动态网格进行压缩是一个新兴的研究领域。与固定拓扑的合成动态网格不同，扫描动态网格不仅在帧间具有不同的拓扑结构，而且存在孔洞和异常点等扫描缺陷，增加了预测和压缩的复杂性。另外，人类网格通常结合刚性和非刚性运动，使得准确的预测和编码比纯刚性运动的对象更加困难。
为了解决所述挑战，美国加州大学团队提出了一种针对真实世界扫描的人体动态网格设计的压缩方法，并利用了嵌入式关键节点。每个顶点的时间运动表示为来自相邻关键节点的变换的距离加权组合，只需要传输关键节点的变换。
为了提高关键节点驱动预测的质量，研究人员引入了基于八叉树的残差编码方案和双向预测模式。大量的实验表明，所提出方法比目前的方法有了显著的改进，在评估的序列中平均比特率节省了24.51%，特别是在低比特率下。
3D动态网格固有的深度和多种视角有助于丰富各种应用的体验，如虚拟现实。扫描的三维人体动态网格具有特殊的意义。它们使人类运动的真实表现和共享成为可能。由于经济实惠的扫描技术的进步，这种能力越来越容易获得，并且正在从娱乐和训练模拟到医疗保健和通信等广泛的应用发展。
然而，网格的巨大存储和传输需求需要有效的压缩技术，以保持扫描人体网格的结构完整性和运动保真度。
与使用图形设计软件创建的合成动态网格（通常具有固定拓扑和定义良好的结构）不同，真实世界的扫描人体网格呈现出独特的挑战。它们的拓扑结构经常在不同帧之间变化，随着顶点数量、连通性和对应性的变化而变化。
另外，扫描网格经常存在孔洞、噪点和异常值等缺陷，这增加了预测和压缩的复杂性。开发能够有效解释这种时空变化的方法是一项关键的研究挑战。
由于刚性运动（通常用于手臂和腿）和非刚性运动（通常用于躯干，手指和衣服）的组合，人体网格引入了挑战。与刚性物体不同，人体运动涉及复杂的变形和细粒度运动，需要更复杂的建模来实现准确的预测和有效的压缩。
美国加州大学团队早期的研究证明了在真实世界扫描的动态人体网格中使用稀疏关键节点捕获时间运动的潜力，而这项新研究则通过提高压缩效率和时间预测的新技术来显著扩展之前的框架。
具体来说，通过显式量化关键节点驱动的运动向量和通过传输符合柯西分布的 Huffman dictionaries来优化熵编码，从而实现更好的压缩率。另外，团队提出了基于八叉树的残差编码来提高几何预测精度，并引入了双向预测模式，使动态人体运动随时间的建模更具适应性。
为了解决不一致拓扑的挑战，消除对显式顶点对应的需要，KeyNode-Driven Compression方法利用嵌入式关键节点来表示运动向量，同时确保有效的压缩。每个顶点的时间运动表示为其邻近关键节点变换的距离加权组合。从帧t - 1的几何形状开始，使用嵌入的关键节点通过嵌入变形来预测帧t的几何形状，其中帧t - 1的几何形状被变形以估计帧t的几何形状。
由于关键节点通常是稀疏的，运动向量是量化的，所以会出现预测误差。为了解决所述问题，采用基于八叉树的残差编码来改进帧t的预测几何形状。在序列层面，使用双向预测模式增强了预测过程。
相关论文：KeyNode-Driven Geometry Coding for Real-World Scanned Human Dynamic Mesh Compression
团队主要介绍了一种有效的方法来压缩真实世界扫描的三维动态人体网格，利用嵌入式关键节点及其变换来不红顶点的时间演变。他们提出的策略将每个顶点的时间变化作为关键节点变换的加权组合来计算，从而促进运动的全面表示。
关键节点驱动方法通过有效地处理帧之间的拓扑变化和适应扫描缺陷来解决动态人体网格压缩的挑战。通过使用稀疏的关键节点，所提出方法准确地捕获和表示了人体运动的复杂性，实现了高效的压缩。
为了提高关键节点预测的质量，团队提出了一种基于八叉树的残差编码方案和一种双向预测模式来进一步改进时间预测。与V-DMC相比，所提出方法在几何编码方面具有明显的优势，特别是在慢动作序列类别中。对于Fast Motion和Join/Split序列，所述方法表现出相当的性能。相关结果突出了所提出方法在处理不同拓扑和扫描缺陷方面的有效性，同时强调了在快速运动的人体动态网格中准确预测p帧几何形状的挑战。
