Meta VR研究称能准确流畅预测全身运动，尤其是下半身运动
根据给定的稀疏上身追踪信号（头和双手）来实现全身追踪，亦即头显追踪的头部运动，以及控制器追踪的双手运动
（映维网Nweon 2023年02月24日）目前大多数基于VR一体机的Avatar系统都没有下半身，一个重要的原因是，尽管设备能够通过内向外追踪实现头部和双手的动捕，而这又使得估计手臂和胸部的位置相对容易，但系统难以判断你的腿、脚或臀部位置，所以今天的Avatar一直都是缺失下半截。
所以，行业一直在探索各种解决方案。例如，Meta早前的一份研究就提出了基于AI的纯头显全身Avatar动捕方案，无需任何光学标记。
在另一篇论文中，Meta的研究人员又提出了另一种为Avatar长出双腿的方法AGRoL。据介绍，这是一种全新的条件扩散模型，专门用于根据给定的稀疏上身追踪信号（头和双手）来实现全身追踪，亦即头显追踪的头部运动，以及控制器追踪的双手运动。所述模型使用了一个简单的MLP架构和一种新的运动数据调节方案，从而能够准确流畅预测全身运动，尤其是具有挑战性的下半身运动。
人类是AR/VR应用的主要参与者。所以，能够追踪全身运动是所述应用的一大需求。常见的方法只能准确地追踪上身，而全身追踪可以解锁引人入胜的体验，增加用户的临场感。但在典型的AR/VR设置中，缺乏对完整人体的强烈追踪信号，只有头和手通过嵌入头显和控制器中的惯性测量单元传感器进行追踪。对于理想情况，我们希望使用大多数头显提供的标准三输入（头和双手）来实现高保真全身追踪。
考虑到头和手的位置和方向信息，预测全身姿势，尤其是下半身，其本质是一个欠约束的问题。为了解决这一挑战，一系列的方法依赖于生成性模型。在这个领域，扩散模型在图像和视频生成中显示出令人印象深刻的结果，特别是对于条件生成。这促使Meta使用扩散模型来生成基于稀疏追踪信号的全身姿态。
当然，在这项任务中使用扩散模型并非易事。具有扩散模型的条件生成方法广泛用于跨模态条件生成。遗憾的是，考虑到数据表示的差异，例如人体关节特征与图像，所述方法不能直接应用于运动合成任务。
在名为《Avatars Grow Legs: Generating Smooth Human Motion from Sparse Tracking Inputs with Diffusion Model》的论文中，Meta提出了一种全新的扩散架构Avatars Grow Legs（AGRoL），并专门针对条件运动合成任务而设计。
......（全文 2459 字，剩余 1631 字）
