卡内基·梅隆大学探索基于控制器的内向外追踪全身动捕解决方案
他们瞄准的方向是用户的下半身追踪，而不是控制器定位
（映维网Nweon 2022年05月05日）目前，诸如Quest 2等VR一体机通常是基于头显端的内向外追踪来追踪控制器（或用户的双手）：头显端的摄像头寻找控制器（通常带有红外LED），并使用它们的位置来映射它们相对于头显的移动。
尽管这种方法有效，但前提只控制器需要位于头显摄像头的视场之内。这意味着，如果控制器过于脱离摄像头视场，头显就会丢失控制器的追踪。
所以，行业开始把目光投向一种特别的解决方案：控制器本身配备用于内向外追踪的摄像头。以这种方式，无论控制器位置何在都可以实现定位。
例如，早前有消息称将于今年发布的Magic Leap 2和Project Cambria都会为控制器采用内向外追踪的方式。
卡内基·梅隆大学的未来界面小组（ Future Interfaces Group）同样有就控制器内向外追踪方案进行了探索。有趣的是，团队是基于Quest 2的控制器进行了测试，而且他们瞄准的方向是用户下半身的追踪，而不是控制器定位。
简单来说，由于用户一般都会在身前抬起双手并握持控制器，所以与难以“看到”用户下半身的头显摄像头相比，控制器搭载的用户朝向摄像头可以覆盖追踪用户下半身。
尽管并非没有限制，而且性能效果方面尚不完美，但它能够支持用户在虚拟现实中执行跺脚、下蹲、弓步等一系列的腿脚交互。
尽管内向外追踪的性能已经足以在头显、控制器和双手追踪方面取代外向内追踪，但由于视场覆盖问题，全身动捕一直以来都是依靠外向内的追踪设置来实现。
诸如Quest 2这样的一体机目前能够通过内向外追踪实现头部和双手的动捕，而这又使得估计手臂和胸部的位置相对容易。但头显难以判断你的腿、脚或臀部位置，所以今天的Avatar数字人一直都是缺失下半截。
尽管有人建议可以通过计算机视觉和算法技巧来估算双脚的位置，但Meta首席技术官安德鲁·博斯沃思（Andrew Bosworth）早前就曾明确指出，考虑到摄像头位置（视场覆盖），实现起来非常困难，而且随着头显形状参数的不断小型化，问题将变得越发困难。
针对这个挑战，卡内基·梅隆大学把目光投向了用户握持的控制器。由于用户一般都会在身前抬起双手并握持控制器，所以与难以“看到”用户下半身的头显摄像头相比，控制器搭载的用户朝向摄像头可以更轻松覆盖追踪用户下半身。
团队将这种追踪方法称为ControllerPose。研究人员利用一系列基于腿脚交互的VR内容进行了测试，包括一个类俄罗斯方块游戏，曲棍球守门员（用脚来阻挡冰球），以及用脚来击砍方块的类《Beat Saber》游戏《Feet Saber》。
卡内基·梅隆大学表示：“今天的VR系统通常无法捕捉下半身的姿势。在大多数VR体验中，用户在俯视时往往看不到自己的虚拟双腿。这是因为大多数当代虚拟现实系统只捕捉用户头部和双手的运动。”
所以在这项研究中，研究人员考虑了另一种实用的方法来捕捉用户的身体姿势：将摄像头集成到已经存在电池、计算和无线通信单元的控制器之中。
对于VR会话，团队发现用户的双手/控制器在大部分时间（68.3%）里都位于身体前面。所以，他们希望可以利用这一事实来执行摄像头的内向外追踪，从而实现对用户身体的姿势捕捉，尤其是用户的下半身。
利用这种姿势捕捉方式，研究人员认为可以开启全新的和有趣的腿脚交互体验。例如，用户现在可以在虚拟现实中执行跺脚、下蹲、弓步和其他腿脚交互。另外，团队构建了一系列的演示应用以说明方法的潜力和可行性，例如用脚来击砍方块的类《Beat Saber》游戏《Feet Saber》。
结合头显端的头手追踪及数字人上半身渲染，这一系统可以提供包含下半身的全身动捕，平均3D关节误差为6.98厘米。
相关论文：ControllerPose: Inside-Out Body Capture with VR Controller Cameras
当然，研究人员强调在其他情况下这种姿势追踪将会失败，例如双手与前胸贴得太近，以及双手自然垂放在身体两侧等等。尽管这可以依赖基于IMU数据的反向运动学进行预测，但效果显然无法达致完美。
另外，团队坦诚这一追踪方案的性能不及外向内追踪或基于马克点的全身动捕，但他们相信所述系统依然存在一定的实用性，并可以为未来的内向外追踪全身动捕作出贡献。
