Facebook为VR研究基于马克点的手部追踪系统

小编 ovaliu | 分类：快讯 / 论文 | 2018年7月5日

加入映维网会员

文章相关引用及参考：映维网

尽管不是面向消费者，但Facebook的系统可以作为“时间机器”来研究AR/VR交互原型的可用性

（映维网 2018年07月05日）光学动捕是目前普遍采用的高精度，高帧频动捕方法。对于可以提供高达2000Hz可靠亚毫米精确追踪的商业系统，这能够支持特效，游戏，VR/AR，可用性研究和生物力学等领域的应用。值得注意的是，实时全身动捕技术使得游戏和电影的虚拟制作应用成为可能。但当涉及到精细灵巧的手指动作时，即使是在精巧的捕获环境，目前任何商业或学术软件都无法产生类似的实时追踪结果。

图1：基于马克点的手部追踪系统，包括双手和手-物交互。Facebook演示了一种新颖的马克点标记与追踪系统，可以在包含频繁遮挡的交互场景中实现全自动的实时的手势预测。标记为左手和右手的马克点分别渲染为橙色和蓝色球体，而与预定义刚体相关联的马克点则渲染为绿色球体。

基于光学马克点的动捕是为特效，电影和游戏带来高保真人体动画的主要方式。但是，由于难以在自相似的手指上自动识别（或标记）相同的马克点，因此动捕在人手方面的应用十分有限。Facebook 提出了一种技术：将标记问题架构为有助于采用卷积神经网络的解决方案的关键点回归问题，并演示了这种标记解决方案对遮挡，重影马克点，手形，以及涉及双手或手持物体动作的稳定性。Facebook表示，该技术同样适用于稀疏或密集型标记集，并且能够实时运行以支持高保真手部追踪的交互原型和虚拟现实中的手部临在。