Facebook论文详细分享Oculus Quest手部追踪技术细节
已经能够相当精确地追踪手部和手指的快速运动
（映维网 2020年09月11日）在今年6月举行的2020年计算机视觉和模式识别大会中，Facebook Reality Labs的首席科学家迈克尔·亚伯拉什通过视频介绍了团队的研究及相关进展。
其中，亚伯拉什展示了优化的手部追踪功能，并表示现在Facebook研发的系统已经能够相当精确地追踪手部和手指的快速运动。另外，他指出光学手部和手指追踪将成为空间计算机范式的重要组成要素。
相关团队在8月举行的SIGGRAPH大会展示了所述研究，并发布了具体论文。
以前大部分关于手部追踪的研究都集中在外部深度摄像头或RGB摄像头。深度摄影头可以提供2.5D点云的手部几何图像。然而，深度摄像头对硬件设计和电量使用提出了额外的要求。相比之下，RGB摄像头更容易集成，而随着深度学习技术的进步，它们的实用性同样在不断提高。所以，利用单一RGB摄像头和神经网络来预测手部姿态已经成为一个热门的研究课题。
Facebook Reality Labs主要提出了用于驱动虚拟现实和增强现实体验的实时手部追踪系统。利用四个鱼眼单色摄像头，系统能够生成精确和低抖动的三维手部。研究人员主要是通过用于检测手部和估计手部关键点位置的神经网络架构来实现这一点。
相关论文：MEgATrack: Monochrome Egocentric Articulated Hand-Tracking for Virtual Reality
手部检测网络能够可靠地处理各种真实世界的环境，而关键点估计网络则利用追踪历史来产生时空一致的姿态。团队同时设计了可扩展的半自动机制，通过手动注释和自动追踪相结合的方式来收集大量不同的ground truth数据。
另外，研究人员引入了一种追踪检测的方法，在降低计算成本的同时提高了平滑度。优化后的系统在PC端能够以60Hz的速度运行，而移动处理器则是30Hz。
......（全文 1907 字，剩余 1297 字）
