Facebook演示最新手部交互成果：交叉遮挡下的精确手势判断
追踪存在自接触和自遮挡的手势
（映维网 2020年12月28日）手部追踪是FRL Research旨在提升技术交互亲民度的研究课题之一。从VR头显到AR眼镜，团队正在构建下一个能够让更多人受益的计算平台。手部追踪技术提供了最为熟悉自然的人机交互方式：裸手交互，从而为更多的人打开了沉浸式计算的大门。
有关注映维网分享的小伙伴应该知道，Facebook迄今为止已经展示了一系列的研究进展。今天映维网要再向大家介绍FRL Research在SIGGRAPH Asia大会分享的一篇手部追踪论文。
名为“Constraining Dense Hand Surface Tracking with Elasticity”的论文主要介绍了一种基于弹性约束的密集手部曲面追踪技术。
我们人类通过双手执行的一系列动作都涉及自接触和自遮挡，如握手、握拳，或者在思考时的交叉手指。这样的用例说明了通过自接触和自遮挡来实现手部追踪的重要性。
但是，现有的追踪方法方法并不是为了处理普通手势所表现出的有限自接触和自遮挡而设计。通过扩展基于视觉的追踪和基于物理的动画的最新进展，FRL Research提出了一个能够通过高度自接触和自遮挡手势来追踪高保真手部变形的算法（适用于单手和双手）。
通过将基于视觉的追踪算法与基于物理的可变形模型相结合，研究人员获得了一种对普遍存在的自交互和常见手势所表现出的大量自遮挡具有鲁棒性的算法，从而允许追踪双手交互和高挑战度的人手配置。
Facebook认为不仅要在手势清晰易明的情况下实现手部追踪，同时要在存在遮挡的情况下精确地判断手势。
另一团队提出的Megatrack方案主要是通过一个虚拟手部骨骼模型来解决所述问题。但在实践中，这一过程尚不完美，特别是由于所使用的虚拟模型不能捕捉皮肤和肌肉的柔韧性和变形性。
由于手部的变形受物理定律约束，所以名为“Constraining Dense Hand Surface Tracking with Elasticity的论文提出了一种弹性3D模型。与Megatrack这样的骨骼模型不同，基于弹性约束的3D模型可以在摄像头无法覆盖的地方模拟变形。
具体地说，团队利用一个弹性体积变形模型和一个碰撞响应模型来约束基于视觉的追踪算法的求解空间，正则化整个手部几何结构和变形闭合区域。其余可见区域则根据多视角摄像头的视觉数据进行追踪。
为了通过变形物理模型来约束基于视觉的追踪方法，研究人员应用了手部的两种表示：模板表面网格和体积四面体网格。给定一个初始化模板网格，所述的追踪方案可以利用曲面网格的顶点最小化光度误差和几何误差，同时使用弹性变形能量和四面体网格定义的穿透避免项对整个手部几何体进行正则化。
为了实现表示之间的通信，团队在优化过程中添加了耦合项，并采用了一种在视觉项最小化和物理项冻结最小化之间进行交替的优化方法。这种交替过程允许研究人员使用最先进的优化技术进行基于视觉的追踪和基于物理的仿真，从而有效地最小化总能量。
FRL Research表示，所述方法能够追踪存在大量自接触和自遮挡的手势。
相关论文：Constraining Dense Hand Surface Tracking with Elasticity
简单来说，基于弹性约束的3D手部模型提供了接近真实手部弹性的物理特性。手部的可见区域由摄像头捕捉追踪。当遮挡发生时，追踪系统则会从基于弹性约束的3D手部模型导出变形和碰撞。通过两者的整合，系统可以追踪一系列存在自接触和自遮挡的手势情况。
当然，所述方案需要124个摄像头、一个Intel E5-2698和一个Nvidia Tesla V100。所以它暂时应该无法用于Facebooks的VR/AR头显。另外，团队承认，即便是这样先进的硬件，误差错误都会时不时地出现。
然而，相关研究、吸取的经验教训和追踪数据可以在将来用于改进基于KI的模型，如Megatrack。
除了虚拟现实和虚拟现实，研究者们同时认为所述系统在电影CG、社会科学或医学中的肢体语言研究、身体康复方面存在进一步的应用。
