Meta专利：用机器学习+反向运动学进行全身姿势预测推算
两份发明原理一样，都是利用机器学习模型和反向运动学来预测关节并推断全身姿势
（映维网Nweon 2022年03月19日）对于好莱坞式的精确全身动捕技术，相关的设置成本相当高昂和繁杂。尽管负责Reality Labs事业群的准Meta首席技术官安德鲁·博斯沃思（Andrew Bosworth）先前表示Quest 2当前的内向外追踪无法支持全身动捕，而且未来更加难以实现，但这家公司依然在积极地进行探索，并希望能够早日研发出用于消费者头显的全身动捕技术。
日前，美国专利商标局就公布了名为“Systems and methods for predicting elbow joint poses”和“Systems and methods for predicting lower body poses”的Meta专利申请。其中，两份发明的原理一样，都是利用机器学习模型和反向运动学来预测关节并推断全身姿势。
由于关节肌肉在人体运动期间存在一定的关联对应性，所以系统可以根据反向运动学骨骼模型，通过对一个关节姿势的确实来预测推断其他关节，然后再整合成一个完整的身体姿势。
简单来说，对于肘关节姿势预测，设备可以确定头部姿势并通过摄像头捕获前臂/手腕图像，然后由经过训练的机器学习模型根据所述信息及前臂/手腕和肘部的肌肉关节对应关系来预测推断肘关节的姿势。
对于全身姿势预测，可以首先通过前述方式并根据头部和前臂/手腕捕获图像预测推断整合上半身姿势，然后经过训练的机器学习模型可以根据上半身姿势来预测推断整个下半身姿势。最后，系统整合上半身和下半身的姿势。
图2是与用户102相关联的示例身体姿势。其中，计算系统108可以生成与用户102相关联的身体姿势200。身体姿势200包括反向运动学的骨骼帧，后者可包括一个或多个关节的列表。在特定实施例中，身体姿势包括与用户102相关联的一个或多个关节的关节姿势，例如但不限于头部姿势210、手腕姿势220、肘部姿势220、肩部姿势240、颈部姿势250、上部脊椎姿势260、下部脊椎姿势270、臀部姿势280、膝盖姿势290或脚踝姿势295。
1. 肘关节及上半身姿势
图3A是头显摄像头在其有限视场内捕获的手臂图像。其中，102为用户左臂，106为左臂握持的控制器。
在图3B中，系统可以利用诸如Mask R-CNN等技术来生成分割掩模并划分多个区域。分割掩模可以表示为二维矩阵，每个矩阵元素对应于输入图像中的像素。
在一个实施例中，系统可以利用非线性运动学优化解算器来推断一个或多个关节姿势。例如，非线性解算器可利用骨架解算器功能来推断反向运动学的单个帧（单个身体姿势）。
在特定实施例中，非线性解算器可使用参数和预定静态权重来推断身体姿势200，其推断用户102的关节在特定时间或状态的最可能姿势。推断的身体姿势可以包括用户102的一个或多个关节的姿势，例如肘关节230。
在特定实施例中，图像数据和分割掩模可用于评估非线性解算器推断的一个或多个中间关节姿势的准确性，并随后更新非线性解算器以在后续迭代中更准确地预测一个或多个关节姿势。例如，非线性解算器可以接收一个或多个输入并推断一个或多个关节的中间姿势，例如肘关节姿势。
利用前述的原理，系统可以根据头部姿势和前臂/手腕图像信息来肘关节姿势并推断整合上半身姿势。
2. 下半身半身姿势
正如前面所言，人体关节肌肉之间存在一定的关联对应性，所以在通过上述方式推断整合出上半身姿势后，经过训练的机器学习模型可以进一步根据上半身和下半身的关联对应性，以推断整合出的上半身姿势作为输入，然后推断包含双腿的下半身姿势。最后，系统可以整合上半身姿势和下半身姿势。
如图3所示，在特定实施例中，可以通过使用经过训练的机器学习模型来处理上半身姿势205，并根据对应关系来生成下半身姿势215。图3示出了利用输入的上身姿势生成下身姿势。具体而言，经过训练的机器学习模型300可以基于生成性对抗网络（GAN）并利用上半身姿势205来生成下半身姿势215。然后，计算系统可以将生成的上半身姿势205与生成的下半身姿势215相结合。
图4示出了用于训练生成对抗网络（GAN）400进行姿势预测的配置。GAN可以包括两个独立的神经网络，一个Generator405（“G”）和一个Discriminator 410（“D”）。在特定实施例中，Generator405和Discriminator410可以实现为神经网络。
Generator405可配置为接收生成的上身姿势205作为输入，并输出生成的下身姿势215。在特定实施例中，上半身姿势205可与下半身姿势215组合以生成全身姿势425。在特定实施例中，Discriminator410可以配置为在区分由Generator405推断生成的“假”全身姿势425和来自训练姿势数据库440的“真”训练姿势435。在特定实施例中，一个或多个训练全身姿势435可包括来自一个或多个图像的全身姿势。
Generator405和Discriminator410可以视为对手，因为Generator405的目标是生成可以欺骗Discriminator410的假姿势（换句话说，增加Discriminator410的错误率），而Discriminator410的目标是正确区分“假”姿势与“真”姿势。
通过经过训练的GAN，系统可以利用上半身姿势来推断下半身姿势。
相关专利：Facebook Patent | Systems and methods for predicting elbow joint poses
相关专利：Facebook Patent | Systems and methods for predicting lower body poses
名为“Systems and methods for predicting elbow joint poses”和“Systems and methods for predicting lower body poses”的Meta专利申请都是在2020年9月提交，并在日前由美国专利商标局公布。需要注意的是，这只是一份专利申请，不确定具体的效果，尤其是因为这是一种推断预测方法。
