Meta专利:用机器学习+反向运动学进行全身姿势预测推算

PICO 4 Ultra

查看引用/信息源请点击:映维网Nweon

两份发明原理一样,都是利用机器学习模型和反向运动学来预测关节并推断全身姿势

映维网Nweon 2022年03月19日)对于好莱坞式的精确全身动捕技术,相关的设置成本相当高昂和繁杂。尽管负责Reality Labs事业群的准Meta首席技术官安德鲁·博斯沃思(Andrew Bosworth)先前表示Quest 2当前的内向外追踪无法支持全身动捕,而且未来更加难以实现,但这家公司依然在积极地进行探索,并希望能够早日研发出用于消费者头显的全身动捕技术。

日前,美国专利商标局就公布了名为“Systems and methods for predicting elbow joint poses”和“Systems and methods for predicting lower body poses”的Meta专利申请。其中,两份发明的原理一样,都是利用机器学习模型和反向运动学来预测关节并推断全身姿势。

由于关节肌肉在人体运动期间存在一定的关联对应性,所以系统可以根据反向运动学骨骼模型,通过对一个关节姿势的确实来预测推断其他关节,然后再整合成一个完整的身体姿势。

简单来说,对于肘关节姿势预测,设备可以确定头部姿势并通过摄像头捕获前臂/手腕图像,然后由经过训练的机器学习模型根据所述信息及前臂/手腕和肘部的肌肉关节对应关系来预测推断肘关节的姿势。

对于全身姿势预测,可以首先通过前述方式并根据头部和前臂/手腕捕获图像预测推断整合上半身姿势,然后经过训练的机器学习模型可以根据上半身姿势来预测推断整个下半身姿势。最后,系统整合上半身和下半身的姿势。

Meta专利:用机器学习+反向运动学进行全身姿势预测推算

图2是与用户102相关联的示例身体姿势。其中,计算系统108可以生成与用户102相关联的身体姿势200。身体姿势200包括反向运动学的骨骼帧,后者可包括一个或多个关节的列表。在特定实施例中,身体姿势包括与用户102相关联的一个或多个关节的关节姿势,例如但不限于头部姿势210、手腕姿势220、肘部姿势220、肩部姿势240、颈部姿势250、上部脊椎姿势260、下部脊椎姿势270、臀部姿势280、膝盖姿势290或脚踝姿势295。

......(全文 1741 字,剩余 1079 字)

wx_mp

请微信扫码通过小程序阅读完整文章或者登入网站阅读完整文章
映维网会员可直接登入网站阅读
PICO员工可联系映维网免费获取权限

本文链接https://news.nweon.com/95365
转载须知:转载摘编需注明来源映维网并保留本文链接
素材版权:除额外说明,文章所用图片、视频均来自文章关联个人、企业实体等提供
QQ交流群苹果Vision  |  Meta Quest  |  AR/VR开发者  |  映维粉丝读者
XR Research Wechat Group/微信群

您可能还喜欢...

资讯