Facebook展示Oculus Rift 全身动捕技术，从骨架到肌肉、毛发、服饰
查看引用和消息源请点击：映维网
非常突破性的进步
（映维网 2019年05月05日）Oculus Rift S在今年游戏开发者大会GDC上发布之后迎来了一些从业者的质疑声，因为他们希望看到的是备受期待的Rift 2，而不是一款Oculus Rift改进版。面对这种情况，Oculus在采访回应中解释说Oculus Rift 2太具颠覆性而不适合现在推出。
在这些采访回应中，Oculus也透露说第二代VR头显应该具备全身动捕追踪功能，言下之意Oculus Rift 2可能会具备这些功能。这显然有点不可思议，因为当下的全身动捕追踪技术非常笨重庞大，需要大量的外部设备，如惯性传感器、马克点标记等等。而且相对于一款消费者设备，当前市面上的动捕系统都是面向企业端，定价高达数万数十万。
1. Facebook无标记动捕
然而这种疑问都在今年的Facebook F8大会上被挥去，因为Facebook正式介绍了他们的解决方案，而这有望颠覆全身动捕市场。在Facebook F8大会的第二天主题演讲中，Oculus公司的Research Supervisor Ronald Mallet登台介绍了这一研究成果。
Ronald Mallet说：“我们的Codec Avatar技术在捕获面部方面实现了突破性的逼真感，但真正的人类交流需要完整的身体语言。”
Ronald Mallet表示现有的动捕技术扩展至VR面临多个挑战，需要大量的硬件，大量的人工，大量的数据，以及大量的时间来打造一个虚拟化身，这导致动捕技术难以扩展并广泛地用于VR，并且不能允许用户定制自己的虚拟化身。
为了解决这个挑战，所以Facebook开发了一种无标记的动捕技术，在有限的传感器数量下，利用人工智能技术来复刻完整的身体运动。那他们又是怎么做到的呢？
2. 设计人体骨架模型
Ronald Mallet说：“你的大脑控制着肌肉，肌肉驱动着骨骼，骨骼反过来又驱动组织和皮肤以及表面的衣物，骨骼反过来又驱动组织和皮肤以及表面的衣物。所以为了用有限传感器的数据来复刻所有这一切，并且渲染完整的3D虚拟化身，我们需要采用一个复刻人体解剖学的身体模型。这个模型需要完全自动地适配任何一个人，并且需要基于真实的人类行为。”
为了打造这个模型 他们首先研究了医学刊物，并且利用了先进的医学成像参考，然后再设计符合解剖结构，并且有着合理接合和自由度的人体骨架。
Ronald Mallet说：“这个模型比传统动画制作中的模型要复杂得多，你可以想想要做到专注于你的微妙姿势。你的肩胛骨是如何运动，你的臀关节又是如何运动，或者你的关节是如何伸展。接下来我们匹配这个骨架和用户身体结构，并且实时地将其制作成动画，当用户四周走动时模型能够继续适配用户，并且忠实地复刻用户的运动。”
3. 捕捉肌肉活动
但这并不够，Oculus认为没有肌肉表现可能会让虚拟化身有点诡异，所以他们还复刻了肌肉活动的实时追踪，并展示了对Oculus研究员Tony的一段演示视频。
Oculus表示该演示只采用了 1 个传感器进行捕捉
Ronald Mallet继续解释说：“令骨架表达出情感的是肌肉，肌肉运动对理解行为和意图非常关键。所以这个片段是用于说明对Tony肌肉活动的实时追踪。但要做到这一点，我们利用了他身体的惯性以及骨骼肌肉系统，来帮助我们预测和平滑化他的运动。要创建逼真的身体，建模肌肉收缩时出现的变形同样重要。”
4. 捕捉服饰、毛发
不仅仅是对人体的骨架的全身追踪，Oculus表示对人体身上的服饰、毛发的逼真还原同样重要。
Ronald Mallet说：“我们采用了视觉观察法来推断身体几何，并且重构其形状。然后我们应用了基于物理的模型来重构实际的衣服变形，而且我们需要逼真地匹配人们的真实服饰。”
5. 未来挑战
Ronald Mallet所展示的这一切都无需动捕套装或标记，而且是实时进行的。只需有限的硬件进行捕捉，这是非常突破性的进步。但面对大众消费市场，这个解决方案还存在延迟问题。
Ronald Mallet解释说：“你可以想象，延迟是关键。在将其变成可行的产品之前，这是我们需要克服的一大挑战。我们同时需要一种只利用现有传感器，即可允许用户轻松生成虚拟化身并实现动画化的方法。”
---
PS：有反馈标题用『2』有问题，我很高兴收到这样的反馈。但我可以解释下，对于这个标题我是有顾虑的。首先『2』是有这种可能性，文章第二段已经解释了，其次我是希望用『2』来强烈提醒对后面VR发展形态有点点迷茫的头显、动捕等相关厂商，提供一个思考的方向。相信大家都希望行业能蓬勃竞争发展。等Oculus的这套技术完全推上市场后，我也不想看到相关厂商发现他们毫无反抗之力了。
