让化身更逼真,同步面部表情进VR
Facebook 和研究员们携手把你微笑和皱眉的表情传输到虚拟现实世界。
为什么这很重要?
自然地接受虚拟现实肢体的技术会使仿真世界变得更流行、更有用。
该软件把来自跟踪人脸的上部和下部的传感器的数据结合起来,然后把结果放在一个三维人脸模型上。
虚拟现实技术将从现实社会获取重要的数据。
南加州大学的研究人员以及Facebook的Oculus 公布了一个跟踪记录戴着虚拟现实头戴显示器的人的面部表情以及把这些表情传输到一个虚拟的人物身上的方式。这可以为虚拟世界的社交、工作以及游戏带来更多的福利,因为虚拟人物的表情或者虚拟的模型可以非常完美地模仿人的真实表情。
该系统用一个靠短臂连接头戴显示器的三维摄像机来跟踪记录人嘴巴的运动。脸的上半部分的运动是通过安装在泡沫垫上(让头戴显示器跟脸更贴合)的应变传感器来记录的。把这两部分的数据结合起来后,就能得到用户的精确的三维脸部运动过程,而且不管是假的人还是其他非人类的东西,都可以把数据用在虚拟人物的动画中。
南加州大学的助理教授 Hao Li说:“这将使得沉浸虚拟现实世界以及在虚拟世界中互动更吸引人。这是第一次用头戴显示器来展示面部跟踪记录。”Li 被评为2013年MIT Technology Review 的年轻创新者。
Facebook的首席执行官 Mark Zuckerberg虽然没有透露任何细节,但是他说他对Oculus Rift头戴显示器提出的新的社交方式很感兴趣。该社交网络去年收购了Oculus。
Li 说和他一起合作的研究员们只是把它当作一个研究项目,但是改善他们创造的系统,让它成为一件商业化的产品并不是件难事。他还说:”如果人们认为它是杀手级应用程序的中的重点,那么就可以相对快地进行生产。
之前创建了Second Life 现在是一个叫做 High Fidelity 的虚拟现实世界的新公司的首席执行官 Philip Rosedale 说:“这真是太酷了。”该公司正致力于通过网络摄像头和其他的传感技术促成现实的虚拟社会互动来跟踪记录人的面部表情以及手臂、手的动作。
Rosedale说我们有充分的理由证明,用人模型来展示人们真实世界里的肢体语言可以帮助他们与其他人在虚拟世界里往来。他同意Li 说的,它可以为这个概念提供简化的证据。例如,摄像头可以安置在头戴显示器的底部。研究人员和新成立的公司都努力把追踪的摄像头内置于虚拟现实头戴显示器中,这可能可以为收集上半部分脸的数据提供另一可选择的方法。
Li的系统的关键在于它的软件能把来自跟踪人脸的上部和下部的传感器的数据结合起来,然后把结果放在一个三维人脸模型上。
现在,当你第一次使用该系统的时候,它会让你浏览简单的校对过程。首先,当你戴着一个拆掉显示器部分且前面带有三维摄像头的头戴显示器时,给你的面部肌肉10秒钟的时间摆不同的表情。这样就可以拍下你面部的全貌。接着戴上完整的头戴显示器,然后再给你的脸10秒时间。收集到的数据有助于该软件把你脸的上部和脸的下部的数据正确地结合在一起。
Li 说他正在解除为他的软件提供更多不同人脸的数据的步骤。他也在研究其他能够让在虚拟世界里看到一个更真实的你变得更简单的技术。人们用常规的以及三维的摄像机开发了许多的工具来进行人体和面部的三维复制。Li 最近创建了一个系统,该系统解决了更具有挑战性任务——创造出一个真实的三维发型复制。他的软件可以只用一张照片就可以完成任务。该项目以及面部跟踪记录研究今年八月都将在洛杉矶的Siggraph computer graphics conference 上推出。
VIA technologyreview