Facebook演示VR虚拟化身的逼真眼神、表情组合，探索化身角色眼神交流

编辑：广东客 | 分类：快讯 / 论文 | 2020年7月6日

实现一系列逼真的眼神+表情组合

（映维网 2020年07月06日）远程面对面交互对于工作、娱乐和人机关系都十分重要。尽管这种面对面的交互可以通过2D视频会议或虚拟现实实现，但远程呈现系统无法正确呈现眼神接触和社交注视信号的交流。有人曾提出通过在2D视频会议中重定向视线来实现眼神交流，但2D视频会议缺乏真实生活中的3D沉浸感。

为了解决所述问题，Facebook开发了一种虚拟现实面对面交互系统，并专注于再现逼真的注视信号和眼神交流。为了做到这一点，团队构建了一个可通过VR头显摄像头制作动画的三维虚拟化身模型，从而在虚拟现实中精确地追踪和再现人类的注视信号。

这项研究的主要贡献包括：一个可共同学习，并能够更好地表示注视方向和上面部表情的3D人脸和眼球模型；一种将左右眼注视从彼此和面部其他部分分离开来的方法，从而令模型能够代表前所未见的眼神和表情组合；以及一个用于支持头显摄像头构建精确动画的注视感知模型。定量实验表明，这一方法可以获得更高的重建质量，而定性结果显示所述方法可以大大改善VR虚拟化身的临场感。

VR虚拟化身都是对应真实的实时CG渲染。简单来说，Facebook的方法将眼球和人脸分离，并单独控制渲染，最后再整合配准，从而实现一系列逼真的眼神+表情组合。