Facebook展示『未来虚拟社交』最新研究成果,令AR未来更接近现实
“我们相信,未来将能以轻便的全天佩戴型AR眼镜形式实现。”
(映维网 2019年09月26日)今天的虚拟现实允许我们探索数字化的世界并在其中与朋友互动,而当前的增强现实则支持我们通过智能手机创建和共享全新的体验。Facebook Reality Labs (FRL)的研究人员正在推动VR和AR领域的发展,而这项工作最终将能帮助我们把虚拟对象无缝叠加在现实世界之上,并增强我们的日常生活体验。这家公司表示:“我们相信,未来将能以轻便的全天佩戴型AR眼镜形式实现。”
在今天的OC6大会中,Facebook介绍了FRL的新一波创新,如映射技术和全身虚拟化身。这一系列的进步将能令由AR驱动的未来更加接近于成为现实。
1. 在VR中实现真正的社交临场感
首先,FRL正致力于在VR中实现比当今2D技术更深的联结感。他们指出:“我们的目标是令虚拟交互与面对面交互一样自然。我们将其称之为‘社交临场感’。这是一种基于3D的感觉,即使彼此之间相距遥远,但双方依然感觉大家共存于同一个空间,并且能够无缝,轻松地交流各自的想法和情感。”为了在VR中实现这一目标,我们需要可以忠实地再现面部表情,手势和声音的逼真虚拟化身。
2. 全身式Codec Avatars
Facebook于今年年初分享了关于Codec Avatars的研究。这种栩栩如生的虚拟化身可以实时进行动画制作,从而为VR带来了轻松,实时的无脚本交互。两人能够仿佛身处于同一个物理房间中,并且自然地通过逼真虚拟化身进行交流只是第一步。
在这个视频中,头显中的传感器可以测量技术项目经理丹妮尔·贝尔科(Danielle Belko)和研究科学总监亚瑟·谢赫(Yaser Sheikh)的面部表情。然后,相关测量值会实时转换为音频和视觉信号,并且完美地映射出对方的形象,动作和声音。
但是,实现真正的社交临场感不仅仅需要面容表情。肢体语言对于我们的沟通同样重要。所以,今天FRL团队证实介绍了全身式Codec Avatars。尽管短期内你无法在消费类产品中看到这项技术,但我们可以想象这样一个未来:你我将能够通过数个自拍来创建自己的超现实虚拟化身,然后头显能够实时制作动画。显然,未来将迎来全新的全身沉浸式VR浪潮。
3. VR中的共享空间
诸如客厅或办公室环境的空间对我们的生活至关重要。Facebook希望将其带到虚拟现实,从而允许用户在自己所关心的地方度过时光。所以,这家公司正在大力创建尽可能逼真的现实世界3D模型。
FRL在今年六月展示了最新的现实环境3D模型,并向研究社区发布了18个空间的数据集。这种模拟环境捕获了房间的细微细节,如镜面反射和地毯纹理,而这是令它们与真实物体几乎无法区分的必要条件。Facebook指出:“通过将高精度的深度捕获系统,最新的即时定位和地图构建(SLAM)技术,先进的摄影头,以及密集的重建系统相结合,我们能够在VR中达到前所未有的保真度。”
在今年的OC6大会中,FRL演示了相关的3D建模技术。其中,两人可以使用Oculus Avatars共同出现在3D重建空间中,并且一起看欣赏视频或开玩游戏。他们指出:“这是人们第一次在个性化3D环境中共享体验,而这是激动人心的未来一瞥。”
在这个视频中,Facebook AR/VR副总裁安德鲁·博斯沃斯及其父亲正在后者的公寓3D模型中一起观看勇士队的比赛。
Facebook展示的重建是用3D定位算法和特殊的深度感应摄像头所创建,同时属于研究阶段的概念证明。尽管这项技术尚不完善,但团队正在探索如何支持用户在将来重新创建自己的个人空间。
4. 将技术整合在一起,将你我聚集在一起
在上面的空间共享视频中,逼真的空间中出现了卡通画的Oculus Avatar。但是,当将超逼真的全身式Codec Avatar置于超逼真的环境中,甚至是未来的个性化环境中时,事情就会变得令人兴奋起来。这能够实现真正意义上的传送,任何人都可以与自己珍视的人共聚在一起。想象一下,你可以加入地球另一端的家庭聚会。VR同时具有实现远程工作的潜力,它可以为你提供协作工具:PC显示器质量的虚拟屏幕,全息图和白板。你同时可以自由进行配置,而这在现实世界中所不可能实现的事情。这将会对我们的生活产生巨大的积极影响:消除通勤需要,并且改变我们的协作和创造方式。
这项研究同时可对AR眼镜产生影响。在未来,AR眼镜将为你带来无数的可能性,包括在旅途中随时随地进行传送。这样一来,这将允许你与任何位置的任何人保持联系并建立深入的关系。实际上,利用自己的虚拟化身,你可以传送至世界任何一个角落。当然,这将需要更大规模地虚拟化不同的空间,而FRL的研究团队已经开始着手应对这一挑战。
5. LiveMaps
FRL研究团队正在开始构建将为明天的AR体验奠定基础的核心基础架构。
如何实现呢?请联想前面所说的3D空间,并想想未来它将能够在整个地球中实现。利用机器视觉和SLAM技术,LiveMaps可以创建共享的虚拟映射。为了实现这种规模的技术,FRL团队设想LiveMaps将依靠未来智能设备捕获的众包信息。为了填充第一代映射,研究人员正在探索对Facebook的园区进行映射绘制,以及采用包含地理标签的公共图像来生成点云(这是当今导航地图中常用的技术)。
AR眼镜未来将能利用这种3D映射,无需实时重建周围环境。这意味着你的眼镜将能大幅降低计算功耗,亦即移动芯片组足以支持其运行。有了这种3D空间,你的虚拟化身就可以传送到世界任何地方。
除传送之外,LiveMaps未来将能支持你搜索和共享有关物理世界的实时信息。届时,强大的人工助手将能够立即为你带来与位置相关的个性化信息。它同时将为你提供一个叠加图,允许你将虚拟内容锚定在现实世界中。
这支团队指出:“我们依然处于研究阶段,但的我们愿意公开这项研究,并且分享我们在AR眼镜开发过程中取得的进展。我们同时会考虑如何在保护隐私的情况下继续推进这项研究,并邀请全球专家提供关于最佳时间,以及人们如何保留自己对信息的控制的反馈。这项技术可能会从根本上改变人类未来的联结方式,而我们很高兴看到它给我们指明的发展方向。”
6. 从VR头显到AR眼镜
Facebook最后指出:“我们经常将VR和AR看作是两个不同的计算平台,但它们实际上只是硬币的两面。虚拟现实将我们沉浸在一个数字世界中,允许我们忽略地理的界限,同时发明一个个新世界。增强现实则将虚拟对象添加至我们对真实世界的感知之中,从而提升我们的日常体验。当结合起来时,它们正在重新发明我们与世界交互,与彼此联结的方式。”