微软开源AR/VR 3D虚拟化身资源库Rocketbox
微软Rocketbox已作为一个开源库向社区开放
(映维网 2020年03月31日)随着微软Rocketbox作为一个开源库向社区开放,研究人员和学术界将能获得115个虚拟化身。所述开源库的虚拟化身特别注意了肤色、性别和年龄的多样性,以及着装和职业。
近年来,随着技术的成熟和成本的降低,虚拟现实正在变得流行起来。今天,我们可以通过头显传送到一个完全不同的世界中,一个完全虚拟的世界里面。在这个空间,我们越是探索,我们就越能发现新的环境。然而,虚拟现实体验的真实感在很大程度上取决于我们进入其中时自我代入感和他人代入感。这种意识是以虚拟化身的形式实现。我们对自己的虚拟化身的认同度有多高呢?我们周围的他人虚拟化身又有多逼真呢,它们是否符合环境的风格,表现出我们的期望,并对我们施以微笑呢?肯定的答案可以提升虚拟空间的可信度。所以,探索所述问题和其他问题的答案对于虚拟现实技术的持续进步非常重要。
为了赋能世界各地的研究学术机构进一步探索人们与其虚拟化身之间的关系,以及这如何影响用户在虚拟现实中与其他人的交互,微软打造了由115个虚拟化身组成的Rocketbox库,涵盖不同性别、肤色和职业,并将其作为一种可供免费研究和学术使用的公共资源。微软Rocketbox已经托管至GitHub。值得一提的是,2020年IEEE虚拟现实和3D用户界面会议(IEEE VR)于上周开幕,而微软在大会中分享了关于虚拟化身的研究报告,见下文介绍。
1. Rocketbox库的灵活性
这个库最初由Rocketbox Studios GmbH开发,后来由微软于2015年收购的Havok提供支持。Rocketbox库代表了10年时间的大量研究和原型制作。Rocketbox Studios于2005年发布了首批虚拟化身“Complete Characters”。在2010年至2015年,团队开发并发布了新一代的高精细虚拟化身“Complete Characters HD”。这就是微软现在公开的Rocketbox库。
这个库的虚拟化身支持rig,或者配备了内部骨架,从而允许轻松的动画化。微软表示,全球多家实验室已经在使用所述库的虚拟化身。
虚拟化身的设计是为了给研究人员提供所需的灵活性。例如,其几何设计可以方便地混合头部和不同的身体,以及混合和匹配不同的纹理元素和服饰。由于所有虚拟化身采用了相同的骨架配置,你可以为所有角色采用相同的动画集,无需进行繁琐的修改。诸如眉毛和嘴唇的面部动画将能匹配不同角色。由于这样的功能,以及角色的多样性和网格的选择性多分辨率,这个库已经成为一个流行的研究工具,并用于诸如VR、群组模拟和实时化身具现化等用例。
2. 化身具现化
化身具现化是虚拟化身的一个相关研究领域,而微软Rocketbox库的发布将能进一步为其提供支持。当你尝试在虚拟空间中观察自己的身体时,近眼显示器不仅遮挡了你对现实世界的感知,同时屏蔽了对大部分虚拟身体部位的视图。大多数虚拟现实应用依然采用这样一种模式,即用户基本没有可见的身体,没有实体,只看到握持控制器的浮动图像,从而产生一种幽灵般的感觉。之所以广泛采用这种模式,是因为它不会对“置身于另一空间的幻觉”产生太大的干扰。换句话说,用户依然会感觉自己仿佛置身于另一个新的空间。当前的虚拟现实技术在营造“似是而非的幻觉”方面做得不错,或者能够令用户相信在虚拟环境中的事件确实是在他们的周围发生。
然而,如果能够看到取代其身体的虚拟化身部位,以及部位能够随身体的运功而运动,这种幻觉会更加强烈,亦即真实感会大大加强。人们基本上更喜欢这样一种自由的体验。结果是,他们感受到的临场感会增加。研究表明,如果人工视觉体验的行为类似于大脑从其他感官获得的信息,我们的大脑可以灵活地接受。例如,如果虚拟化身能够匹配我们的真是动作,或者如果我们在触碰一个虚拟对象时能够感觉到类似真是世界的物理触感,我们的大脑会倾向于接受这个信号,并将虚拟化身认可为我们自己的身体。我们将这种效果称为“具现化”或“具身化”。
微软正在与全球合作机构和公司的代表对虚拟化身的具现化和其他应用进行全面的评估,并计划在未来发布名为《Importance of rigging for procedural avatars. Microsoft Rocketbox a public library》的论文。
3. IEEE VR 2020
除了开放Rocketbox库,微软同时在上周举行的IEEE VR大会中公布了自己的研究报告。
在最佳论文入围作品《The Self-Avatar Follower Effect in Virtual Reality》中,微软探索了身体的能动性时如何被破坏,以及人们如何有时会开始模仿其虚拟化身所做的事情。团队将其称为Follower Effect(跟随者效应)。这项项目是关于虚拟化身运动控制研究的一部分。在之前的实验中,微软发现大脑可能会接受运动看似相同但偏离正确的具身化。这项研究的应用范围包括康复和触觉改善。例如,我们能够通过引导用户接触真实的物体,创建重定向的触觉来产生强烈的触觉。
在另一篇名为《Using Facial Animation to Increase the Enfacement Illusion and Avatar Self-Identification》的论文中,微软增强了虚拟化身的自我识别能力,并证明了动画化虚拟化身面部表情的重要性。团队展示了实现具面化和在社交活动中生成虚拟面容表情的新方式。这是一个重要的贡献,有助于创造更好的数字表现认同感,亦即认可外观不同于现实世界的自己的虚拟化身。
微软表示:“上周在IEEE VR大会发表的研究涉及计算机科学和人机交互等众多领域的交叉点,如神经科学和心理学,并展示了虚拟化身与虚拟现实未来的相关性。微软Rocketbox库的发布将进一步赋能全球实验室在一系列主题研究的研究实现,包括旁观者行为、对权威的服从、具现化幻觉和人群模拟等。”