卡内基梅隆大学用MR体验《Wake》探索与陌生人共舞下的信任和情感
同时共享虚拟世界和物理世界会如何呢？
（映维网 2019年09月10日）显然，你可以和另一个人共同经历的最亲密体验之一是跳舞。
如果你曾和别人一起共舞，你会知道这是什么感觉。如果双方已经十分习惯，或者你们本身就是训练有素的舞者，共舞体验将十分流畅和放松。但出于多种原因，这段经历可能十分令尴尬，比如说不认识对方或不懂舞步。共舞需要彼此的信任。日前，艺术家和空间计算研究员安娜·亨森（Anna Henson）在发布于英特尔博客的博文中探索了“混合现实”中的引导体验，即双方同时共享虚拟世界和物理世界。下面是映维网的具体整理：
现在请想象一下，你正穿戴着笨重的VR头显，后脑勺有一条长长的线缆，而且你正置身于一个陌生的虚拟环境中。你一开始就会晕头转向，但头显之外的声音引导你慢慢调整呼吸，而你开始放松身心。接下来，你开始摸索这片新领域并慢慢明白自己的能力。旋转的粉和绿色线条在你身边移动，而你开始与它们嬉戏。
然后，这个抽象的环境中出现了新的元素。你不再孤单，这不是一个虚拟角色，而是另一个人，另一个可识别的个人。她们对你微笑，慢慢开始映射你的动作。又或者是你在映射她们。现在，颜色线条都附接在你们身上，并且像跳绳一样将你们串联起来。一开始有点令人尴尬，但你可以通过移动手臂，仿佛你是握住跳绳的一端。对方正在做同样的事。很快，你们开始一起共舞。
然后舞者伸出她们的手。尽管有点犹豫，但你同样伸出双手并意识到自己能够看到它们。你摆动手指，看看头显中的手指是否同样如此。在这样一个如梦如幻的时刻，你会发现你在头显中的双手能够精确对应你的实际行为。你回头看看舞者，阅读她们的面部表情和肢体语言。经过眼神接触的你们开始走向对方，两人的手并靠在一起。以上的情景可不是模拟。
科技正与我们共同发展。研究员保罗·杜瑞什（Paul Dourish）在他的重要著作《Where the Action Is: The Foundations of Embodied Interaction》中阐述了这一点。科技正越来越多地塑造我们娱乐，沟通，甚至是摆弄身体的方式（比如你在查看智能手机时的姿态）。但无论科技有多么奇幻或先进，我们永远无法摆脱我们的生理和心理社交层面。另一方面，随着XR、数字传感、深度感应和计算机视觉的进步，我们将能够实现允许计算机与周围的物理世界进行通信。
在技术层面，所述功能正在迅速发展，并日益集成至我们每天都在使用的设备中（看看你手上的智能手机。你看到前面或后面的摄像头吗？你有没有用过应用滤镜呢？这是计算机视觉的产物）。但在人际关系，情感和心理社会层面，随着物理体验和数字体验之间的界限日前模糊，而其中的人类表征和人类交互尚未得到与技术层面相同的质疑，研究或讨论。
Wake
《Wake》是一款一人穿戴头显，并由两名舞者引导的混合现实体验。这款体验通过整合动觉意识方法，与触觉材料的交互，虚拟对象，物理VR硬件，以及位于同一空间的舞者来构建多感官整合。从映射到物理环境的黑暗虚拟环境开始，用户与虚拟对象的持续交互将不断照亮虚拟空间。口头指导和对话，动觉练习和即兴运动有助于用户在这个空间中的导航。深度摄像头使得用户能够感知一位即时定位的的舞者，并与对方进行简单的协作性运动。
《Wake》主要是由艺术家和空间计算研究员安娜·亨森（Anna Henson）以及表演二人组合安娜·汤普森（Anna Thompson）和泰勒·奈特（Taylor Knight）创作而成。这个项目由卡内基梅隆大学开发，并得到了Frank-Ratchye STUDIO for Creative Inquiry支持。这个项目继续了之前的探索，包括具身化交互，媒介体验中的动觉意识，头戴式XR体验中的信任和情感，以及物理和数字之间不断变化的界限。
《Wake》主要是作为一种判断头戴式XR体验的情感，生理和人际关系质量的工具。我们首先从问题开始，一系列涉及硬件的物理情况，一系列涉及在VR中迷失方向的常见感受，以及一系列涉及社交体验的性质。我们将从不同的角度来看待所述问题，并通过理解人类在艺术与科学交叉点中的角色来寻找共同点。这种跨学科合作鼓励扩大对话，并推动我们对每一项专业知识的界理解。我们看到XR，特别是模糊物理和数字边界的MR，它们从根本上暗示了身体的感知和动觉性质及其伴随的情感反应。
《Wake》用Unity 3D进行开发，并面向HTC Vive Pro。用户和舞者的手腕同时穿戴Vive定位器。然后，英特尔实感D415深度摄像头挂接在VR头显（对应双眼为之）。接下来，《Wake》利用定制的算法来流式传输和渲染实时的高分辨率RGB+深度视频。
开发《Wake》的第一个技术优先事项是头显能够逼真地渲染舞者。为了做到这一点，我们需要令高保真度的英特尔实感深度摄像头流以VR可接受的帧速率（90fps）运行。在过去的项目中，我们曾用不同的方式来在VR中表现舞者的身体，如抽象的虚拟角色，基于马克点的动捕数据呈现，体三维点云捕捉等等。但是，它们都不能实时捕获和渲染。
在《Wake》中，我们希望探索一个实时流式传输的效果。这将允许舞者和用户之间的即兴表演，通过身体运动和面部表情进行交流，以及将口头交流和触摸与视觉介导表示相结合的可能性。在项目的早期阶段，这款英特尔实感深度摄像头属于新推出的产品，其尺寸恰好可以贴合VR头显的正面，并成为用户的POV摄像头。这类似于笔记本电脑的网络摄像头，但对于《Wake》而言，我们研究了远程呈现和有形存在的交集。
眼神交流对于解释他人的意图至关重要。深度摄像头能够在实时VR体验中实现这一功能，而先前的体验仅限于虚拟化身，无法实现真实的眼睛接触。在对《Wake》进行的用户研究中，25名被试中的24人表示自己与舞者直接进行了眼神接触。除了能够在舞者进入虚拟空间时“看到”对方之外，由于视频具有深度数据，而且我们实施了在网格周围创建动态蒙版的深度过滤过程，所以舞者能够可信地呈现在虚拟空间之中。网格同时受到虚拟环境中的照明影响，所以能够进一步将舞者融入至虚拟空间中。
在《Wake》中，系统同时能够通过Vive定位器追踪舞者。这意味着共同定位的舞者可以出现在虚拟体验之中。例如，她们可以在相同的虚拟和物理任务或体验之中与头显用户互动，并且架构物理世界和虚拟世界之间的桥梁。从舞者的角度来看：“粒子系统是我的服装，或者我所穿的织物，重点不在于我，而用户可能甚至不知道他们看到的旋转线条是由另一个所控制，他们可能认为这只是模拟。但当摄像头呈现我的真容时，他们就可以看到我的可见形式。我不再只是将他们的注意力转移至粒子系统，而是更多的是令他们感觉我正和他们在一起。”
我们的研究和实践旨在寻找开发技术的新方法，从而实现人类对沟通，共享体验，感官整合和故事叙事的需求的共同发展。技术服务于项目的交流和体验需求，而它们必须与整体体验一起进行开发和测试。对于《Wake》而言，实时远程呈现，以及舞者在虚拟环境中的物理存在都需要在捕获和渲染舞者的方式方面进行创新。开发一种利用英特尔实感深度摄像头进行流式传输和渲染数据的方法使这项研究成为可能。正如研究员保罗·多里希（Paul Dourish）和其他人所指出的一样，科技与人类的共同演化不可避免。所以，我们设计能够帮助我们共同发展的技术，系统和经验非常重要。
更多关于这一项目的信息请访问这个页面。
