微软展示HoloLens 2全新超逼真自然全息图交互，用手拿、推、扔、抓等等
探索更具沉浸感的全息交互方式
（映维网 2021年05月15日）日前，微软旗下混合现实工作室（Microsoft Mixed Reality Studio）的奥斯卡·萨兰玎（Oscar Salandin）撰文介绍了团队是如何探索更具沉浸感的全息交互方式。下面是映维网的具体整理：
“我可以用手指弹一下它吗？”
当用户通过HoloLens 2测试我们的沉浸式交互原型时，其经常会询问这样的问题。基于模拟而不是单个功能的全息图交互可以带来有趣的测试场景。
诚实的回答是：“我不知道，但你可以试试。”
这段视频展示了一个用户用手直接与全息图交互。就像真实对象交互一样，你可以拿、推、扔和抓。
1. 如果能够像真实对象一样对待全息图
你不需要向用户解释与虚拟对象交互的具体步骤。你可以直接要求对方“捡起来”或者“放在那里”，然后对方就会这么做。
我们可以用我们习惯的肢体语言并通过眼睛和双手自然地把玩虚拟对象。
当我们第一次通过HoloLens 2向一位自称具有技术恐惧症的女士介绍一个物理交互原型时，我看到过这种情况。她笑着把玩一个虚拟立方体，并与全息图一同起舞了数分钟之久。
利用手关节追踪和眼动追踪，以及增加的视场，HoloLens 2为用户和交互设计师提供了全新的机遇。作为设计师，我们的目标是利用相关的输入和输出来进一步推动沉浸感，帮助用户以与真实对象相同的物理方式来和全息图进行交互。
当用户的手和手指模拟成铰接球体，并根据速度和与对象的接触而改变颜色。
2. 数字双手孪生
我们如何提升交互的自然度呢？我们从一定的自然法则开始，自下而上构建交互。当你分解它时，像抓、推、扔这样的交互都是由相同的物理概念组成：动量、碰撞、摩擦和重力。
从“半衰期”系列到《萌萌小人大乱斗》，再到《全面战争模拟器》，实时物理引擎是一系列游戏的关键要素。就像所述游戏利用物理引擎来处理虚拟对象之间的开放式交互一样，我们同时可以使用物理引擎来模拟用户和虚拟对象之间的交互。
由于HoloLens 2的手关节追踪为我们提供了手的姿态，所以我们可以复刻手的不同部位的位置、速度和动量，并在虚拟世界中构建手的物理模拟孪生。当这个虚拟手与虚拟对象交互时，物理引擎应用动量、碰撞、摩擦和重力来模拟结果。所有这一切加起来就是抓、投、弹、或任何你能想到的手物交互。
在游戏中，物理引擎是一个完全受控的虚拟环境。这在混合现实中不同，因为你既有一个模拟的物理引擎，又有一个物理现实，它们需要相互作用。物理模拟中的一个重要定律是牛顿第三运动定律，其指出，“相互作用的两个物体之间的作用力和反作用力总是大小相等，方向相反，作用在同一条直线”。然而，我们无法在物理世界中产生这种反作用力，因为我们无法对手施加真实的作用力。这导致了一种感觉缺失：触觉（或触觉反馈）。
3. 补偿缺失的感觉
不管我们把体验做得多么逼真，你依然无法真正触及全息图。HoloLens 2不模拟触觉，而它是手物交互的关键一环。触觉在与对象交互时提供持续的反馈，所以在交互过程中，缺失的触感会使全息图看起来像幽灵。
要围绕这一点进行设计，我们必须与我们能够接触到的感官进行过度沟通：视觉和声音。当用户触碰并释放一个对象时，我们播放一个声音，然后对象亮起以与用户进行强烈的交流，以这种方式来补偿和掩盖缺失的触感。
对象之间的物理交互是双向的，两个对象相互影响。我们无法令虚拟对象通过触碰来影响你的手，但我们可以用光来显示对象和手之间的关系。
在这个视频中，虚拟光影从立方体投射到真实的手和桌面，以帮助说明接近度。
通过将光线投射到你的手，这会提供更多关于手和对象之间相互作用的反馈。将这种微妙的效果添加到虚拟手会对交互的真实感产生出人意料的强烈影响，并提供有关深度、接近度和方向的信息。这种照明效果模糊了数字和物理之间的界限，因为你现在看到的手是真实环境照明和虚拟对象照明的组合。
有用户描述说，拿着一个特别亮的红色发光全息图，看到它对皮肤的影响，即使心里清楚它不可能产生热量，但自己依然会感到手暖暖的。
尽管这种设计改善了处理虚拟对象的体验，但由于没有触觉反馈，交互依然存在一定的幽灵感。
4. 为用户打破物理定律
虚拟对象的行为已经更加物理化，而通过对用户的测试，我们同时发现了不需要的物理交互。走很远的路，然后弯腰并伸手捡地上的东西，这都是现实世界中的烦恼。在虚拟世界中我们不需要容忍这一点。对于不同的用户，这种类型的交互从恼人到不可能（如残障人士）。
我们可以通过禁用重力来减轻虚拟对象坠落的负面影响。但如果没有重力，对象会从你放置的表面漂走，就像置身于国际空间站一样。
这段视频描述了我们开发的一种称为“表面引力”的行为：当没有真实表面时，对象就会漂浮在空中。
为了改善意外对象掉落的负面交互，我们引入了“表面重力”的概念。当下方有一个表面时，给予对象重力。当没有表面时，对象就在原地漂浮。
这段视频展示了我们创建的一个称为“念力”的手势，它能够允许用户召唤和控制远方对象。
在测试过程中，一名用户将一个对象扔得很高，然后它会在上面漂浮，直到用户尝试爬上一个不稳定的吧台才能够到它。这突出了一个问题：用户尝试访问远方对象，但会因为这样而把自己置于危险之中。
为了优化远方对象交互的体验，我们引入了一种“念力”手势。这允许用户将远方对象召唤到手中。尽管“念力”并不是真实的物理交互，但我们都在《星球大战》等媒体看过，甚至模仿幻想过。在这里，我们使用眼动追踪和手关节追踪来帮助用户自信地移动一个对象而无需触碰它。
5. 新兴交互
在这个原型中发现的沉浸是对有形混合现实交互世界的一瞥，模拟的物理性可以改变我们使用和理解每一个数字体验的方式。
想象一下，当你进行网上购物时，你可以将自己看中的数字渲染毛毯拖放到家里的沙发，然后自动折叠并把它放进购物篮里。
如果你能够确实拿着数字唱片，并把它放到扬声器进行播放，所有权的感觉怎么发生什么样的改变呢？
如果我们的数码产品能够对交互更加开放，比如将文件文档折叠成纸飞机，这会出现什么新的艺术和游戏呢？
如果你能够将一个微型行星放到围绕太阳轨道，并以这种方式来教授引力，我们的教育方式又会发生怎样的改变呢？
对于我们的原型，我们致力于实现一种更加沉浸、有趣和开放的交互愿景，从而培养人们探索虚拟体验的好奇心和创造性。这是一次激动人心的旅程的开始，我们将发现这种类型的交互是如何在各种不同的用户体验和用例中实现。
