Meta基于HoloLens实现MR虚拟化操控交互真实物体对象
“虚拟动作影响物理场景的视觉错觉”
（映维网Nweon 2024年01月26日）Meta Reality Labs的研究人员早前展示了一种通过AR来与现实世界交互的新方法。其中，通过利用微软HoloLens，可以营造一种“虚拟动作影响物理场景的视觉错觉”。
操纵环境及相关物品是人类的基本行为之一。然而，今天的混合现实系统只能将虚拟内容置于物理场景中，无法将视觉错觉扩展到可信的环境操作。
Meta Reality Labs和德国杜伊斯堡-埃森大学的研究人员设计了一种虚拟化真实对象的方法，从而创造了一种看起来你是在与虚拟对象进行交互，但相关动作却能影响物理场景的视觉错觉。这种方法不仅能够数字化物品，而且能够无缝地抹去它们的真实对应物，从而在真实世界和虚拟世界之间创造出一种奇妙的融合。
具体来说，团队提出了Scene Responsiveness场景响应的概念和系统，即虚拟动作影响物理场景的视觉错觉。使用协同对齐的数字孪生来保持环境中物理对象的一致性，Scene Responsiveness允许用户操纵看似虚拟对象的物理对象。
基于Scene Responsiveness，研究人员提出了两种一般类型的端到端幻觉体验，并使用object elusiveness的和object rephysicalization技术来确保视觉一致性。
在针对用户的科波菲尔错觉评估中，他们发现场景响应性可以渲染得如此令人信服，以至于它本身就像魔术一样。
显然，下面的视频更能介绍具体的效果：
是什么让这个概念如此有趣呢？我们都看过AR演示体验，虚拟对象似乎漂浮在你的房间里，附着在你的墙上，甚至躲在物体的“后面”。我们甚至看到虚拟对象似乎能够遵循房间的物理规律，在桌上滚动，然后在到达桌子边缘时正确地掉落。
但将空间中的真实物体数字化，并允许用户对它们进行虚拟控制，同时将真实物体从它曾经存在的地方抹去，这是一个非常有趣的技巧。或许更强大的是，场景中的虚拟角色似乎能够与现实世界中的物体直接交互。
当然，目前这项研究所展示的演示内容尚不完美，并且在很大程度上是依赖于特定场景来实现的概念验证。但随着计算机视觉和人工智能的快速发展，不难想象未来研究人员将如何以自动和场景独立的方式构建这样一个系统，并且可能非常令人信服。
相关论文：Scene Responsiveness for Visuotactile Illusions in Mixed Reality
值得一提的是，研究人员对这种AR错觉的实际应用提出了令人惊讶的创意，包括“为了健康，我们可以想象当用户伸手去拿一块对身体不健康的巧克力棒时，它可以变成不那么吸引人的玩意，比如蜘蛛。或者巧克力会长出腿，跑开，在跑的时候变成香蕉，然后在香蕉的位置重新出现”。
所以如果在未来，当我们发现自己在追逐一块神奇的巧克力棒时，却在我们抓住它的时候却变成了香蕉，我们就知道这是谁的错了。
