普林斯顿大学团队开发基于隐形机器人的混合现实交互系统

查看引用/信息源请点击：techxplore

Reality Promises创造了使用魔法力量或幻想生物即时操纵物理场景的幻觉

（映维网Nweon 2025年08月26日）当前混合现实系统无法实现对物理场景的无缝操作，将体验限制在虚拟效果中。在一项研究中，普林斯顿大学团队提出了Reality Promises的概念。这种混合现实幻觉旨在以虚拟现实提供的方式操纵场景，同时秘密地将虚拟操作传播到物理现实。

通过将虚拟操作模式与物理操作模式分离，Reality Promises创造了使用魔法力量或幻想生物即时操纵物理场景的幻觉。

普林斯顿大学的计算机科学家正致力于融合虚拟现实和现实世界，从而增强各种体验，包括远程协作、教育、娱乐和游戏。计算机科学助理教授帕拉斯图·阿卜塔希（Parastoo Abtahi）表示，未来有朝一日，虚拟现实和增强现实技术可能会变得司空见惯。重要的是，这项技术的用户将能够与物理世界无缝交互。

现在，团队正致力于将虚拟现实技术与用户可以控制的物理机器人相结合。Reality Promises引导移动机器人在动态虚拟物理解耦和重新耦合点之间操纵物理对象，不会在视图中向用户显示自身。

在一个示例中，穿戴头显设备的用户可以从选项列表中选择一种饮料，然后虚拟地把它放在面前的桌子之上。或者，你可以要求一只蜜蜂把一袋薯片送到你面前。实际上，把饮料放到桌面或者把薯片送到你面前的操作都是由物理机器人完成，但用户在视图中完全看不到机器人的身影。

为了确保机器人不可见和物理对象可交互，团队引入了机器人感知的3D Gaussian Splat光栅化、着色和动画系统，它可以在需要时将splat与本地空间对齐到用户的视图中。他们系统地推导了提供内聚的端到端用户体验的交互协议，例如无中生有地物化对象，或将用户/角色诱导的虚拟力应用于物理对象。

起初，饮料和薯片可能只是像素。但大约一分钟后，它们就会像变魔术一样，变成物理现实。但这不是魔法，这是一个对用户不可见地机器人。

团队指出，通过过滤掉“所有不必要的技术细节，甚至是机器人本身”，这种体验看起来是无缝的。他们的目标是令技术隐藏起来，并让人与计算机之间的交互感觉更直观。

系统的一个关键技术难点是通信。用户必须能够简单地表达他们的愿望——例如，在房间里选择一支笔，然后把它移到他们面前的桌子上。所以他们发明了一种交互技术，一个简单的手势就可以允许用户选择一个物体。然后，手势转译成机器人执行的命令。

另一个技术挑战是在用户的视图中添加和删除物理对象。通过利用3D Gaussian Splat，他们创造了一个真实的物理空间的数字副本。一旦房间里的所有东西都扫描完成，系统就可以从视场中删除特定对象，比如一个移动的机器人，又或者是添加特定地对象，比如一只动画蜜蜂。

相关论文：Reality Promises: Virtual-Physical Decoupling Illusions in Mixed Reality via Invisible Mobile Robots

https://mkari.de/reality-promises/paper/kari2025-reality-promises.pdf

为了实现这一点，房间的每一寸和里面的每一个物体都必须进行扫描和数字化渲染。目前，这个过程有些繁琐。通过将这项任务分配给机器人来简化它，是实验室未来的研究课题。