微软等团队基于HoloLens 2开发全息跨设备交互原型系统HoloDevice
全息跨设备交互
（映维网Nweon 2024年11月19日）在一项研究中，加拿大卡尔加里大学和微软提出了一种全息跨设备交互，以支持与设备生态系统的丰富交互。团队表示，大多数现有的研究都集中在共同定位的设置，即当用户和设备都处于相同的物理空间。相比之下，全息跨设备交互通可允许远距离设备之间的远程交互。
为了证明这一概念，团队基于HoloLens 2开发了用于进行全息跨设备交互的原型系统HoloDevice。
跨设备交互允许多个、分布式和互联设备之间的无缝交互。在当今无处不在的计算时代，随着设备数量的不断增加，为这种设备生态设计无缝交互变得越来越重要。特别是，跨设备交互通过利用多个用户和设备之间的无缝通信，为协作提供了一组独特的交互和支持。
例如，现有研究已经展示了内容共享、照片排序和数据分析的协作跨设备交互。目前，大多数关于协作跨设备交互的研究都集中在共同定位的设置，即用户和设备需要在相同的物理空间中。尽管最近的研究已经开始探索远程环境的跨设备交互，但它们通常缺乏丰富的视觉和手势反馈。例如，用户无法看到另一个远程用户如何操作设备和内容。缺乏这样的具体化可能会导致协作过程中的混乱。
远程协作正变得比以往任何时候都更加重要，但协作式远程跨设备交互的探索在很大程度上尚未得到充分探索。所以，团队介绍了全息跨设备交互，并表示这是一种实现远程和协作跨设备交互的新方法。
与现有的远程跨设备交互相比，全息跨设备交互通过远程设备的实时全息渲染实现本地和远程设备之间的交互，这样用户就可以实时地看到远程设备的运动、内容和交互，就好像位于同一个物理空间一样。
这种实时全息渲染使远程协作设置中的各种现有跨设备交互成为可能，并且支持一组现有跨设备交互所不可能实现的独特交互功能。例如，通过利用虚拟渲染的灵活性，用户可以在混合现实环境中动态更改远程设备的大小、位置、内容和对齐方式。
为了更好地理解这一新概念，研究人员提出了全息跨设备交互的分类和交互设计空间，以帮助研究人员对这一领域进行语境化和探索。他们首先讨论设计师可以利用的三个独特优势，包括：
-
交互和运动的空间可视化
-
中间过渡的丰富视觉可视性
-
动态和流配置
然后，团队在空间中展示了五个可能的用例，涉及内容传输、输入和控制、编辑和注释、自适应UI和扩展屏幕，并且列出了十种可以用于用例的交互技术。
为了证明这一概念，研究人员基于HoloLens开发了一个原型系统HoloDevice，并使用WebXR （A - frame， AR.js， 8th wall和Three.js）渲染设备的实时运动和内容，通过WebSocket协议捕获，共享和通信，并利用内部加速度计感知。通过利用所述功能，他们通过设计空间中每个用例的实现来演示各种交互。
相关论文：HoloDevice: Holographic Cross-Device Interactions for Remote Collaboration
总的来说，研究人员提出了一个全息跨设备交互的全新概念。全息跨设备交互允许设备之间的远程交互，并通过在混合现实显示器实时全息渲染设备的运动、内容和交互来提供丰富的视觉提示。通过全息渲染，远程设备不仅可以像它们位于同一位置一样进行交互，而且可以虚拟增强以进一步丰富现有跨设备交互无法实现的交互。
为了证明这个想法，团队利用HoloLens 2开发了原型系统HoloDevice，并通过这个原型系统和应用场景展示了全息跨设备交互的多种用途。
