英国皇家艺术学院介绍基于GenAI的触觉交互，将任何物理对象转换为自适应触觉界面
将任何物理对象转换为自适应触觉界面
（映维网Nweon 2024年12月12日）混合现实旨在融合数字世界和物理世界，创造身临其境的人机交互。尽管取得了显著的进步，但缺乏真实的触觉反馈往往会造成视觉和触觉感知之间的脱节，从而破坏沉浸式体验。
在一项研究中，英国皇家艺术学院团队介绍了基于GenAI的触觉再利用，通过将任何物理对象转换为人工智能生成虚拟asset的自适应触觉界面。利用最先进的生成式人工智能模型，系统捕获物理对象的2D和3D特征，并通过用户导向的提示来生成相应的虚拟对象，并保持原始对象的物理形式。
通过基于模型的对象追踪，系统实时动态地将虚拟asset锚定到物理道具，使对象可视地变形为任何用户指定的虚拟对象。研究人员表示，希望这项研究可以为进一步研究人工智能驱动的沉浸式和触觉技术的空间转换奠定基础。
混合现实的目的是创造一个混合的物理和数字世界，解锁自然和直观的3D人，计算机和环境的相互作用。随着Meta Quest系列和Apple Vision Pro等消费级头显的普及，模糊真实与虚拟之间的界限、创造沉浸式体验的愿景正变得越来越可行。
尽管显示和音频系统取得了进步，但触觉反馈在今天的大多数MR体验中依然明显缺失。为了弥补这一差距，业界已经作出了相当大的努力。触觉可穿戴设备作为一种硬件解决方案已经得到了广泛研究。但这种设备存在相当大的挑战。通常情况下，它们往往成本高昂，而且尚未得到广泛的消费者采用。更重要的是，它们仅限于模拟简单的触觉，不能提供更真实交互所需的复杂的力反馈，比如模拟双手握住物体的感觉。
另一种现有方法是使用日常物理对象作为虚拟asset的触觉道具。然而，考虑到使用消费者级头显的各种场景，找到一套通用物理道具来覆盖最可能多的形状不切实际。同时，为了避免视觉触觉不匹配，虚拟asset和物理对象必须共享相应的物理形式。
但是，如果可以动态地将任何物理对象转换为各种虚拟模型，同时保留其原始的3D结构，并使用现有物理对象作为触觉支柱呢？想象一下，抓着一个塑料瓶，它会变成光剑的手柄，或者抚摸一个枕头，它会变成一条蜷缩的飞龙。通过这种方式，用户不仅可以看到相关转换，而且可以感受到纹理和重量，从而推动了混合现实中交互性的界限。
为了实现这一愿景，我们需要深入研究被动触觉领域的内容，以及围绕3D模型创建和对象旨在的方法。英国皇家艺术学院提出的Haptic Repurpose with GenAI引入了一种新颖的管道，利用最先进的（SOTA）生成AI模型实现任意到任意的转换，从而消除了对特定场景或预定义对象的依赖。
这种方法极大地扩展了被动触觉在各种环境中的适用性范围，并具有可扩展性的巨大潜力。在研究中，研究人员使用ZED Mini深度摄像头来捕获RGB视频和深度信息。
摄像头战略性地安装在头显前方，与用户头部方向对齐，以便与用户的自然视角相对应的准确数据捕获。VR头显用于流媒体后处理视频，从而创建一个可访问的AR开发环境。
为了管理与生成式人工智能相关的计算密集型任务，团队使用Huggingface空间构建了一个云服务器。在本地，使用Unity 3D引擎开发了一个追踪系统，辅以Flask服务器来处理本地设置和云基础设施之间的通信。
系统的开发分为三个部分：
-
图像生成系统，旨在利用从现实世界捕获的深度信息以及用户的文本提示生成2D图像。
-
转换系统：侧重于将生成的图像中的主要对象转换为合理的3D模型。
-
实时3D模型锚定：最后一个阶段是将生成的3D模型实时锚定到实际对象上。
实验测试表明了系统的有效转换能力，以及它在混合现实体验中增强用户参与度和真实性的能力
总的来说，团队将日常有形世界转化为使用生成式AI虚拟asset的动态交互式触觉界面。可用性测试已经评估了系统的有效转换能力，以及它在混合现实体验中增强用户参与度和真实性的能力。团队总结道：“希望这个项目将为数字环境中更自然和直观的交互铺平道路，推动进一步的创新，并将MR技术更广泛地融入日常生活。”
