慕尼黑大学团队研发AI驱动动态AR内容自适应系统
开发更直观、更吸引人、更有效的AI+AR体验
（映维网Nweon 2025年08月01日）增强现实正在改变我们在物理世界中与虚拟信息交互的方式。通过在现实环境中叠加数字内容，增强现实实现了全新形式的沉浸式和引人入胜的体验。然而，现有的AR系统往往难以有效地管理AR所呈现的许多交互可能性。在一项研究中，慕尼黑大学达姆施塔特工业大学团队介绍了人工智能驱动的自适应AR内容放置方法，以根据用户的移动和环境变化进行动态调整。
通过利用机器学习方法，这样的系统将智能地管理集成到外部环境的AR投影和固定静态内容之间的内容分发，实现无缝的UI布局，并可能减少用户的认知负荷。通过探索人工智能驱动的动态AR内容放置的可能性，研究人员的目标是设想从城市导航和工作场所生产力到沉浸式学习等各个行业的创新和改进的新机会。总的来说，他们概述了开发更直观、更吸引人、更有效的AI+AR体验的愿景。
将AI功能集成到AR技术中为解决空间计算中的关键挑战提供了新的机会，即支持AR内容适应动态用户和环境。传统的AR系统通常在用户视场内使用静态内容放置或固定定位，限制了它们在动态、真实场景中的潜力。
近来，有研究探索了应对这一挑战的各种方法，并开始使用大型语言模型LLM来优化基于上下文的混合现实界面。另外，AR中的UI定位同样取得了进步，研究人员探索了不同环境下用户对视频通话窗口的偏好，不同AR内容锚定在用户身体周围的双任务行走场景中的用户表现，以及静态、动态和“自我实体”之间的UI转换技术。
有的研究同时确定了人工智能增强AR的领域，包括模式检测和通过神经网络和自然语言处理改善体验。尽管相关例子显示了AR界面在各个方面的进展，但它通常仅限于特定的场景。
为了确保AR成为我们主要的交互媒介，它的界面必须适用于各种日常情况，包括室内和室外，行走或站立时，独自一人时或在多人空间。为了弥合解决方案之间的差距，并创建更通用、适应性更强的界面，以与动态环境和用户无缝集成，慕尼黑大学和达姆施塔特工业大学团队提出了一个用于动态AR内容放置的人工智能驱动系统，以适应不同的变化。
这种方法管理环境投影和头戴式显示器之间的内容分发，提供更细致入微和上下文感知的放置。在研究和设计日常场景中用户的AR交互时，我们可以根据用户和环境的静态或动态特征将用例分离成一个矩阵，其中包含四个不同的场景，如图1所示。
在每个给定的场景中，AR内容可以是静态的、动态的，或可以结合这两种特征的AR元素。因为用户视场中的视觉变化，适配UI元素可能是必要的。相关变化主要是空间变化的结果——要么是用户自己（通过头部旋转、运动等），要么是环境元素（汽车、人等）。
静态用户、静态环境用户和环境都是固定的，例如在检查静态AR模型的场景中。静态内容支持一致性信息传递很重要的应用程序，例如文本标签或训练中的固定指导显示。如果使用动态内容，可以引入自适应层进行探索，但当精度和稳定性优先考虑时，可能并不总是必要的。静态用户、动态环境静态用户在不断变化的环境中进行交互，例如在公共交通工具中查看AR内容。静态内容对于持久通知或提供一般信息的内容（如路线图或广告）是有益的。然而，动态内容可以通过响应人群密度或照明条件等环境变化来增强情境相关性。
动态用户、静态环境移动用户在稳定的环境中与固定的AR内容进行交互，例如博物馆或机场的导航路点。静态内容，如方向箭头或标签，依然可以有效地引导用户。挑战在于保持跨不同视角的可见性。动态内容可以提供自适应界面，例如重新定位导航提示或根据用户位置或移动模式动态调整信息显示。
动态用户、动态环境用户和环境都是动态的，比如在繁忙的空间用AR购物。静态内容，如价格标签或简单通知，对于持久信息依然十分有用。然而，随着环境变得更加混乱，其有效性可能会下降。交互式购物助手或基于上下文的服务等应用程序强调了动态内容如何使用户体验个性化，无需完全依赖于环境适应。图1中的每个场景都有独特的挑战。但在相关组合中，具有动态AR内容的动态环境中的动态用户是研究最少和最具挑战性的领域。
这里的核心问题是：我们如何设计一个能够与动态环境无缝集成并提供连贯且引人入胜的用户体验的AR系统？具体来说，哪些内容应该作为增强环境的一部分显示，应该在哪里以及如何叠加，哪些内容应该在用户的视场内保持静态？对于具有动态AR内容的动态环境中的动态用户这一最具挑战性的情况，存在多种解决方案可以集成到AI驱动型AR系统中。系统可以为用户创建上下文内容，利用计算机视觉进行场景理解，并通过LLM生成上下文信息和3D内容。
传统的AR内容放置通常侧重于用户视角或静态环境元素。相比之下，人工智能驱动的AR系统具有环境意识，会考虑用户的运动和周围环境的变化，从而创建一个更全面、更灵敏的系统。与通常依赖于静态内容放置或用户视场内固定位置的传统方法不同，团队设想的系统可以根据实时用户移动和环境变化动态地调整内容放置。它采用多模态方法来智能地管理环境投影和头显可视化之间的内容分发。
另外，强化学习算法通过考虑用户参与度和任务性能指标来优化内容放置，而计算机视觉模型则识别环境中合适的投影表面。自然语言处理技术则有助于确定内容相关性的优先级，确保信息以最合适的格式和位置呈现。通过在环境和个人头显之间分配内容，这种自适应方法有望显著减少认知负荷。例如，时间关键信息可能会出现在头显，而上下文细节则会投影到附近的表面。
相关论文：A Vision for AI-Driven Adaptation of Dynamic AR Content to Users and Environments
与传统的单一显示方法不同，这种动态分布策略在保持信息可访问性的同时，最大限度地减少了视觉混乱。其结果是一个更直观，认知要求更低的AR体验，适应用户需求和环境限制。AI驱动的AR系统整合了对上下文的更深入理解，在放置内容时可能会考虑用户意图、环境约束和任务相关性等因素。传统方法往往缺乏这种程度的上下文意识。基于人工智能的AR系统概念旨在尽可能将数字内容与物理空间无缝集成，从而有可能改变用户在日常生活中与信息交互的方式。这超越了传统AR内容放置的分隔方法。总的来说，这种基于人工智能的内容放置方法可能是为大多数日常AR用例创造更直观、自适应和以用户为中心的AR体验的重大进步。
