为AR眼镜带来智能代理，英伟达公测NVIDIA XR AI

编辑：刘余欣 | 分类：快讯 | 2026年6月18日

加入映维网会员

解放双手、AI随行

（映维网Nweon 2026年06月18日）英伟达日前宣布，面向AR眼镜及XR设备的AI开发平台NVIDIA XR AI已正式进入公开测试阶段。这个工具为开发者提供了一套完整的框架，可用于构建具备空间感知能力的多模态AI代理，支持智能体通过视频、音频和传感器数据实时理解物理世界，并调用企业工具与知识库辅助决策。

从工厂车间到手术室，从科研实验室到深海探险，英伟达正将代理式AI从屏幕对话推向真实的工作流，开启“解放双手、AI随行”的全新人机协作时代。

为AR眼镜带来智能代理，英伟达公测NVIDIA XR AI

AI正在超越聊天机器人和副驾驶，进入物理世界。在实验室、工厂和医院，新一代AI代理正开始与人们并肩工作，帮助他们理解环境、获取知识并实时采取行动。

然而，构建能够结合模型、技能、工具、工具集和代理运行时来帮助人们完成实际工作的代理系统，是一项挑战。为了在动态的真实环境中有效运作，代理不能只是生成回复。

就像人类工作者一样，它们需要知识、工具和专业技能，通过视频、音频和传感器数据来感知和理解世界，解读快速变化的条件和空间上下文，从企业系统中检索信息，推理下一步最佳行动，并使用软件工具来完成任务。所有这一切都必须在低延迟下完成，并且以一种支持用户且不造成干扰的方式进行。

NVIDIA XR AI这个开发者库旨在帮助开发者构建代理型应用。通过将AR眼镜和XR设备的输入与AI模型、企业数据、工具和加速计算相连接，NVIDIA XR AI使得代理能够在工作流中进行感知、推理和行动。

它为开发者构建或连接企业XR应用的技能和工具提供了基础，并简化了多模态感知、企业检索、推理模型和代理编排的集成。相关功能共同使得构建具有空间意识的多模态AI代理变得更加容易，可在AR和XR体验中提供低延迟、上下文感知的辅助。

所述平台汇集了四项核心能力：

摄取来自AR和XR设备的现实世界信号，包括视频、音频、深度、姿态和传感器数据。
将代理连接到专门的工具和服务，包括用于视觉AI和视频理解的NVIDIA Metropolis及NVIDIA Metropolis视频搜索与摘要，以及用于企业知识检索和检索增强生成的NVIDIA NeMo Retriever。
支持广泛的AI模型生态系统，包括NVIDIA Nemotron推理模型、NVIDIA Cosmos Reason及其他兼容的基础模型。
集成代理编排和加速运行时服务，帮助开发者从原型过渡到生产。NVIDIA NeMo Agent Toolkit支持工具使用、推理工作流和多代理协调，而NVIDIA加速计算平台（包括NVIDIA DGX Spark、NVIDIA DGX Station和NVIDIA RTX PRO系统）则提供了在云端、数据中心和边缘环境运行推理的基础设施。

上述功能共同使AI代理能够理解周围环境、访问企业知识、推理复杂任务并实时提供情境化辅助。

各行业已将NVIDIA XR AI投入使用

在制造、科学、医疗保健、设计和沉浸式学习领域，开发者和企业已经在利用NVIDIA XR AI，以便将AI代理嵌入到实际工作发生的地方。

西门子正在研究背景下探索，如何利用NVIDIA XR AI和NVIDIA DGX Spark帮助工厂工程师查找维护信息、排查问题、验证工作并记录车间发生的情况。借助系统，佩戴轻量化眼镜的工程师可以向AI代理询问可编程逻辑控制器问题并接收实时指导，从而连接工业系统、数字孪生和自动化工作流。
在研究实验室，Rana正在LabOS系统中引入NVIDIA XR AI，将空间智能直接带入科学研究工作流。LabOS为复杂的实验工作流提供实时、解放双手的指导，首先应用于斯坦福大学医学院和普林斯顿大学的干细胞治疗和基因编辑研究。基于XR AI架构构建的LabOS共同科学家能够在实验室环境中感知、理解和行动，帮助研究人员识别正确的样本和CRISPR基因编辑器，指导每个实验步骤，并在人类、机器人和AI系统在实验台协作时，生成结构化、可复现的记录。
VITURE将NVIDIA XR AI集成到可穿戴界面中，为工作人员提供了一种解放双手的方式，在工作现场找到正确的背景信息并指导下一步行动。同样的XR AI基础自然地从实验室扩展到临床和工业环境。
在手术室中，匹兹堡大学医学中心展示了NVIDIA XR AI如何通过上下文感知辅助支持手术团队。系统以NVIDIA XR AI和NVIDIA DGX Station作为基础，并旨在帮助团队查找信息并引导注意力，而不会为外科医生增加视觉杂乱。系统可以在保持对患者和手术关注的同时，呈现有用的上下文信息。
在汽车设计领域，Innoactive展示了企业如何在沉浸式工作流中捕获相关信息和数据以支持设计决策。由NVIDIA DGX Spark系统驱动的体验帮助团队保留来自设计评审、产品展厅和数字孪生的上下文，使空间工作从一次性会议转变为可重复的企业流程。
多次获得学院奖和艾美奖的故事讲述与沉浸式媒体工作室Atlantic Studios，正在使用NVIDIA XR AI让观众探索泰坦尼克号现今状态的沉浸式扫描。用户可以使用语音提示寻找兴趣点，并引导探索这一历史遗址：将复杂的水下模型转化为互动空间故事，实时回答问题、呈现背景信息并帮助用户学习。