瑞典皇家理工学院研发语音控制XR机器人操作系统
消除了对物理控制器的需求，提高了易用性，同时最大限度地减少了与直接机器人操作相关的潜在安全风险
（映维网Nweon 2025年06月11日）机器人技术和XR技术的集成通过提高可用性、直观性和可访问性，为推进人机交互（HRI）提供了变革性的机会。在一项研究中，瑞典皇家理工学院团队介绍了一个无控制器，LLM驱动的声控XR操纵系统，这样用户就能够实时远程操作机器人。
通过利用自然语言处理（NLP）和XR技术，系统消除了对物理控制器的需求，提高了易用性，同时最大限度地减少了与直接机器人操作相关的潜在安全风险。初步的用户演示成功验证了系统的功能，展示了其更安全、更直观和沉浸式机器人控制的潜力。
近年来，机器人技术迅速发展，无缝集成到日常生活的各个方面，包括服务业、医疗保健和社交场景。这种不断增长的存在凸显了对有效和直观的人机交互（HRI）和协作的需求。
所述演变的关键推动因素是机器人与XR的集成，这是一种将虚拟元素叠加到现实世界中以创建身临其境的上下文感知界面的技术。通过弥合物理和数字领域之间的差距，XR增强了人机交互（HCI）的可用性、直观性和可访问性。
通过向用户提供额外的上下文相关信息的能力，XR为推进机器人远程操作、态势感知和任务性能提供了变革性的机会。大量的前期研究已经探索了XR在不同领域的机器人遥操应用，并强调了XR改善用户体验、增强任务执行力和增强态势感知的潜力，而这一切都是实现有效HRI的关键组成。
随着XR技术的发展，大型语言模型LLM已经成为包括机器人在内的各个领域的变革力量。LLM以其卓越的自然语言处理（NLP）能力而闻名，并已用于增强机器人操作和交互体验。
最近，在社交机器人领域，LLM促进了智能会话机器人，实现了更自然、更有意义的人机交流。同样，在机器人操作中，相关模型通过提供先进的推理和决策能力，已经证明了它们在提高任务绩效方面的潜力。将LLM集成到机器人系统中代表了重新定义人类与机器人交互方式的有希望途径，为更直观，高效和可访问的解决方案铺平了道路。
在相关进步的基础上，瑞典皇家理工学院团队引入了LLM驱动的XR操作系统。这种远程操作框架结合了LLM和XR的功能，实现了与机器人的语音命令，无控制器交互，如图1所示。
所提出的系统不再需要物理控制器，而是允许用户通过自然语言指令直观地操作虚拟机器人。相关语音命令由LLM实时处理，并无缝地转化为物理机器人执行的动作。通过用语音驱动命令取代传统的控制器，所提出的系统显着提高了可访问性，使机器人远程操作对非专业用户和不同身体能力的个人更具包容性。
系统是通过Meta Quest 3实现。通过引入由LLM支持的无控制器、语音驱动的交互模型，尖端的NLP功能与沉浸式XR技术的融合为解决HRI和HCI中的挑战提供了一种创新方法。这种集成不仅为革命性的机器人远程操作提供了一个开创性的框架，而且为用户与机器人系统交互提供了一种更自然、更直观的方式。
通过解决与可访问性和易用性相关的障碍，这种以人为中心的方法强调包容性和简单性，扩大了机器人在不同领域的应用范围。例如，在工业环境中，工人可以远程命令机器人执行复杂的任务，无需经过专门培训。在医疗保健领域，从业者可以依靠语音引导的远程手术来精确操作外科机器人或患者护理。
另外，系统的多功能性还可以扩展到危险环境控制、教育机器人和工业自动化等领域，为专家和非专业用户提供变革的可能性。
相关论文：LLM-Driven Augmented Reality Puppeteer: Controller-Free Voice-Commanded Robot Teleoperation
总的来说，团队提出了一个无控制器，LLM驱动的声控XR机器人远程操作系统，标志着朝着更直观，可访问和身临其境的HRI迈出了重要一步。通过集成XR和NLP，所述方法消除了传统输入设备的限制，实现了人与机器人之间流畅和自然的交流。
这一进步降低了机器人控制的障碍，使其对不同技能水平和应用领域的用户更具包容性。除了增强可访问性和可用性之外，系统同时为机器人远程操作和交互式自动化的未来发展奠定了基础。
它的潜力扩展到针对特定任务的自适应学习、多模态输入集成和协作机器人，其中机器人可以在更动态和复杂的环境中智能地响应用户命令。同时，它通过XR驱动的可视化融合物理和数字世界的能力，为工业、医疗和其他研究环境中的安全、培训和实时机器人监督开辟了新的机会。
