AI赋能MR,微软发布Copilot in Dynamics 365 Guides
将生成式人工智能的力量与混合现实相结合
(映维网Nweon 2023年11月16日)微软在Ignite 2023大会宣布,将把AI助手Copilot带到Dynamics 365 Guides,从而结合生成式人工智能与混合现实的力量,帮助一线工作人员更快地完成复杂任务并解决问题,同时减少对工作流程的干扰。
新加入技术人员需要在学习如何操作和维护设备的同时快速提升。当设备停止工作时,工作人员必须迅速采取行动诊断问题,实施修复措施,然后记录他们的工作。
Copilot in Dynamics 365 Guides可以协助工人在工业环境处理复杂的设备和工艺。利用这个工具,工作人员不需要搜索大量的数字文档或纸质手册,工作人员可以使用自然语言和人类手势询问相关信息。Copilot使用生成式人工智能从技术文档、服务记录、培训内容和客户管理的任何其他数据源中搜索信息,随后则将信息汇总,并通过叠加在HoloLens的全息图提供交互式指导。
微软表示,混合现实与人工智能的结合可以呈现出以人为本的界面,并有望改变现实世界的运作方式。现在,Copilot可以通过语音和全息图实时帮助一线工人。
以下是微软计划在Dynamics 365 Guides中解锁Copilot的功能:
点击并提问
人类总是以手动方式从环境中学习并与之交互,并在工作时向他人提问。Copilot in Dynamics 365 Guides以自然交互方式作为基础,并专注于帮助员工更好地理解周围的世界。工人可以指着设备的特定元件并向Copilot提出问题,比如“这种螺栓的扭矩限制是多少?”
另外,新员工可以直接询问一般性的问题,比如“这个组件的功能是什么?”。Copilot可以识别用户所指的内容,并提供答案。3D模型和空间地图为所述技术提供了基础,帮助识别工人正在注视的对象,然后投影全息图来显示操作说明。员工可以询问更复杂的问题,比如“告诉我传感器模块在这台机器的位置”,然后Copilot就会显示全息图,并显示所属位置。
空间内容生成
Copilot in Dynamics 365 Guides可以显著减少创建空间内容所需的前期投资,从而加速混合现实的开箱即用价值。Copilot使用客户定义的数据源来简化混合现实内容的创建、管理和交付,使得公司能够更快地采用混合现实。
步骤式帮助
由微软大型语言模型Microsoft Azure OpenAI Service支持的Copilot in Dynamics 365 Guides不单单提供一次性的回答。工人可以进行渐进式的谈话,比如“告诉我拆卸这个过滤装置的步骤”,或者“我把马达断开了,下一步怎么办?”这时候,Copilot可以使用精心规划的知识库跟踪流程和对话,并以语音、文本或3D全息图表达答案,同时消除歧义并减少返工需求。
按需信息
微软HoloLens可以在工人周围显示需要参考的相关数据。通过接到物联网传感器,操作数据和服务记录,Copilot in Dynamics 365 Guides可以回答一系列的问题,例如“当前的湿度等级是多少?”或“上次检查是什么时候,当时发现了什么问题吗?”
HoloLens 2允许Copilot精确定位特定资产,识别它们,并实时访问相关信息源。一线工作人员可以访问丰富的信息,并在人工智能的帮助下进行故障排除或修复。
专家知识整合
通常只有经验丰富的工人才具备完成复杂任务或修理重要设备所需的知识。但当这群工人不在或退休时,相关知识就会丢失。Copilot in Dynamics 365 Guides可以利用以前专家活动的笔记或通话记录来指导新员工完成相同的过程。这使得员工更容易、更快速地相互学习,并实现知识转移的自动化,从而提高劳动力生产率和业务敏捷性。
流线型的文档
工作人员将能够使用Copilot in Dynamics 365 Field Service mobile这项服务来加快完成和记录工作的过程。工人们无需填写书面文件,只需用声音向Copilot描述他们的进度,然后Copilot将提供相关建议,从而有效地检查服务任务,添加注释,更新产品数量和状态,并加速数据输入。
Copilot in Dynamics 365 Guides将现实世界转变为人工智能的提示和锚定。这个工具将人作为产品的核心,从根本上改变了计算技术如何帮助一线工人在现实世界中采取行动。Copilot in Dynamics 365 Guides为寻求更高效率和有效性的企业提供了巨大的潜力。
现已推出私人预览版,公开预览版即将推出
Copilot in Dynamics 365 Guides目前已经推出私人预览版,并提供了一组有限的功能。即将在公开预览版则首先向HoloLens 2提供,并在以后登陆移动设备。
微软最后强调了隐私保护,他们表示Copilot in Dynamics 365 Guides是根据负责任的人工智能标准开发,并符合公司对数据安全和隐私的长期承诺。