微软分享:HoloLens 2为工业元宇宙客户带来创新协作工具
HoloLens 2为工业元宇宙客户带来了新的协作工具
(映维网Nweon 2022年12月16日)微软正致力于构建“工业元宇宙”,并希望通过沉浸式技术的力量来赋能客户。随着新版Dynamics365 Guides已经支持Remote Assist+Teams的远程通话,正在通过分步全息说明学习掌握相关技能的用户现在可以随时联系远程专家或加入Teams会议。日前,这家公司撰文了HoloLens 2是如何为工业元宇宙客户带来新的协作工具。下面是映维网的具体整理:
丰田汽车北美应用技术研究实验室(Toyota Motor North America’s Applied Technology Research Labs)负责人大卫·克莱纳(David Kleiner)表示,即便有精确的书面说明,汽车装配过程依然需要一定的经验和技巧。
例如当你用锤子敲打车门边缘防护装置时,用力过猛可能会损坏车辆,用力过少则可能会造成用户关门时弹出边缘防护装置。
位于美国新泽西州的丰田物流中心正在努力寻找平衡点。于是,他们戴上了微软的混合现实头显HoloLens 2。然后,员工打开了一个全息窗口,并致电位于加州的一位同事以寻求帮助。对方马上可以透过这款设备看到求助员工的第一人称视角。
远程专家向其传授了诀窍:听听这个声音。他们以正确的角度敲击,并产生了清晰的音调和清晰的视觉效果。丰田物流中心的员工可以看到和听到对方的一切,好像大家共在一起。
借助声音,丰田物流中心的工人成功安装了车门边缘防护装置。同时,这个片段可以记录在HoloLens 2,并由Microsoft Dynamics 365 Guides中的分步全息指令捕获,以便其他员工都能从中受益。
对于克莱纳而言,这个故事显示了HoloLens 2是如何与丰田的核心指导原则“かいぜん(改善)”完美契合的工具,并且解释了为什么所述的混合现实设备已经从丰田的创新实验室加速部署到日常的工作场所。现在,六个美国丰田物流中心的员工都在使用HoloLens 2进行培训、指导和协作。他表示,他们很快就会将微软HoloLens 2扩展到加拿大和墨西哥,并计划进一步扩大应用范围。
克莱纳评价道:“丰田的杀手锏是速度。我们培训人员和解决问题的速度越快,我们就能越快地将产品推向市场。这就是为什么我们要克服地理位置,我们要克服时间,我们希望人们更快地行动并分享知识。HoloLens使得我们能够做到这一切。”
由客户反馈驱动
自2019年推出HoloLens 2以来,微软每月推出34次软件更新。团队根据客户反馈增加了一系列的新功能,如色盲模式和调整头部追踪算法。
微软混合现实副总裁斯科特·埃文斯(Scott Evans)表示,每一项更新都是由客户反馈推动。
他说道:“头戴式技术令人们的工作方式有了巨大的进步。但这通常意味着要经历一个试验、测量和学习,然后扩大部署的周期。我们在整个过程中与客户接触,而这对我们来说是一个重要的学习过程。”
对于新版Dynamics365 Guides,团队带来了Remote Assist功能,从而根据客户反馈将微软的两个关键Dynamics365混合现实应用程序结合在一起:逐步完成全息指令+远程辅助。
上文关于车门边缘防护装置的示例显示了远程辅助的威力,它可以允许一线工作人员将合作者带入他们的物理空间。在这种“见我所见”场景中,你可以联系位于世界任何地方的同事。他们只需要接到Teams通话,然后就可以在3D空间中进行注释,并为一线员工提供指导。
实际上,自2016年推出第一代HoloLens以来,丰田就一直在向微软提供反馈。克莱纳表示,新版Dynamics365 Guides提供了更好的体验。
他说道:“你可以拿起HoloLens,开始一个Guides会话。然后,如果确实需要帮助,你可以立即从应用程序中致电专家。”
丰田的反馈有助于改善Guides体验的其他方面。例如,技术人员可以在汽车引擎盖放置一个二维码,扫描它,然后就可以按照全息图指示进行操作。
但当一名工人在汽车周围移动时,全息图可能会漂移。于是,丰田与微软合作开发了“对象理解”技术。这意味着丰田技术人员可以扫描整个车辆,这有助于将全息图锁定到位,消除视差问题。无论用户的角度如何,指向螺栓的全息图总是能够指向准确的位置。
克莱纳补充道,Guides的指南制作体验已经有了长足的提升,制作全息指令就像制作PowerPoint一样简单。
他指出:“我不必雇佣一大群顾问来构建这个系统。我不必有一堆拥有计算机科学学位的人员。我可以把它交给前线的专家,他们可以制作自己的内容来培训其他人。”
克莱纳表示,丰田在Guides中发现了作为培训工具的直接价值。丰田培训师可以允许学员独立工作,并同时监督多个学员,而不是与学员一对一地工作。以这种方式,效率有了巨大的提升。
在圣安东尼奥工厂的一个试点项目中,丰田使用HoloLens 2和Guides培训员工如何组装新版丰田坦途。克莱纳表示,数据显示这是一次成功:根据个人的不同,训练时间减少了20%-50%。
混合现实合作伙伴
克莱纳指出,尽管HoloLens 2设备帮助定义了工业元宇宙的可能性,但微软是一家平台公司。这就是为什么微软致力于一个开放的生态。所以,微软同时构建了一个由ISV组成的混合现实合作伙伴网络。以这种方式,行业可以扩展解决方案,以满足从建筑、教育到医疗保健和制药等不同行业的独特需求。
例如,美国劳工部职业安全与健康管理局(OSHA)曾与其中一位ISV合作,目标是提高挖沟期间的工人安全。对于建筑工地,挖沟和挖掘是危险但必不可少的工作。根据OSHA的说法,一立方码的土壤可以和一辆汽车一样重,但这种微妙的重力平衡可以在瞬间打破。所以,沟渠坍塌是建筑业死亡的主要原因。
为了帮助减轻这种危险,OSHA指导人员正在使用一个定制的混合现实应用程序,为壕沟安全检查员提供身临其境的动手危险培训。所述应用程序由软件工作室Clirio创建,并由六个不同的场景组成。团队利用逼真和沉浸式的图形显示地面条件、危险、安全设备和减轻风险的最佳实践等变量,而精致的声音设计和动画则增添了体验的真实感。
OSHA培训研究所所长安东尼·托伊(Anthony Towey)指出:“每当你教导某人时,告诉他们是一回事,展示给他们是一件事,他们实际操作又是另一回事。利用混合现实,你实际上可以进入一个挖沟和挖掘的虚拟环境,但接近于实地情况。”
他补充道,数千名建筑承包商可以使用这种培训:“现在他们将能够在一个安全的环境中做到这一点,他们可以自由练习并犯错。”
又如,日本北海道电力正在使用HoloLens 2、Dynamics 365 Remote Assist和一个定制应用程序来帮助员工检查火力发电厂的关键设备。
在以前,每次巡检工人们都要在锅炉、涡轮机和发电机的巨大迷宫中穿行,并检查数千件设备,以找出往往细微的变化。这需要广泛的知识和经验。新员工通常需要一年时间跟着经验丰富的技术人员,然后才能独立处理一切。
如今,新员工的上手速度更快,因为相关的HoloLens 2应用程序提高了巡检的效率。这一经历使得北海道电力成为了混合现实技术的热心支持者。
日本北海道电力的梅本天流说道:“我曾将MR视为一种游戏技术,但从转移巡逻检查技能的角度来看,它可以作为一种直观且易于理解的解决方案。”
人人都有发言权
随着HoloLens 2的早期客户试点带来了更大规模的部署,微软已投入巨资,以令云连接技术更易于大规模管理。埃文斯指出,这意味着IT部门可以像管理其他笔记本电脑、手机或平板电脑一样管理HoloLens 2头显。
克莱纳表示,这种改进帮助丰田将HoloLens 2从实验室无缝地转移到企业:“通常,当我们离开实验室后会有一个巨大的学习曲线:我们如何在企业层面上维护和运营这一切?现在,我们可以避免这一点,因为当我们将设备带到IT部门时,他们会说:‘哦,这只是另一台Windows机器。我们知道如何处理。’”
埃文斯承诺,微软将继续与客户合作,解决独特而艰巨的挑战。
他进一步指出,像美国陆军这样的客户正在帮助改进软件和硬件,而其他客户则在帮助推动行业特定的优化,并最终可能实现更广泛的应用。这类似于陶瓷刹车和可变气门正时等技术最初出现在一级方程式赛车上,但最终从赛道走向了日常街道。
埃文斯说道:“军事领域有自己的一套需求,是根据士兵情况进行调整的需求。所以,它有助于推动整个平台向前发展。”
他补充道,客户的一个反馈是,与消费者期望不断出现新产品不同,企业不希望每两年更换一次设备,因为这会造成太多的混乱。没有人想因为仅仅性能提高10%就淘汰现有的设备。客户现在尚不需要替代设备,但他们希望确定替代设备能够在合适的时候出现。”
埃文斯表示,微软正在推进所有核心硬件技术:显示、追踪、传感器和续航。他指出:“我们正在寻找一个合适的设计点,令它(新版本HoloLens)成为一款有意义的迭代产品。他们(客户)希望有一个能够带来更高投资回报的替代设备。”
随着HoloLens硬件和软件的不断发展,丰田的克莱纳预计Guides将继续成为一线员工的“杀手级混合现实应用”。有一天,它可能像Word一样可以支持任何设备。但目前,丰田将继续在全公司推出HoloLens 2头显,为一线员工提供以新方式工作和协作的工具。
克莱纳说道:“我们现在有了一种可以部署到每个人身上的设备。它很容易维护,而且它允许我们的员工参与更大的对话。无论级别或团队结构如何。现在每个人都有发言权。”