航天公司MDA用HoloLens 2助力工程师、宇航员参与太空任务
航天应用
(映维网Nweon 2022年02月24日)加拿大航天技术公司MDA主要制造用于国际空间站的机器人手臂,而这家公司意识到可以使用沉浸式混合现实体验来帮助工程师可视化设计,加速诊断问题,并培训宇航员和地面控制员。所以,团队开始使用Microsoft Azure Spatial Anchors来为不同地点的多人提供远程培训。接下来,MDA将继续开发混合现实应用程序,为绕月运行的月球空间站建造新的机械臂。
我们大多数人都只是从照片中知道国际空间站,所以很难理解这个设施的完整尺寸。但通过而微软HoloLens,你可以看到合理尺寸比例的国际空间站。即便是曾作为宇航员和指挥官前往国际空间站的MDA机器人技术和空间操作副总裁提姆·科普拉(Tim Kopra),他都对HoloLens的这种能力感到钦佩。
科普拉表示:“当我在家里用HoloLens 2浏览空间站时,空间站看起来非常大。这种混合现实体验带来了不可思议的熟悉感。站在空间站的顶部并向下看的时候,我想起了当时的太空行走。我有一种与自己身穿太空服并在空间站外看着广阔黑暗时完全相同的感觉。”
作为加拿大空间技术先驱MDA的机器人技术和空间运营副总裁,Kopra现在帮助确定HoloLens 2如何增强经验,以支持空间任务、新型空间机器人的设计和沉浸式宇航员培训。
MDA总部位于加拿大安大略省布兰普顿,专门从事地理智能、卫星系统、机器人技术和空间操作。这家公司以开发和运营在航天飞机任务、卫星部署、为哈勃太空望远镜提供服务、以及在组装国际空间站方面发挥过重要作用的机械臂Canadarm和Canadarm 2而闻名。MDA同时开发了Dextre。这个两臂“机器人工匠”具有令人赞叹的力量和灵巧性,并且可以执行太空行走中完成的其他任务。
加拿大对MDA的创新感到非常自豪。在5加元钞票的背面,你可以看到宇航员、Dextre和Canadarm 2的身影。
为了进一步帮助工程师、地面控制员、宇航员和其他参与太空任务的人员,MDA把目光投向了HoloLens 2。
1. 从静态模型到逼真体验
通过使用开源的Mixed Reality Toolkit(MRTK),MDA已经开始使用Hololens 2来增强其研究和设计能力。MDA软件部门的高级技术人员巴特·瓦尔齐林伯格(Bart Verzijlenberg)指出:“MRTK使组合混合现实功能变得非常容易。”
利用混合现实,工程师们对空间机器人的复杂机制有了更深入的了解。他们喜欢在面前看到自己的设计,自由走动并将其拆开。瓦尔齐林伯格解释道:“当我按下一个按钮,整个模型就会弹出。你可以单独查看所有核心组件,从而更好地了解它的工作原理。”
在MDA的零重力动态机器人仿真和混合现实(DREAMR)实验室,工程师可以测试硬件在轨道上的行为。他们甚至可以在操作过程中查看内部。瓦尔齐林伯格说到:“如果两个接口接在一起,你可以把头放在接口上,但这对真正的机器人来说并不安全。”混合现实可视化不仅在设计阶段有帮助,而且在空间机器人部署到太空后同样能够派上用场。科普拉表示:“如果我们遇到技术问题,我们可以查看从国际空间站接收到的遥测数据并诊断问题。在3D沉浸式混合现实环境中,我们可以准确地确定问题发生的位置。这仅靠遥测甚至绘图无法做到。在HoloLens出现之前,研究小组会需要以各种方式查看许多数字,从而找出到底发生了什么。但利用HoloLens,我们可以简单地按下播放键,并且可视化手臂的所有动作。”
2. 锚定体验
当多人参与沉浸式体验时,全息图需要为每个用户显示在同一位置。为了提供一致性,MDA使用了Microsoft Azure Spatial Anchors。瓦尔齐林伯格说到:“我们使用Spatial Anchors将所有元素预先放置在房间的正确位置,这样每个用户都可以从正确的位置查看全息图。”
即使当人们从不同的地点查看体验时,这种方法依然有效。他进一步解释道:“每个房间都有自己的Spatial Anchors。例如,如果蒙特利尔的某个人在她的物理空间放置锚定,而我在我家做同样的事情,我会看到她相对于Spatial Anchors的位置。我们都体验到相同的物体和视觉。”
Spatial Anchors消除了创建和恢复持久数字锚的困难任务。瓦尔齐林伯格补充道:“我可以简单地穿戴HoloLens并四处走动,并口说‘记录’,然后就能创建一个自动加载并与他人共享的Spatial Anchors。”
MDA期望通过Microsoft Mesh加深这种体验,以更高的深度和维度进行连接和协作。
3. 使用HoloLens 2训练宇航员
MDA正在使用混合现实来训练工程师、地面控制员和宇航员。科普拉说到:“HoloLens 2能够以一种与观看幻灯片或模型完全不同的方式强化学习。”
限制,宇航员们正通过为期两周的强化课程来训练如何操作Canadarm 2。MDA运营团队负责人凯文·纳西莫克(Kevin Nasimok)表示:“我们希望为宇航员提供尽可能逼真的体验。”
现在,这种培训现在可以远程完成。瓦尔齐林伯格说到:“与屏幕相比,这是一种更具沉浸感的联系。你看到有人站在你面前,看到他们的手在动,你无法从网络摄像机获得这种视觉反馈。”
4. 月球太空站Lunar Gateway
MDA目前正在为将从2024年起作为月球任务基地的Lunar Gateway开发一个人工智能机器人系统Canadarm 3。科普拉表示:“通过Hololens 2,我们优化了设计并构建了满足任务要求所需的产品。它将成为我们业务中的一个变革工具。”
对于Lunar Gateway的地面控制器,其面临的挑战之一是它与地球的距离。瓦尔齐林伯格说到:“我们接收信息的时间非常有限,你需要得到回复。使用微软HoloLens,你可以快速了解发生了什么,并计划下一步行动。”
5. 探索进一步的能力
MDA认为Hololens 2是一个Game Changer,它改变了一切。科普拉指出:“当你与团队交谈时,你感觉到了大家高昂的情绪。我们正在为环绕月球运行的空间站建造机器人,这是有多酷呀,而HoloLens正在帮助我们做到这一点。”