如何用HoloLens 2+Azure Percept DK实现MR遥测管理解决方案
（映维网Nweon 2022年02月25日）微软日前与Kagool合作演示了一个端到端的现场服务管理解决方案。通过结合Azure Percept DK、人工智能、物联网、Cognitive Services认知服务和混合现实，团队数字化了一个物理乐高挖掘机。
所述解决方案结合了实时遥测，并集成了完整的端到端现场服务管理解决方案。其中，实时性能监控可以从一个中心位置进行全球分析，从而减少停机时间和维护成本，优化性能，降低TCO并延长asset的寿命。同时，趋势分析可以带来智能维修和预测性维护，并在故障发生之前采取预防措施。
开发人员在下文介绍了如何使用Azure Percept DK集成端到端现场服务管理解决方案，并利用混合现实将遥测叠加到数字孪生。
1. 解决方案概述
下面的架构图涵盖了用于实施现场服务管理解决方案的所有服务。Azure Percept DK正在收集的数据发送到物联网中心，随后自动触发Azure Function以更新Azure Digital Twins（ADT）中的属性。在ADT中，团队在一个数字副本中重建了全球乐高asset部署，精确显示了每个asset的部署位置。Unity将根据使用REST API发送给ADT的自定义查询检索属性，并在3D模型覆盖遥测数据。
下面这个视频是关于数字孪生如何响应实时Azure IoT接收遥测：
2. 解决方案的实现
对于所述解决方案的实现，你首先需要设置Azure Percept DK，创建并配置物联网中心资源，使用Custom Vision训练人工智能模型，以及设置你的Function应用实例，以便在服务之间移动数据。若在入门时需要任何帮助，请查看以下资源：
Set up the Azure Percept DK
IoT Hub instance
Custom Vision instance
Function app instance
Azure digital twin instance
Unity project configured using Mixed Reality Toolkit
下面是具体的实现步骤：
- 将Azure Percept DK接到物联网中心。IoT Hub通过相应地收集和分发数据来充当IoT设备的网关。团队使用提供的向导将Azure Percept DK接到IoT Hub：
- 使用Custom Vision创建和训练AI模型，并使用Azure Percept Studio将其部署到设备。例如，团队训练了一个AI对象分类模型来检测不同大理石的颜色，如下图所示：
- 创建Azure Digital Twin实例并定义端点。团队采用分层方法，根据每个设备的位置对其进行分组（大陆-地区-城市-乐高asset）：
- 配置基于事件网格的Azure Function。这将通过IoT Hub接收的遥测自动更新Azure Digital Twin属性。
- 将你的function部署到Function App实例。团队使用Visual Studio编写了function运行所需的代码，并使用发布功能进行部署了：
- 返回到IoT hub，导航到事件选项卡，创建新的事件网格模式订阅，并选择之前创建的Azure Function作为端点。这是为了确保所有传入消息都路由到正确的端点。创建活动路线后，主页应如下图所示：
- 将Unity项目配置为自动更新三维模型的数据。使用Azure Signal R，你可以检测Azure Digital Twins中的属性于何时更新。另外，团队同时使用了强大的Azure Digital Twins API从ADT发送查询和检索元数据。
- 配置Unity项目以显示ADT值。为了增强用户体验，团队展示了乐高CAD模型以及一定的GUI元素：
- 左面板：列出所有全球部署的asset及其状态
- 中面板：来自Azure Digital Twins的实时物联网遥测
- 右面板：向SAP（ERP系统）发回工单以更换故障部件
3. 最后的想法
上面的示例展示了将Azure Percept DK与HoloLens集成有多么容易。利用这个现场服务管理解决方案，你可以轻松地从世界各地远程监控相关的asset，并预测部件是否即将出现缺陷，以防止任何潜在的停机或损失。这种解决方案可以在人类无法实际到达asset位置的情况下实现。
这个解决方案的好处众多，例如：
- 通过与ERP系统的无缝连接，远程诊断世界各地的性能问题，创建检查订单，部署维护人员，并订购更换部件
- 预测可能发生的故障，以及智能地设置维护间隔，减少停机时间并节约成本
- 通过持续吸收存储和高速转换大数据，开发基于按使用付费的新商业模式
- 根据预设的公差集中监控性能，以识别问题，采取预防措施并减少停机时间
