微软专利分享如何用HoloLens 2识别物联网设备，构建AR/VR与AIoT的连接
便于HoloLens 2识别物联网设备
（映维网 2021年12月03日）物联网（IoT）设备正越发普及，而物联网设备与其他设备（例如云服务器和个人设备等）之间的信息交换正在改善人们的生活方式。信息交换可通过网络连接（如Wi-Fi连接、蓝牙连接等）进行。示例物联网设备包括：机器人设备、家用电器设备、温度控制设备、安全设备、安全设备、娱乐设备、医疗保健设备、医疗仪器设备、汽车设备、农业设备和工业设备等。
在名为“Dynamically changing a fiducial marker for iot device identification”的专利申请中，微软指出头戴式显示设备可允许用户探索周围的物联网世界。然而，当前的头戴式显示设备缺乏在有效地识别和有效定位物联网设备的能力。所以，这家公司希望通过所述发明来解决这个问题。
专利主要描述了一种用于物联网设备识别的基准标记，而头戴式显示设备可以使用所述标识符来与物联网设备建立网络连接。例如，标识符可以包括互联网协议（IP）地址、蓝牙地址、云物联网标识符或另一类型的标识符。标识符可分配给IoT设备并用于网络通信（例如由服务提供商）。或者，所述标识符可以由IoT设备生成以用于网络通信。
基准标记包括一种可允许头显中提取可用数据的图案。例如，基准标记可包括QR二维码、条形码和增强现实标签等。在各种示例中，基准标记的图案可包括具有已知形状和已知大小的目标点。目标点可由在头显执行的计算机视觉算法使用，以确定IoT设备相对于头显的方向和位置。
传统上，基准标记要么蚀刻在物联网设备，要么打印并层压在物联网设备，从而使基准标记静止，即无法更改。这会给头显或希望与物联网设备通信的其他设备带来问题，因为可用于与物联网设备建立网络连接的标识符通常会更改。换句话说，这种标识符是临时标识符。新标识符（例如IP地址、蓝牙地址、云物联网标识符等）可根据不同事件分配或生成，如电源周期和睡眠/唤醒周期等。
在这个专利中，微软提出了一种专门用于显示动态变化的标识符的电子纸显示器。物联网设备配置为通过电子纸显示器显示标记识符。电子纸显示器包括带电表面，所述带电表面基于电泳复制纸质打印标识符的外观和感觉。电子纸显示器仅在显示新图像数据时需要电源。通过使用电子显示器，当新标识符分配给物联网设备或由Io生成时，物联网设备可以动态生成和显示新的基准标标记。所述方式可以方便头显检测基准标记，并用于建立与物联网设备的网络连接。
与发射光的传统背光平板显示器不同，电子纸显示器配置为反射光。这提供了非常适合计算机视觉的高对比度，因为基准标记可以在宽视场内实现检测，例如可以从环境中的更多位置检测基准标标记。另外，通过使用电子纸显示器，即使物联网设备处于休眠或关闭状态，其都可以显示基准标记。这使得物联网设备能够节省电源，但同时允许头戴式显示设备建立网络连接，从而有效地通电或唤醒物联网设备。
在各种实施例中，头戴式显示设备可通过与物联网设备建立的网络连接获得物联网设备的属性。所述属性可包括关于物联网设备正在执行的任务的信息。在一个实施例中，头戴式显示设备可以使用所述属性来识别要与物联网设备关联显示的数据。头戴式显示设备可以使用相对于头戴式显示设备的环境中的物联网设备的方向和位置，并显示与物联网设备相关联的数据。
在图1的示例场景100，用户佩戴的头戴式显示设备102可以使用基准标记从多个不同的物联网（IoT）设备104A-104C识别物联网（IoT）设备104C。如图所示，物联网设备104A-104C包括电子纸显示器106A-106C。在示例场景100中，电子纸张显示器106A-106C配置在IoT设备104A-104C的上方。然而，电子纸显示器106-106C可以配置在IoT设备104A-104C上的不同位置，例如前面、后面或任一侧等，从而使得经由电子纸显示器106-106C显示的图像数据可以暴露于尝试检测图像数据的其他设备，例如头戴式显示设备102。
电子纸显示器106A-106C配置为单独显示不同且能动态变化的基准标记108A-108C。如上所述，基准标记108A-108C包括头戴式显示设备102可以从中提取可用数据的图案。
标识符可包括互联网协议（IP）地址、蓝牙地址、云物联网标识符或另一种类型的可更改标识符（例如是临时标识符）。可以（例如由服务提供商）将标识符分配给用于网络通信的IoT设备104A-104C。或者，可由IoT设备104A-104C生成用于网络通信的标识符。
在示例场景100中，物联网设备104A-104C是可在物理环境中移动的移动机器人设备。同时，物联网设备104A-104C与头戴式显示设备102位于同一位置。然而，物联网设备的其他示例类型可以包括家用电器设备、温度控制设备、安全设备、安全设备、娱乐设备、医疗保健设备、医疗仪器设备和汽车设备等等。另外，尽管示例场景100只是示出了三个机器人设备，但环境可以包括不同数量的物联网设备（例如两个、四个、六个、十个、二十个等）和/或不同类型的物联网设备。
头戴式显示设备102配置有图像捕获组件，并用于扫描物理环境和检测电子纸显示器106C显示的基准标记108C，然后从基准标记108C提取IoT设备104C的标识符110。例如，头戴式显示设备102可以使用深度摄像头从基准标记108C提取标识符110。物理环境可通过红外光扫描，并且基于基准标记108C对光源的曝光，头戴式显示设备102可感测反射光并获得基准标记108C的图案，并从图案中提取标识符。
在一个实施例中，头戴式显示设备102可包括数据处理单元204、计算机可读介质206、通信接口208和显示器210。计算机可读介质206包括IoT识别模块212，其配置为执行计算机视觉算法。计算机视觉算法扫描基准标记108A-108C，检测基准标记108A-108C的模式，并从基准标记108A-108C的模式中提取标识符。这使得头戴式显示设备102的用户能够在物理环境中探索IoT世界。
更具体地说，头戴式显示设备102的用户可以知晓位于物理环境中的IoT设备104A-104C的标识，并且知道IoT设备104A-104C正在做什么。另外，用户可以使用头戴式显示设备102向IoT设备104A-104C发送命令或指令。
延伸阅读：Microsoft Patent | Dynamically changing a fiducial marker for iot device identification
名为“Dynamically changing a fiducial marker for iot device identification”的微软专利申请最初在2021年8月提交，并在日前由美国专利商标局公布。
