高通专利探索AR/VR设备和智能家居设备的协同操作
控制智能设备
（映维网Nweon 2023年03月15日）如果大家有关注小米在2月底发布的小米无线AR眼镜探索版，你或许会对其中的多设备智能协同感兴趣。具体来说，这款基于高通骁龙Spaces的设备可以允许用户控制其他小米智能家居的智能协同。
当你置身于AR情景中时，你看向哪台设备就能操作哪台设备（仅支持米家控制设备）。比如你看向台灯，然后通过手势轻轻一点就能关闭台灯。
在一份名为“Extended reality control of smart devices”的专利申请，高通就介绍了类似的XR设备和其他智能设备的协同操作。例如，XR设备可以与诸如扬声器、灯泡、恒温器、电视等物联网设备配对，并允许用户直接通过XR操作界面进行控制。
高通认为，如果用户希望向另一用户的设备授予对物联网设备的临时访问权限，则当用户希望添加和/或移除对另一用户设备的物联网设备访问权限时，用户可能需要执行诸多耗时且经常令人困惑的手动步骤。
如果用户不打算永久访问物联网设备，则这个过程可能非常不方便，甚至会阻碍用户授予另一用户对物联网设备的访问。另外，如果当授予这种访问的用户不再打算允许其他用户保持访问时，而且这种访问没有被适当地移除，则这种访问可能会带来安全问题。
所以，这份发明主要描述了用于管理诸如XR设备的电子设备对诸如物联网设备的可控设备的访问。
在一个实施例中，物联网设备可以生成基于一个或多个因素（例如时间、事件、条件等）而改变的移位密码密钥。例如，诸如智能家居设备的物联网设备可通过密码散列函数的多个循环，每n个时间单位生成密码密钥。
在一个说明性示例中，物联网设备可以使用馈送字符串并经由多轮sha256哈希算法，每n秒生成一个加密密钥。为了移动密钥，物联网设备可以使用馈送字符串加上n来生成每个密钥。
物联网设备可以输出生成的密钥。附近的电子设备可以检测并提取物联网设备输出的密钥。附近的电子设备可以使用提取的密钥对其发送到物联网设备的一个或多个命令进行加密签名。物联网设备可以使用生成的密钥来验证/验证签名的命令，并允许签名的命令的发送者临时控制物联网设备。
使用如上所示的签名命令，电子设备可以临时控制物联网设备，无需手动网络密钥交换或配对过程，并且无需中央系统基于密钥批准配对。
通过基于签名命令授予控制，一旦用户不再期望/打算访问电子设备，物联网设备可以防止电子设备获得对物联网设备的永久访问，或者以其他方式要求用户进行不方便、耗时和/或手动的过程来移除对电子设备的访问。
例如，物联网设备可以基于一个或多个因素将每个生成的密钥设置为过期。一旦密钥过期，物联网设备可以不接受由过期密钥签名的命令。因此，能够访问过期密钥的电子设备不能使用过期密钥来签名用于控制物联网设备的命令。
物联网设备可以通过多种方式生成密钥输出。在一个示例中，物联网设备可以输出对密钥进行编码的特定图案，和/或可以由附近的设备转换为密钥。
例如，在涉及具有发光能力的物联网设备时，物联网设备可以输出物联网设备的调光和增亮图案。调光和增亮图案可以编码密钥和/或可以由附近的设备转换成密钥。例如，智能灯泡可以以编码钥匙和/或可以转换为钥匙的特定模式来调暗和调亮其发出的光。
作为另一示例，物联网设备可以根据编码密钥和/或可以转换为密钥的图案来改变物联网设备的色温。色温图案可以是人眼可见的或人眼不可见。
在一个实施例中，为了避免竞争条件，物联网设备可以接受由特定数量的先前密钥签名的命令。例如，物联网设备可以周期性地输出不同的密钥。物联网设备不仅可以接受用最新密钥签名的命令，同时可以接受由物联网设备生成的最后n个密钥中的任何一个签名命令。
在一个实施例中，一组附近的物联网设备可以共享相同的密钥，使得从一个物联网设备提取密钥的电子设备同样可以控制该组中的任何其他物联网设备。
例如，为了优化智能电视的观看体验，电子设备的用户可能希望关闭附近的智能灯，但智能灯可能在附近的房间中或角落/障碍物后面，使得电子设备对这样的智能灯不具有可视性。在这种情况下，电子设备可能无法检测光图案以提取每个智能灯的单独密钥。然而，智能灯和智能电视可以共享钥匙，以允许电子设备使用相同的钥匙控制智能电视和智能灯。当需要/生成新密钥时，各种物联网设备可以共享相同的基本密钥串。
为了增加安全性，物联网设备可以实现多因素签名/认证。例如，物联网设备可以基于设备/网络连接实现第二安全因素。在一个示例中，为了向电子设备授予控制，物联网设备不仅可以需要来自电子设备的签名命令，而且可以需要电子设备连接到与物联网设备相同的Wi-Fi网络。
图1示出了用于控制计算设备150的XR系统100。计算设备150可以包括物联网/智能设备，例如智能锁、智能自行车、智能安全系统、智能灯和智能冰箱等等。
在一个实施例中，XR系统100可以使用一个或多个图像传感器102来检测由计算设备150生成的视觉/光图案。视觉/光图案可以编码安全/授权数据，而XR系统100可以从视觉/光图案中提取数据以检测/定位计算设备150，和/或签名用于控制计算设备150的消息/命令，
在一个实施例中，XR系统100可以使用音频传感器104来检测由计算设备150生成的音频图案。音频图案可以编码XR系统100可以从音频模式提取的安全/授权数据，以检测/定位计算设备150，和/或签署用于控制计算设备150的消息/命令。在一个实施例中，XR系统100可以使用音频传感器104来测量距离信息，以帮助追踪、定位、映射和/或其他XR功能。例如，XR系统100可以使用音频传感器104来测量XR系统200和计算设备150之间的距离。
在图1示例中，计算设备150包括安全数据生成器155。安全数据生成器155可以实现用于生成密钥、令牌和/或其他安全数据的一个或多个算法，并用于认证、验证和/或授权拥有一个或更多个密钥、令牌、和/或其它安全数据的设备/用户。
图2A示出了使用XR系统100控制计算设备150的示例系统200。
在示例系统200中，XR系统100可以检测由计算设备150发射的图案，并允许XR系统200向计算设备150签名控制消息/命令的安全数据进行编码。控制消息/命令可用于控制计算设备150的一个或多个操作/状态。
计算设备150可以验证来自XR系统100的控制消息/命令是否与以计算设备150发出的图案编码的安全数据进行了签名。一旦计算设备150确认验证，计算设备150就可以授权/接受控制消息/指令并实现所请求的操作/状态。
计算设备150可以使用安全数据生成器155来生成安全数据，以在输出图案204中编码，输出图案204以供附近设备检测。输出图案204可以包括由输出设备160生成的光、视觉和/或音频图案。
在一个实施例中，为了避免竞争条件，计算设备150可以接受先前密钥中的任何一个签名的控制消息，从而控制计算设备150。例如，图3A示出了示例竞争条件场景300，其中计算设备150不接受用于控制计算设备150的先前发布的密钥。
在所述示例中，计算设备150显示第一密匙310。第一密钥310可以由计算设备150显示，或者以计算设备150所显示的模式或渲染进行编码。
在时间t1，计算设备150显示的第一密匙310位于用户302佩戴的XR系统100的图像传感器的视场内，图像传感器可以检测/捕获第一密匙310。XR系统100可以检测/提取用于控制计算设备150的第一密钥310。
在时间t2，XR系统100向计算设备150发送签名命令314。签名命令314可以包括用于控制计算设备150的操作和/或状态的一个或多个命令/指令。例如，签名命令314可以包括用于改变计算设备150的电源状态或执行诸如改变频道、改变音量等操作的命令。
在该示例中，签名命令314用第一密钥310签名。然而，当计算设备150接收到签名命令314时，计算设备150已经生成了第二密钥312。这产生了竞争条件，其中计算设备150在接收到用第一密钥310签名的签名命令314之前已经生成了新密钥。
如果计算设备150不接受比最新密钥旧的任何先前密钥，则计算设备150将拒绝来自XR系统100的签名命令314，因为签名命令314是用第一密钥310而不是第二密钥310签名。为了避免由于如图3A所示的竞争条件而拒绝用其他有效密钥签名的命令，计算设备150可以配置为接受最新/最新密钥和多个先前/先前密钥。
图3B示出了示例场景320，其中计算设备150配置为接受为控制计算设备150而发布的多个先前/先前密钥。计算设备150配置为接受在最后/最新密钥之前显示的n个先前密钥。
这里，计算设备150显示的第一密钥310在计算设备150接受的n个先前密钥内。因此，在时间t2，XR系统100可以发送用第一密钥310签名的签名命令314，并且即使签名命令314是用比最后/最新密钥更旧的密钥签名，计算设备150都可以接受/批准签名命令314。
图4示出了密钥共享场景400，其中多个计算设备共享安全数据和/或安全数据生成器，以授权附近设备共享安全数据，并使用安全数据来控制多个计算装置中的任何一个。在图4所示的示例中，计算设备405是可以由XR系统100控制的智能灯。
在图4中，XR系统100检测到由计算设备150显示的内容项410，并从内容项410中提取密钥。XR系统100使用密钥来生成签名命令420以控制计算设备405。XR系统100可以向计算设备405发送签名命令420，并且计算设备405可以验证用于签名签名命令420的密钥。在验证用于对签名命令420进行签名的密钥之后，计算设备405可以接受并实现来自签名命令420的命令。
在一个实施例中，XR系统100可以使用密钥签署命令以控制计算设备150。另外，XR系统100可以类似地从图案412中检测和提取密钥，并使用所述密钥来签署控制计算设备150的命令。编码在内容项410和图案412中的密钥可以是计算设备150和计算设备405两者使用/接受的共享密钥。
因此，一组计算设备（例如计算设备150、计算设备405和任何其他计算设备）可以共享相同的密钥，使得从计算设备之一提取密钥的电子设备可以使用该密钥来控制组中的任何其他计算设备。
例如，如果XR系统100的图像传感器具有对内容项410的可见性，但不具有对来自计算设备405的模式的可见性（或不能够检测到），则XR系统可以简单地从内容项410提取密钥以用于控制计算设备405。
类似地，如果XR系统100的图像传感器可以检测到图案412，但不具有对来自计算设备150的内容项410的可见性，则XR系统可以简单地从图案412提取密钥以用于控制计算设备150。
相关专利：Qualcomm Patent | Extended reality control of smart devices
名为“Extended reality control of smart devices”的高通专利申请最初在2021年9月提交，并在日前由美国专利商标局公布。
