麻省理工在HoloLens 2集成射频信号，实现被遮挡物体的感知识别
可以感知完全被遮挡的对象
（映维网Nweon 2023年02月28日）在过去数年中，行业对增强现实系统的兴趣与日俱增。包括微软、Meta、苹果和谷歌在内的主要科技公司已投资数十亿美元开发AR技术。对于这一点，一个重要驱动因素是AR系统有望在提高工业4.0部门的效率方面发挥作用，包括制造业、仓储业、物流业和零售业。
例如在电子商务仓库中，AR头显可以通过指导工人拣货、分拣、包装订单和退货来提高劳动效率。类似地，在制造环境中，AR头显可以通过可视化装配任务、在环境中自动标记工具以及帮助用户找到他们需要的零件来指导员工。
然而，相关的工业环境通常是密集且高度杂乱。例如，一个典型的仓库或黑暗的商店里堆满了包裹，而一个标准的制造工厂里堆满了材料和隔间。在这种环境中，大多数物品由于在箱子内、堆下或其他包裹后面而被遮挡。这种遮挡使得现有的头显难以感知这些物品，这反过来又阻止了系统识别和定位物品或引导工人。
针对这个问题，由麻省理工学院和密歇根大学组成的团队以微软HoloLens 2作为基础，开发了一个可以通过射频信号来提供非视距感知的AR头显。
团队指出，当今的AR头显通过摄像头或其他基于视觉的传感系统感知其环境，而这种视觉传感系统固有地局限于视距（LOS）。这种视距限制阻碍了AR系统在最需要的地方提高工作效率，亦即在杂乱和密集的工业环境中。
在研究中，他们提出了以下问题：能否设计和构建一个可以感知完全被遮挡的对象，并将人类的感知扩展到视线之外的增强现实系统？
研究人员表示：“有了这种能力，增强现实将超越人类的任何自然能力，并真正增强我们与世界的交互方式，从而在仓储物流、制造业、零售业等领域取得重大进展。”
例如，具有非视距（NLOS）感知能力的AR头显可以识别和定位被完全遮挡的特定物品，并帮助工人避免冗长的搜索过程。另外，这种AR头显可用于自动化仓库或零售店中物品的库存控制，而无需工人查看所有物品，并可提醒工人隐藏在遮挡物后面的错放物品。
为了实现这一愿景，团队采用的方法是利用射频（RF）信号。与可见光不同，射频信号可以穿过闭塞物，如纸板箱、塑料容器、木制分隔物和服装面料。事实上，射频传感的最新进展表明，在非视距和高度杂乱的环境中，使用射频信号可以传感和准确定位物品的潜力。
在现有的射频传感技术中，研究人员对利用UHF RFID（射频识别）标签特别感兴趣，因为它们在供应链行业中被广泛采用。例如，有研究表明超过93%的美国零售商采用了UHF RFID。
团队的愿景是将RFID传感和定位应用于AR头显，为其提供非视距感知，并增强人类视觉能力，从而应用于仓库自动化、电子商务履行和制造业。
他们希望构建一个在满足以下要求的同时实现上述愿景的系统：
- AR兼容性：系统必须与AR头显无缝集成，而不影响其现有传感器和显示器的性能（即，不妨碍头显摄像头或用户视场）。
- 无缝移动性：系统必须符合自然人类移动性。具体而言，它必须能够准确定位RFID（在视距和非视距设置中），而不需要用户执行不自然的运动模式。
- 可操作性：系统应向用户提供可操作的任务（例如指导用户在哪里搜索），并通知用户任务成功（例如，向仓库拣货员验证他们是否选择了正确的订单）。
- 用户友好性：系统需要小巧轻便，以便用户可以轻松佩戴AR头显并自由移动以完成任务。
满足上述要求具有挑战性，并且不能通过简单地将最先进的RFID定位系统与AR头显集成来实现。特别是，大多数精确的RFID定位解决方案需要多个以米级距离分开的隔开，这使得它们太笨重，无法安装到AR头显。
在另一方面，不需要这种天线阵列的解决方案通常依赖于基于机器人的天线，亦即需要在预定义的轨迹移动，这使得它们与人类的自然移动性不兼容。除了所述挑战之外，提供AR可操作任务超出了简单的RF定位，需要新的机制来融合自然移动性下的RF和视觉感知，并在头显显示输出。
所以在研究中，团队提出了X-AR，一种带有内置射频传感系统的增强现实头显。其中，佩戴X-AR的用户可以在他们的环境中自由行走，而设备可以自动识别和定位环境中即便不在视距内的物品。使用所述信息，X-AR会引导工人找到目标物品（工具、包裹等），并验证他们是否已选择了正确的物品。
研究人员表示，所述头显实现了多个创新：
- AR共形宽带天线：X-AR引入了一种与头显共形的超轻量宽带天线的设计。独特的天线设计与AR头显面罩的形状相匹配，不会阻挡用户的视线或任何传感器。天线同时可以实现辐射、带宽（BW），并获得执行准确RFID定位所需的属性。
- 射频视觉合成孔径雷达：X-AR在定位环境中的RFID标签时，不会对用户的运动模式做出限制性假设，并可以利用自然的人类移动性。为了做到这一点，X-AR首先使用来自AR头显摄像头的视觉信息来在环境中进行自我定位。然后，它使用在用户运动期间收集的RFID测量值创建合成孔径雷达（SAR），并以高精度定位RFID标记的物品。另外，X-AR引入了一系列技术来处理由自然人体运动产生的定位伪影和约束，如自然头部倾斜和RFID反向散射辐射属性。
- 射频视觉验证：X-AR设计的最终组成是一种用于验证用户何时拿起了目标RFID标签物品的机制。这种验证对于避免成本高昂的错误非常重要，例如在电子商务仓库中拣货并将错误的订单运送给客户。人们可能会假设，一旦用户拿起RFID标记的目标项目，就可以通过将其定位到用户手中来简单地实现这种功能。在实践中，这样做十分具有挑战性。因为与上面的场景不同，用户的行走模拟了合成孔径，用户挑选物品停留在相对固定的位置。为了应对这一挑战，X-AR利用了RFID标签的移动性。具体而言，它执行反向SAR，以相对于所选项目的轨迹定位头显。
最终，团队以微软Hololens 2为基础实现了X-AR的端到端原型。在实验中，研究人员通过Unity对Hololens进行编程，以显示项目位置和标签，引导用户找到目标项目，并显示验证结果。他们评估了X-AR在230次实验试验中的表现，而结果表明：
- X-AR的共形天线在重量（<1g）、尺寸（共形）、带宽（200MHz）和增益（约0dB）方面达到了所有期望的规格
- X-AR在视距和非视距场景中准确定位RFID标记的物体，中值精度为9.8cm。即使是第90百分位精度都保持在45cm以内。相比之下，基于标准SAR的基线具有两倍以上的误差，24.8 cm的中值精度和99.1 cm的第90百分位精度。
- X-AR追踪RFID标签和用户的手的移动，以自动验证所拾取物体的准确度超过95%（F-Score）。
相关论文：Augmenting Augmented Reality with Non-Line-of-Sight Perception
接下来，团队计划尝试各种其他增强功能。这包括WiFi、毫米波技术、太赫兹波，以及射程超过3米的改进天线。
