微软研究团队分享：用数据集LaMAR开发AR场景定位、映射算法
通过增加面部landmark的数量来实现更精确的3D面部重建
（映维网Nweon 2022年10月27日）计算机视觉是计算机科学中最引人注目的领域之一。它的发展速度非常迅速，并且有望显著影响人们的生活和工作方式。近年来，机器学习和计算机视觉的融合交叉进展正在加速，并为众多领域带来了重大进展，包括医疗保健、机器人、汽车工业和增强现实。
为了帮助人们实现更多目标，微软研究人员一直在与所述领域的学者和专家合作，共同开展一系列的计算机视觉项目。一个例子是PeopleLens。这款以HoloLens作为灵感的头戴式设备可以通过空间化音频识别周围的人员，从而帮助失明人士或视力低下人士在社交场合进行互动。另一个例子是Swin Transformer。这个计算机视觉架构在目标检测中实现了高精度，并提供了将计算机视觉和自然语言处理（NLP）架构统一的机遇。
在日前举行的2022年欧洲计算机视觉大会（ECCV），微软介绍了团队在计算机领域的最新成果。下面将重点与混合现实相关的两份研究论文。第一篇是通过增加面部landmark的数量来实现更精确的3D面部重建，在降低所需计算能力的同时获得最先进的结果。另一篇主要涉及一个利用AR设备对真实世界进行视觉定位和映射的数据集。以下是第二篇“LaMAR: Benchmarking Localization and Mapping for Augmented Reality”的分享。
为了充分发挥增强现实的潜力，任何头显用户都应该能够将虚拟内容放置在物理世界中，与他人共享，并期望虚拟内容能够随着时间的推移而保持在原处。但是，在AR设备以全息图形式增强现实世界之前，它们需要构建物理3D世界的数字映射。然后，设备需要相对于所述映射进行定位或重新定位。这允许它们检索先前放置的全息图并在指定位置向用户显示。实现所述功能的计算机视觉基础称为映射和视觉定位。
通常，视觉定位的研究集中在单个图像，一般是精心挑选的著名景点的视图。但这并不能反映真实的AR场景。AR设备可以本地映射环境，并提供空间配准序列，而不是单个图像。这种序列同时可以包括其他数据，如来自传感器的惯性信号或无线电信号。然而，使用这样的序列进行定位非常具有挑战性，因为它们通常只是在正常设备使用过程中收集，而且并不旨在促进定位。
为了弥补这一差距，微软引入了一个全新的基准。这是微软一个专注于AR的设置，并明白到视觉重新定位是共享性和持久性AR体验的关键要素。考虑到典型AR场景的空间尺度，例如导航机场或检查工厂，团队必须设计一条能够自动计算各种现成AR设备（如HoloLens或iPhone）捕获真实AR序列的ground truth摄像头位置的管道。通过在所述基准评估最先进的方法，研究人员对当前研究提供了新的见解，并为AR视觉定位和映射领域的未来探索提供了途径。
......（全文 2180 字，剩余 1186 字）
