Facebook用『SLAM+实时光流』实现AR真实遮挡效果
这使得AR效果可以与真实场景完全交互并被其遮挡。
（映维网 2019年11月29日）当前的AR系统仅追踪稀疏的几何特征，不计算所有像素的深度。所以，大多数AR效果都是纯粹的叠加层，无法实现真实的对象遮挡效果。针对这种情况，Facebook提出了一种新颖算法，其可以将稀疏深度实时传播至每个像素。生成的深度图在时间空间方面十分平滑，但在深度边缘显示出明显的不连续性。这使得AR效果可以与真实场景完全交互并被其遮挡。
该研究由Facebook计算机摄影学团队研究科学家约翰内斯·科普夫（Johannes Kopf） 和华盛顿大学亚历山大·霍林斯基（Aleksander Holynski）联合完成，相关论文《Fast Depth Densification for Occlusion-aware Augmented Reality（用于遮挡感知型增强现实的快速深度密化）》已经公开发表。
相关论文：Fast Depth Densification for Occlusion-aware Augmented Reality
Facebook的算法使用视频和稀疏SLAM重建作为输入。首先，它会从光流场的梯度变化估计软深度边缘。由于在遮挡附近的光流不可靠，所以研究人员使用了一种全新的可靠性测量仿佛来计算正向和反向流场，并融合所得到的深度边缘。然后，算法会细化深度边缘，并将其与图像边缘对齐，从而定位深度边缘。最后，他们优化了传播深度，但鼓励在恢复的深度边缘位置出现不连续性。团队提供了一系列的真实示例结果，并演示了几种可识别遮挡的AR视频效果。为了定量评估算法，Facebook表征了使深度图适用于AR应用程序的属性，并提出了新颖的评估指标来说明效果。这家公司指出，与一组竞争性基准算法相比，他们的算法具有优势。
......（全文 849 字，剩余 310 字）
