Niantic研究：大幅度提高手机AR 3D映射的深度感知能力
将通过Niantic Lightship ARDK将这一尖端技术立即提供给所有AR创造者
（映维网 2021年07月13日）Niantic最初成立的目标是将增强现实技术带到大家实际使用的设备，包括智能手机。这种对可用设备的关注帮助AR获得了大量用户：《Pokémon GO》的下载量已经超过10亿次，并因“重塑游戏”而评为苹果2020年度应用之一。全球数以千万计的Niantic探险家正在畅玩这家工作室的游戏。
Niantic游戏的成功促使团队为第三方开发者开发了一个先进的AR平台。Niantic Lightship极大地简化了AR开发，允许创意团队能够专注于设计脑海中的游戏和体验，而不是担心启用代码、网络、平台和设备。为了推动AR的发展，团队不断用新技术和优化技术来迭代Lightship。
这家公司日前宣布，研究团队在AR技术方面的重大突破极大地提高了智能手机在AR和3D映射方面的深度感知能力，而工作室将通过Niantic Lightship ARDK将这一尖端技术立即提供给所有AR创造者。
Niantic指出，这项全新的深度技术将能为更多设备带来更好、更沉浸式的AR体验，同时赋能用户协作构建世界最精确的3D映射。
1. 使用2D摄像头来感知3D深度
智能手机摄像头通常只能用2D而不是3D来捕捉世界。之前没有一种简单的方法可以通过普通智能手机的2D摄像头来进行实时高质量的3D映射，而且很少有手机内置了3D激光雷达深度传感器。
所以，Niantic研究团队在软件方面创造了一个独特的解决方案，通过推断传统2D照片中隐藏的3D形状来训练智能手机感知深度。利用先进的机器学习技术，最新的图像深度技术可以从单个2D图像中确定对象的深度。另外，当用户移动手机并收集更多图像时，神经网络会增强三维深度映射。
相关论文：The Temporal Opportunist: Self-Supervised Multi-Frame Monocular Depth
这项创新的绰号是ManyDeph，因为它使用一个RGB摄像头从一个或多个图像中创建大量的深度映射，而这是在3D映射世界的关键。ManyDeph有效地克服了诸如移动对象、缩放模糊和全静态摄像头等挑战。它允许多视点深度网络能够在没有ground-truth深度数据的情况下得到有效训练。
Niantic的首席研究科学家Gabriel Brostow补充说：“我们的自监督软件可以作为LiDAR的替代或补充，这意味着它非常适合你的手机或可穿戴设备。”
2. 具有无限潜力的3D映射
数年前，Niantic研究团队将全球规模的技术挑战转化为使命：构建最新的地球3D映射。你能想象一下创建一张全世界的数字3D映射需要什么吗？你需要从哪里开始收集所有的映射数据呢？
为了迎接这一挑战，团队开始构建定制工具，然后通过收购包括Matrix Mill和6d.ai在内的优秀研究人员和开发者来扩展映射团队。团队非常清楚，构建一个大规模的、经常更新的映射需要全球协作，而且可以显示3D映射的设备需要可以通过正确的软件来构建3D映射。
Niantic的新深度技术能够允许普通智能手机为各个地点创建3D映射网格，这样用户就可以帮助贡献世界规模的映射，而且方法就像人们今天分享照片一样简单。当Niantic的用户畅玩AR游戏时，其可以选择动态扩展和改进每个人用于混合现实体验的全球映射。
考虑到Niantic目前的产品阵容，你可能会期望新的深度技术能够将虚拟对象更令人信服地融入现实世界，从而帮助AR映射应用程序和游戏。除了在公共空间内创建数字标志和引导箭头外，这项技术同时可以支持使数字角色能够正确缩放，出现建筑物的侧面、从墙壁上弹跳并隐藏在角落里等。
但这只是个开始。随着Niantic的合作伙伴使用Lightship构建应用程序，你将看到新的Niantic深度技术赋能体育团队、音乐家和艺术家通过沉浸式、基物数字内容来增强体育场馆和美术馆。
3. 开源开放
团队的研究依然在继续，而研究人员表示非常高兴能将新的Niantic深度技术交到世界各地的开发者。如果你希望自行测试，请访问相关的GitHub页面。
