浅谈手机AR的缺陷及可能性解决方案
文章相关引用及参考:映维网
本文来自专注于ARCloud的Sturfee团队
(映维网 2018年01月23日)移动时代将个人电脑和互联网的力量放在我们的口袋里。我们突然之间可以在旅途中搜索答案并消费信息。对于增强现实,许多人认为这是下一代主要的计算平台。
A16Z的Benedict Evans认为AR可能是继移动之后的下一个基本平台转变
但AR要达到这个阶段,它不能仅仅只是移动一种边际改善。实际上,如果AR只是移动的边际改变,这种技术将就不会获得足够的速度来摆脱移动范式的轨道,并且成为最终的主流。
AR在本质上允许我们,及时地,无障碍地,以及无屏幕地从源头中存取知识。时髦的AR眼镜尚未解决无屏幕问题,但我们至少可以解决前两个因素。苹果ARKit和谷歌ARCore正朝着正确的方向迈进,但它们只是支持为移动应用创建增加边际价值的新颖功能。我们目前仍处于AR平台创建的初期阶段,所以我们还有很多工作要做。这篇文章的目标是说明一种可能的AR用户之旅,为什么我们不能仅仅只是依靠ARKit,以及实现AR真正的承诺到底需要什么。
每个计算平台都是由少数几家公司引发和定义。目前我们正处于增强现实平台的“创造”阶段,几乎没有脱离移动的范例
1. 未来的AR城市
这是一个熙熙攘攘的星期六,你正在塔乘地铁去和好朋友一起吃午饭。在即将到达站点的时候,一条绿色指示线将出现,指引你如何走过地铁站并最终到达餐厅。随着你走过车站,空白的墙壁上将会出现迎合你兴趣的虚拟品牌店。你会注意到H&M刚刚进货了一系列的新款夹克,这时你可以询问AR眼镜夹克具体的价钱,然后把它们保存在你的愿望清单中。
景点,方向和其他有用的信息都可以随时随地无缝融合到现实之中
很快你就走出了地铁站并来到大街,而朋友曾在Facebook上提及或在大众点评过的店面将会突出显示。一辆旅游缆车经过,而你会看到一张面向你的路线图。突然之间,你发现《宠物小精灵》游戏中的队员在喷泉后给你留下了小精灵蛋。于是你留下了一个大大的红心表情符号来表达你的感谢。这时,绿线指示线变成了闪烁的黄色,提醒你要加快脚步,不否你将会迟到。
这是一个增强城市的愿景,亦即数字(有用的数字信息和幻想的数字信息)能够与现实世界无缝融合。引用苹果执行总监蒂姆·库克的话来说就是:“增强现实将会改变一切”。然而,今天的工具尚无法帮助我们实现这一点。要理解具体的原因,我们首先要理解ARKit的功能与局限。
借助世界尺度的AR,整个城市都可以成为你的游乐场。这是演示应用程序中的一个实时画面,其中篮球可以识别建筑物,并在墙壁之间和汽车之间跳动
2. 当前的ARKit应用
我们再次从上文提及的相同场景开始,但这一次我使用的不再是AR眼镜,而是智能手机上的ARKit应用程序。应用程序开始检测最多离你15英尺远的水平面,如地面或汽车车顶。然后应用利用检测到的平面作为锚点来放置3D数字对象,这样当你移动手机的时候系统仍然能粗略保持对象的相对位置。
但是,你将会注意到以下几点:
- 数字对象无法持久存在,同时不具备社交性。这意味着这些对象在用户在关闭应用程序后就会消失,而且另一个走过同一位置的应用程序用户无法查看这些内容。简而言之,没有持续性+没有社交性=孤独的AR体验。
- 你每次都必须重新扫描场景才能启动AR体验,因为系统没有保存任何世界模型。所以在你每次重新启动应用程序时,应用都会从周围的空白版面开始。这给用户体验增加了很多不必要的摩擦。
- ARKit应用无法检测垂直平面或距离太远的平面(摄像头的感知范围无法覆盖那么远的远距)。如果应用程序无法检测到平面,它将无法与之进行交互。
- 此外,ARKit应用依靠智能手机中的GPS和指南针/磁力计来估算你的位置并将数字对象放置在正确的位置。这在精度上可能不太可靠,特别是在城市之中(你是否还记得百度地图时的“南辕北辙”指示呢),这意味着星巴克的评分可能被错误地显示在麦当劳身上。
由于存在这些限制,大多数AR应用程序仅限于平面或所谓的“桌面AR体验”。这种应用只能带来新颖的功能,但在实际上无法驱动日常用例。你是否每天都会通过宜家应用来可视化数字家具呢?
为了帮助AR走向主流,我们需要为其带来情景性,及时性,持久性,可扩展性,以及能效性。AR社区将所需的突破性解决方案称为AR Cloud(AR云),业界资深人士Matt Miesnieks将其定义为“现实世界的机读型1:1比例模型”。我们的AR设备将成为这个平行虚拟世界的实时接口,而后者将能完美地覆盖在物理世界之上。”
3. AR Cloud将如何增强ARKit
简而言之,AR Cloud将可以令ARKit/ARCore在基于位置的AR应用程序方面变得更加强大。以下是说明了我们是如何解决当前平台的一些限制:
我们使用卫星图像(天空视图)来绘制出真实世界的精确3D模型,并继续检测和转换地理空间特征(如建筑物和城市景观),然后将其转换为机器可读的格式。接下来,AR Cloud引擎将通过视觉处理来分析你周围的特征(地面视图),从而即时地和准确地定位你的位置和方向。这可以通过任意摄像头实现,如智能手机,头显,甚至无人机。
通过结合天空视图和摄像头提供的地面视图,AR Cloud能够确定你在世界上的位置,并且识别你的周围环境
现在,ARKit可以利用这些AR Cloud衍生的地理空间测量来减少手机GPS和内部传感器的定位误差,并且精确检测街道级别的3D特征,如地形高程,建筑物表面(垂直平面),甚至是树木的变化。另外,通过将ARKit的网格计算限制在场景中的一些有限对象(即人和车),应用程序将可以节省大量的电量。
4. 世界尺度的AR
简而言之,AR Cloud能够帮助同一个ARKit应用程序充分利用你周围环境的潜力,并且解锁大量的创意设计和社交应用。所以,现在皮卡丘不仅只是可以行走在地面上,它还可以从墙壁上跳下来或者躲在雕像后面。你同时可以想象“星球大战”中Porgs小企鹅冲过公园,跳过长椅。以下部分素材来自于我们内部创建的应用程序:
AR应用程序Vortex Ball的真实片段。
具备社交性的有用AR:留下数字红心,让朋友发现或看到视觉指引和兴趣点(如餐馆,剧院,景点)
情景感知的数字对象(黄色),如猩猩爬上建筑物,牌匾从墙上伸出,小偷溜过角落,兔子躲在灌木丛中等等