iPhone 12 Pro LiDAR效果演示:提升3D扫描、AR虚实遮挡
社区开始通过实际的视频演示LiDAR的性能效果
(映维网 2020年11月10日)LiDAR是Light Detection and Ranging的缩写,亦即激光探测与测距。这是一种飞行时间深度传感器,它主要是发射激光,接收从目标反射而回的信号,然后计算激光脉冲的传播或飞行时间来测量距离。通过精确的计时,相关信息可用来判断每个点的深度。丰富的深度信息将能用于环境3D映射,导航和AR效果等各种不同的用例。
随着iPhone 12 Pro的陆续发货,社区开始通过实际的视频演示LiDAR的应用。
1. 3D扫描
LiDAR可以用来对3D对象和房间进行网格划分,然后在其上叠加内容。这可能是图像捕捉技术的下一波应用,比如作用于家庭装修,甚至是社交媒体和新闻业领域。
这种捕捉3D数据并公开分享的能力可以让搭载LiDAR的智能手机和平板电脑成为3D内容捕捉工具。LiDAR同时可以在不使用摄像头元件的情况下来获取对象和空间的测量值。
点击这里在 哔哩哔哩 查看视频
从这个意义上说,iPhone12 Pro和iPad Pro就像是没有头戴部分的AR头显……而它们将为苹果自己生产的AR眼镜铺平道路。
2. AR虚实遮挡
对于搭载了激光雷达扫描仪LiDAR的iPhone 12 Pro和iPhone 12 Pro Max等设备,苹果表示这意味着手机能够支持“即时AR”。因为所述组件能够以相当于“拍摄一张照片”的方式捕捉深度信息,无需任何手机移动,无需跨时间对比图像。
这款组件内置的高级场景理解功能允许Depth API利用关于周遭环境的每像素深度信息。当与场景几何体生成的三维网格数据相结合时,通过启用虚拟对象的即时放置并将与物理环境无缝混合,深度信息可以令虚拟对象遮挡更为逼真。这可以支持应用程序部署全新的功能,比如更精确的测量和将效果应用到用户环境中。
下面这个视频来自Sketchfab首席执行官阿尔班·德诺耶尔(Alban Denoyel)。我们可以看到,德诺耶尔用手上下左右地围绕这个虚拟瓜果移动,并且偶尔会变速,而虚拟瓜果可以相当逼真地藏在手的后面或者挡在手的前面。虚实切换非常无缝和流畅。
又如下面这个来自Patched Reality首席执行官帕特里克·奥肖内西(Patrick O’Shaughnessey)的演示视频,一个虚拟球体正沿着旋转滑梯滑下。令人感到惊讶的是,虚拟球体就如同真实球体一样,能够恰如其分地顺应遮挡而在视图中消失和出现。
点击这里在 哔哩哔哩 查看
3.人/物识别
基于LiDAR的原理,iPhone 12 Pro等设备同样可以用于进行人/物识别,并以多种不同的方式向用户提供反馈。
首先,设备可以告诉用户周遭环境是否存在人与物。如果存在,它能够以英尺或米表示距离,并在用户或对象接近或原理时定期更新。
其次,它允许用户设置与特定距离相对应的音调。例如,如果用户将距离设置为1米,当彼此距离超过阈值时,用户就会听到一个音调。
显然,这样的功能将会对视障用户带来重要帮助,尤其是盲人。
另外,这对于未来的AR眼镜同样非常有用,例如AR导航。AR眼镜可以利用LiDAR获取关于周遭环境对象的精确距离信息,并以合适的数字影像和声音来提高感知判断能力。
值得一提的是,三星,海力士,英飞凌和意法半导体等厂商已经开始切入飞行图像传感器领域。相信随着技术的不断成熟和成本的不断下降,LiDAR将会越发进步和普及,并大大提升增强现实在我们日常生活中的效果与应用。