苹果Object Capture示例演示:更容易创建高质量3D模型
用iPhone捕捉图像并在Mac渲染的过程不超过10分钟
(映维网 2021年06月23日)macOS Monterey(macOS 12)不仅为用户带来了多项新功能,它同时通过全新的API来赋能开发者。其中之一是允许用户通过iPhone摄像头创建任何对象的3D模型的“Object Capture”。
苹果一直在推动AR技术的普及,但对于不少人来说,创建一个3D模型可能相当困难。通常,你需要先进的相机来拍摄3D照片,然后在专用的软件中渲染它们。但随着macOSMonterey和ios 15的出现,情况发生了变化。
苹果表示,利用Object Capture API,捕获和渲染3D模型的整个过程现在只需几分钟。尽管App Store中尚未具有这一新功能的应用程序,但苹果提供了利用这一API编译app的相关示例。日前,9to5mac的Filipe Espósito进行了尝试并分享了相关过程。下面是映维网的具体整理:
1. 要求
首先,你需要一个带双后置摄像头的iPhone或iPad(最好有一个是激光雷达扫描仪,但非必需)来捕捉深度数据。这里使用了运行iOS 15 beta的iPhone12 Pro Max。在苹果提供的示例应用中,必须以不同的角度捕捉对象的多个图像,这样API就可以以360度渲染3D对象。
你需要大约30张照片来创建一个3D模型,但苹果建议使用更多的照片以获得高质量的结果。对于物理场景,你应该确保最佳的照明条件,并且提供三脚架,以及一个在不改变对象位置的情况下自动旋转对象的机制。这里没有,所以质量会受到影响。
拍摄完照片后,把它们发送到运行macOS Monterey的Mac,然后渲染3D模型。当iOS15和MacOS12都向公众开放,届时会有能够简化所述过程的应用,但目前不得不使用苹果提供的另一个示例代码来完成这一步。
Object Capture API允许开发者和用户以低质量或高质量渲染对象,并且可以选择是按顺序处理图像还是使用AI来确定每个图像的顺序(会花费更多的时间)。有趣的是,苹果表示这种3D处理API需要一台具有16G RAM和至少4G VRAM AMD显卡的Intel Mac,或者搭载M1芯片的Mac。
2. 结果
在3分43秒后,入门级M1 MacBook Air将40幅图像渲染成了一个3D对象,格式为USDZ。总的来说,用iPhone捕捉图像并在Mac渲染的过程不超过10分钟。
结果令人感到惊讶。本来拍摄照片的条件状态远没非理想,但Object Capture API创建了一个看起来非常逼真的3D模型。
感到惊讶的不仅只是这个新API,同时包括iPhone和搭载苹果芯片的Mac都有足够强大的硬件支持来创建这样的内容。
苹果肯定在努力创造一个全新的增强现实世界,而且这家公司已经具备了实现所述目标的一切条件。相信,新的Object Capture API不仅可以更容易地创建3D模型,而且将在更多方面推动AR的普及。
3. 更多示例
值得一提的是,社区同样提供了其他结果示例(如下),例如三维扫描专家Jonathan Stephens利用所述技术数字化了一款运动鞋,另外Sketchfab的一个专门页面收集了通过Object Capture API创建的一系列3D扫描示例。