AI可在数秒内将现实物体带入VR
AI可在数秒内将现实物体带入VR
(映维网Nweon 2025年11月25日)借助Meta全新的SAM 3D物体模型,AI可在数秒内将现实世界中的物体转化为3D资产带入VR。
多年来,利用传统的摄影测量技术,通过从不同角度拍摄物体的数十张图像来生成其3D模型已经成为可能。例如,Epic的RealityScan需要大约15到45分钟的云端处理时间,而苹果为其iPhone Pro机型提供的设备端Object Capture API则需要大约5分钟。
但在过去一年左右的时间里,先进的AI模型不断涌现,它们能够在几秒钟内从单张图像生成3D资产。尽管其质量尚无法与摄影测量技术相媲美,但随着每个新模型的发布,生成质量正在稳步提高,这反映了AI领域的整体快速进步。

关于这项技术如何应用于VR的一个例子是,Takahiro “Poly” Horikawa在SideQuest发布了一款Quest应用,通过手动追踪功能,你能够框选特定的现实世界物体并进行拍照。这背后利用了Meta的透视摄像头API。随后,这张图像提供给Stability AI并基于TripoSR模型的Stable Fast3DAPI进行处理,生成的3D模型会作为虚拟物体出现在图像拍摄位置的旁边。
然而,TripoSR模型推出至今已近两年。数天前,Meta发布了SAM 3D物体模型,这是从单张图像生成3D资产的全新尖端模型。
你可以在Meta AI Demos页面通过网页浏览器免费测试SAM 3D物体模型。只需提供一张图像,你就可以选择想要转换为3D模型的物体。几秒钟后,你将看到一个3D视图,并可以用鼠标或手指环绕查看该物体。
Meta的这个网站并非为移动设备屏幕设计,所以你最好使用PC、笔记本电脑、平板电脑或VR头显。另外请注意,模型仅针对无生命物体设计,不适用于人物或动物。
这个免费的公开演示版不允许你下载3D模型。但SAM 3D物体模型是开源的,可在GitHub和Hugging Face获取。这意味着开发者应该能够将其部署在提供GPU的云计算平台,并用它来提供类似EchoTheReality演示的体验,但输出质量更高,因为本质上就是将现实物体拉入VR世界。
Meta尚未宣布将所述功能添加到Horizon Worlds的计划,但这似乎是未来顺理成章的一步,可与其刚刚推出的Hyperscape世界形成互补。


