单图瞬变交互空间,李飞飞的Marble AI革新WebXR 3D场景生成

PICO 4 Ultra

查看引用/信息源请点击:uploadvr

能够在数分钟内将单张图像转换为可在WebXR中查看的立体场景

映维网Nweon 2025年11月25日)李飞飞新创办的World Labs日前推出了人工智能模型”大理石Marble”,而它能够在数分钟内将单张图像转换为可在WebXR中查看的立体场景。

单图瞬变交互空间,李飞飞的Marble AI革新WebXR 3D场景生成

与过去几年中几乎所有显著的3D重建技术进步一样,Marble生成的是高斯飞溅,即在3D空间中拟合成千上万个半透明的彩色斑点(高斯分布),从而能够实时、逼真地渲染任意视角的画面。但Marble支持的输入类型之多样和其输出速度之快,都是前所未有的。

尽管像Meta的Horizon Hyperscape和Varjo Teleport这样的其他高斯飞溅生成系统需要数百个输入帧和数小时的处理时间,但对于最简单的模式,Marble只需一张输入图像或一个文本提示,就可在数分钟内生成飞溅效果。

对于更高级的输出,如果你支付每月20美元的订阅费,Marble可以接受多张图像、短视频,甚至一个3D结构作为输入,并将使用World Labs称之为”Chisel/凿子”的工具。

“凿子”允许你像在游戏编辑器中一样,用粗糙的3D形状布置场景,然后使用文本提示将其转化为细节丰富的立体场景。

通过订阅,Marble的输出支持交互式编辑、扩展,并能够将多个世界组合在一起。你同时可以将其导出为高质量的传统3D网格模型,不过这需要数小时的转换时间。

由于Marble独特的能力组合,World Labs将其描述为”一流的生成式多模态世界模型”。

在Marble的网络应用,你可以免费生成自己的场景,并通过头显的网页浏览器使用WebXR在VR中查看输出结果。

当然,一个显而易见的问题是,图像框范围之外的细节是模型”幻觉生成”,所以会与实际摄像头背后的场景大相径庭,除非你提供多张输入图像。

尽管如此,抛开限制不谈,能够从单张图像或一句话在几分钟内生成立体场景的能力已经非常卓越,而随后还能结合编辑器界面和自然语言对其进行编辑,则更显其强大。

另外,能够将场景作为传统的3D世界导出,并通过”凿子”工具进行几何控制,这似乎为VR开发者为其交互式应用和游戏构建环境带来了巨大的潜力。

你可以在marble.worldlabs.ai尝试 Marble。请注意,如果不付费,你创建的任何场景都将公开列出。你需要每月支付20美元的订阅费才能创建私有场景,同时解锁更高级的创建、编辑和导出功能。

本文链接https://news.nweon.com/136277
转载须知:转载摘编需注明来源映维网并保留本文链接
素材版权:除额外说明,文章所用图片、视频均来自文章关联个人、企业实体等提供
QQ交流群苹果Vision  |  Meta Quest  |  AR/VR开发者  |  映维粉丝读者
XR 招聘Job
XR Wechat Group/微信群

您可能还喜欢...

资讯