谷歌正式推出氛围编程XR,60秒将创意变为空间应用

PICO 4 Ultra

查看引用/信息源请点击:映维网Nweon

整个过程不超过60秒

映维网Nweon 2026年03月28日)谷歌日前正式推出“氛围编程 XR”。这项由Gemini与XR Blocks驱动的快速原型设计工作流,能将自然语言提示词转化为具备物理感知能力的Android XR应用,整个过程不超过60秒。

谷歌表示,Vibe Coding XR(氛围编程XR)是一种快速原型设计工作流,它将开源的XR Blocks框架赋能给Gemini Canvas,可以把用户提示词转化为完全交互式、具备物理感知能力的WebXR应用,适用于Android XR平台。这使得创作者能够在桌面端模拟环境和Android XR头戴设备快速测试智能化的空间体验。

谷歌正式推出氛围编程XR,60秒将创意变为空间应用

大型语言模型和智能体工作流正在改变软件工程和创意计算。我们正见证一种向“氛围编程”的转变,即大型语言模型将人类的意图直接转化为可运行的代码。Gemini Canvas等工具已使2D和3D网页开发成为可能。然而,XR依然难以触及,空间计算原型设计通常需要拼凑零散的感知管道、复杂的游戏引擎和底层传感器集成。

快速、基于氛围编程的原型设计可以解决这个问题。它们帮助经验丰富的开发人员直接在头戴设备测试新的用户界面、3D交互和空间可视化。这种快速验证可以节省数天的工作,避免在可能最终遭到放弃的想法上投入过多精力。同时,它使得构建展示自然科学和力学的交互式教育体验变得更加容易。

为弥合这一差距,谷歌正式推出Vibe Coding XR(氛围编程XR)。所述工作流将Gemini作为创意伙伴,并与基于Web的XR Blocks 框架相结合。通过将Gemini的长上下文推理能力与专门的系统提示和精选的代码模板相结合,系统能够自动处理空间逻辑。它能在60秒内将自然语言直接转化为功能完备、具备物理感知能力的Android XR应用。

团队将在ACM CHI 2026大会(4月13日至4月17日在西班牙巴塞罗那举行)进行现场演示。但你今天可以通过这里亲身体验。

XR Blocks Gem在60秒内将单个提示词转化为Android XR体验

氛围编程XR工作流程

在过去的一年里,谷歌一直在迭代设计和改进氛围编程XR的体验,力求使其无缝且易于上手。以下是一个示例:

用户在无需任何XR先验知识的情况下描述需求:用户在Android XR头戴设备(如Galaxy XR)通过Chrome浏览器打开XR Blocks Gem。他们使用键盘或语音输入提示词,例如“创建一朵美丽的蒲公英”。或者,他们可以选择在桌面端使用Chrome创建XR应用,并通过XR Blocks内置的模拟器进行预览。

Gemini设计并实现XR体验:Gemini学习XR Blocks的示例,利用其多步规划能力和高级推理来配置场景、感知和交互,进而构建出交互式的XR应用。

实时演示与快速迭代: 在Android XR中,用户在“进入XR”按钮上执行捏合手势,即可立即看到结果:一个动画效果的蒲公英,再次捏合时蒲公英会飘散。用户同时可以点击“分享”按钮,为他们的应用创建一个可分享的公开链接。

为了方便测试,谷歌在桌面端Chrome浏览器中提供了一个“模拟现实”环境。这使得创作者在将应用部署到Android XR设备之前,能够快速进行原型设计和测试交互。

谷歌正式推出氛围编程XR,60秒将创意变为空间应用

氛围编程XR框架图

氛围编程XR技术简介

氛围编程XR利用Gemini的长上下文能力和思考过程,使其充当专业的XR设计师和工程师。团队开发了一个专门的系统提示,用XR Blocks架构和示例来“教导”Gemini。

底层的XR Blocks框架以WebXR、three.js和LiteRT.js等易于使用的Web技术作为基础。其核心引擎管理着空间计算所需的复杂子系统交互,包括环境感知、XR交互和AI 集成。提示上下文包含以下组成:

  • 角色与指南:将大型语言模型设定为遵循房间级XR环境最佳实践的领域专家。
  • 包管理:指定应如何处理XR Blocks内的依赖关系,并强制执行推荐的默认样式。
  • 源代码与模板:在上下文窗口内提供一套精选的XR Blocks模板和示例源代码。这种方法减少了模型幻觉,并鼓励严格遵守有效的API调用和既定的设计模式。

应用场景:从提示词到现实

谷歌通过氛围编程生成的示例原型展示了氛围编程XR工作流程的多功能性:

  • 数学导师: 提示词是“用几何图形可视化欧拉定理。通过不同的例子解释顶点、边和面的概念,并高亮显示。” Gemini智能地选择了四面体、立方体和八面体作为三个例子,在XR中对它们进行可视化,并允许用户通过捏合手势切换不同的高亮策略。
  • 物理实验室: 提示词是“创建一个交互式物理实验:天平两侧放置不同的物体,使用不同重量(并带有标签)的砝码来平衡天平。” XR用户能够拿起并放下不同的砝码,直观地了解基本的天平在现实世界中是如何工作。
  • 沉浸式化学: 提示词是“创建一个交互式化学实验室,用户可以通过捏合点燃并观察三个实验:在空气中点燃甲烷,并在火焰上方放置一个干燥、冰冷的烧杯:火焰呈淡蓝色,烧杯内壁形成液滴;在空气中点燃乙烯,火焰明亮,产生黑烟,并释放热量;在空气中点燃乙炔,火焰明亮,产生浓烟,并释放热量。” Gemini设计了教育卡片,并为每个实验渲染了3D体积可视化效果,营造了一个安全、交互式的混合现实体验。
  • 薛定谔的猫: 提示词是“在XR中呈现一个美观的薛定谔的猫。手指捏合使一只猫(详细3D模型)进入盒子。靠近盒子50厘米以内时,盒子会变成两个并向左右移动,盒子前壁变得透明。你可以看到猫在两个盒子内的状态(死和活),演示量子态。再次捏合时,其中一个状态成为现实。盒子打开,你看到猫要么活着要么死了。再次捏合可以重新开始。” Gemini解释了量子态演示过程,用户通过捏合引导一只3D猫进入盒子。靠近盒子时,盒子会分裂,同时展示猫的活态和死态,而另一次捏合则使叠加态坍缩为单一现实。
  • XR运动: 提示词是“让我用手打排球,并与环境发生碰撞。排球带有纹理,从一个红色环中缓慢发出,更容易用手击打。”Gemini创建了一个带有纹理的球,可以与双手以及物理环境进行互动。
  • XR恐龙游戏: 提示词是“在XR中创建Chrome恐龙游戏。恐龙以体素风格呈现在用户面前,同时仙人掌都在半透明车道上向用户冲来。添加音频。” Gemini创建了经典Chrome恐龙游戏的XR版本,将原型设计时间从数小时显著缩短至几分钟。

你同时可以在XR Blocks Gem中使用更具体的上下文进行提示,例如利用NASA系外行星数据、程序化生成或创建高分辨率纹理,并在氛围编程XR流程中演示迭代优化过程。

初步技术评估

评估XR应用一直是一个挑战,很大程度上是因为它通常需要亲身在设备进行测试,并涉及主观的人工评估。为了测试氛围编程XR流程的有效性,团队构建了一个用于创建XR应用的初步提示词数据集:VCXR60。

VCXR60源自四次一小时的内部研讨会,包含20位谷歌员工提供的60个独特提示词。利用数据集,团队测量了推理时间和单次成功率,重点关注在XR Blocks模拟现实环境中实现零错误执行的情况。例如,一个简单的提示词“创建一朵美丽的蒲公英,当我拿起它时它会飘散”,在Gemini Flash中可能在20秒内完成,但相较于Gemini Pro出现运行时错误的概率更高,因为处理动画和手部交互在思考过程中需要更多令牌。

早期团队发现,大多数初始错误源于XR Blocks本身的缺陷,或是对不存在或已弃用的API的幻觉,导致成功率约为70%。这些见解促使她们进行了为期六个月的快速迭代周期。如今,经过11个主要版本更新后,谷歌分享了XR Blocks Gem v0.11.0在VCXR60数据集的初步评估结果,以作为基线参考。

谷歌给开发者的最重要建议是:在进行高级XR原型设计时,使用“专业模式”能获得最可靠的结果。

谷歌正式推出氛围编程XR,60秒将创意变为空间应用

结论

谷歌总结道:“氛围编程XR标志着向未来空间计算迈出了关键一步。在未来的空间计算中,限制其发展的将不再是技术专长,而是创造力。通过将大型语言模型的推理能力与XR Blocks的高层次抽象相结合,我们弥合了稍纵即逝的想法与可触摸、具备物理感知能力的现实之间的鸿沟。”

团队正持续致力于XR Blocks框架、基准测试和空间智能的研究,并诚邀人机交互、人工智能和XR社区为生态系统做出贡献。你可以通过下方这个链接访问开源框架并尝试现场演示。

本文链接https://news.nweon.com/139139
转载须知:转载摘编需注明来源映维网并保留本文链接
素材版权:除额外说明,文章所用图片、视频均来自文章关联个人、企业实体等提供
QQ交流群苹果Vision  |  Meta Quest  |  AR/VR开发者  |  映维粉丝读者
XR Dev Wechat Group/微信群

您可能还喜欢...

资讯