AI帮你写VR代码,Meta发布沉浸式网页SDK智能体工作流

PICO 4 Ultra

查看引用/信息源请点击:映维网Nweon

想法即体验

映维网Nweon 2026年04月11日Meta曾在Connect 2025大会发布了用于在网页端构建VR应用的开源框架Immersive Web SDK(IWSDK)。它旨在处理VR开发中的棘手环节(物理模拟、手部追踪、抓取交互、移动方式和空间UI),以便你能专注于创意和想法本身。

现在,团队推出了与IWSDK完全集成的智能体工作流,以帮助你进一步加速VR开发。AI会与你并肩编写代码、测试交互并修复错误。开发者、游戏设计师、美术或其他任何人都可以在AI编码工具中打开IWSDK项目,将想法直接转化为可运行的VR体验,无需亲自编写代码,甚至不需要头戴设备。

AI帮你写VR代码,Meta发布沉浸式网页SDK智能体工作流

为了测试IWSDK结合智能体工作流的效能,团队重新审视了旗下一款展示级WebXR应用:Project Flowerbed。这款沉浸式的VR园艺体验在发布时备受用户喜爱并启发了众多开发者。

原始代码需要编写数万行定制逻辑,但使用智能体工作流,团队利用Project Flowerbed现有的创意资产,从头开始重建了应用代码库,仅仅耗时15小时。这可不是修改拼写错误或生成模板代码那么简单。这是一个完整的、可交互的网页VR体验,是由AI利用IWSDK重建而成。

为何要在网页端构建VR?

WebXR允许你一次性将内容分发至桌面端和所有VR设备,用户只需点击链接即可立即访问你的体验。无需应用商店,无需下载。仅在Meta Quest平台,平均每月就有一百万用户参与WebXR体验。

网页端同时特别适合AI辅助开发。没有冗长的编译步骤,AI可以编写代码、重新加载并即时查看结果,在无需你干预的情况下进行多次迭代循环。这使得网页端成为绝佳的起点,尤其对于VR开发新手而言。

智能体循环

在实践中,智能体工作流意味着AI所做的不仅仅是生成代码,它还会测试和验证代码。这种闭环系统对于获得高质量、可靠的结果至关重要。IWSDK的AI集成彻底闭合了这一循环,为开发者提供了极致的生产力。

IWSDK可与你喜爱的AI编码助手配合使用,包括Claude Code、Cursor、GitHub Copilot、Codex及其他工具。利用它们,开发者可以通过完整的智能体循环使用IWSDK构建高质量的VR体验。

  • 知识渊博的代码生成:智能体能够访问和遍历完整的IWSDK文档和代码库,能生成遵循框架模式与最佳实践的高质量代码。
    -场景理解与测试:智能体会截取VR场景的屏幕截图,并理解每个物体的位置、摆放和命名规则,从而做出明智的决策。除了理解场景,智能体还能与世界交互。AI可以四处移动、拿起物体、按下按钮、模拟手势,测试动态VR环境中的各项功能是否正常。
    -验证:当出现问题时,智能体可以自行进行修改并重新测试。它会在此循环中不断尝试,直至找到解决方案。智能体循环还让团队中的任何成员都能更轻松地微调体验,只需给出诸如“感觉太快了”或“把那些东西挪近点”之类的反馈即可。它能将你的文字映射到正确的物体上,调整其设置,并以可视化方式确认更改。

开始使用:亲自尝试

理解智能体循环的价值以及如何将其应用于VR体验的最佳方式就是亲自尝试。IWSDK让上手构建变得非常简单:

  • 创建项目。运行一行命令(npm create @iwsdk),选择你使用的AI工具(Claude Code、Cursor、GitHub Copilot或Codex)。一切会自动配置好,无需额外设置。

  • 描述你的想法。在AI工具中打开项目,用提示词提供你的想法,例如:“帮我做一个有霓虹方块和激光剑的RPG风格VR游戏。”

  • 观察构建过程。AI会编写代码、加载场景、测试交互、发现错误、修复错误,然后不断重复,全程无需你动手。你也可以启用协作模式⁠,与AI在同一个浏览器标签页中协同工作。

  • 通过提示词微调。告诉它:“这些方块感觉太快了。”AI会调整设置,向你确认更改,然后保存。

  • 通过链接分享。让你的AI编码工具帮助你将项目部署到任何托管服务商(如GitHub Pages、Vercel、Netlify等),然后发送URL。任何人都可以在VR中打开它。

你需要准备:

  • Node.js⁠ 20或更高版本

  • Chrome或Edge浏览器

  • 一个AI编码工具(Claude Code、Cursor、GitHub Copilot或Codex)

  • 推荐:一台Meta Quest头显(Quest 3、3S或Pro)用于设备端测试,但上手阶段并非必需。

在终端中运行npm create @iwsdk,在AI编码工具中打开项目,描述你想构建的内容,更多分步指南请访问这个页面

底层原理揭秘

IWSDK拥有一个专门构建的AI集成层,它为编码助手提供了前所未有的能力:对实时3D场景的空间理解。

SDK基于Three.js⁠构建,采用由ELICS⁠驱动的高性能实体组件系统(ECS),并配备了基于Vite的工具链以实现即时热重载。开箱即用提供:Havok物理引擎、单手/双手及远距离抓取交互、传送与平滑移动、完整的关节级手部追踪、空间UI面板(UIKitML)、3D音频、AR场景理解,以及基于浏览器的XR模拟(IWER)。开发过程中无需头显。

AI如何闭合循环

你的AI编码工具会连接到运行在Vite开发服务器内部的MCP(模型上下文协议)服务器,通过WebSocket与浏览器建立桥接。这为AI提供了超过40种专用工具,涵盖场景检查、XR设备模拟、ECS调试和语义代码搜索:

  • 观察场景:截取屏幕截图并查询完整的Three.js场景层级,以理解每个物体的位置、组件和相互关系。

  • 制XR输入:通过IWER的RemoteControlInterface以编程方式移动模拟头显、指向控制器、按下按钮、切换手部追踪以及模拟捏合手势。

  • 调试ECS:暂停模拟、逐帧步进、开关各个系统、实时修改组件数值,并通过对比状态快照精确定位变化。

  • 搜索真实API:利用语义搜索查询本地RAG服务器,该服务器索引了IWSDK代码库中的3000多个代码片段,确保AI始终引用真实的函数签名和模式,而非凭空捏造。

每个项目同时附带针对常见工作流预置的智能体技能、包含最佳实践与性能约束的项目知识文件,以及预先配置好的权限,使AI能够自主工作。

IWSDK采用MIT许可证开源,请访问iwsdk.dev⁠⁠开始使用。

本文链接https://news.nweon.com/139443
转载须知:转载摘编需注明来源映维网并保留本文链接
素材版权:除额外说明,文章所用图片、视频均来自文章关联个人、企业实体等提供
QQ交流群苹果Vision  |  Meta Quest  |  AR/VR开发者  |  映维粉丝读者
XR Dev Wechat Group/微信群

您可能还喜欢...

资讯