PICO在HarvardXR展示创新开发者工具：赋能机器人、AI、3DGS和Web开发者
赋能机器人、AI、3DGS和Web开发者
（映维网Nweon 2025年05月05日）作为 HarvardXR 2025 的赞助方之一，PICO展示了一系列旨在帮助开发者将XR 拓展至更广泛应用领域的创新技术与工具。本次大会主题为“The Augmented Self”，于 2025 年 4 月 19 日在波士顿哈佛大学举行，吸引了来自全球的 XR 行业专家、研究者、开发者、学生和爱好者参与。
在演讲中，PICO 产品经理荆可与盛若亚介绍了以下PICO创新的开发者项目：
- XR Robotics Toolkit：一套面向 XR 设备的开源工具，支持机器人远程操控与具身智能研究。
- PICO Splat：一款支持在 PICO 4 Ultra 上加载与渲染 3D 高斯点云（3D Gaussian Splatting）资源的开源 Unreal Engine 插件。
- PICO Spatial ML 与 SecureMR：一套端侧 AI 和机器学习框架，SecureMR 允许开发者基于视频透视数据部署 AI 模型，并保障用户隐私。
- WebSpatial：一个跨平台开源框架，用于将传统网站空间化，使 Web 开发者更容易将内容扩展至沉浸式 XR 环境。
以下部分将介绍每个项目的详细内容。PICO后续将在后续文章中持续发布更多更新。
XR Robotics Toolkit
XR Robotics Toolkit 的愿景是：通过 XR 塑造机器人与 AI 的未来。XR 与机器人结合的动机非常清晰：
- 技术契合：两者均依赖空间技术，如 6DoF 追踪与双目视觉。
- 交互优势：XR 提供适用于类人机器人远程控制的直接操控界面。
- AI 训练：XR 支持空间对齐的数据采集，有利于训练具身 AI 模型。
以下演示录制自 PICO 4 Ultra 上的 XR Robotics Toolkit 示例应用：
在这个例子中，操作者佩戴 PICO 4 Ultra，并使用运动控制器远程操控双臂机器人。机器人的视觉来自另一台开启视频透视模式的 PICO 4 Ultra，此外，工具包也支持外接立体相机以实现第一人称视角。
另外，该工具包还可用于记录操作者头部与手部的空间运动轨迹，为机器人 AI 提供训练数据。
PICO正在推进这套工具的开源计划，计划发布 GitHub 开源仓库，内容涵盖 XR 端软件、机器人端配套工具，以及支持 Unity 与 C++ 的开发工具。
欢迎加入Discord，并关注 #xr-robotics 频道 ，获取最新动态并参与项目共建。
PICO Splat
PICO于 2024 年 8 月发布了支持 3D 高斯点云渲染技术的文章，旨在提升 XR 中的沉浸式 3D 观感体验，并收获了广泛好评。
PICO现已将 Unreal Engine 5 插件 PICO Splat 开源发布至GitHub 和 Unreal 商店 。开发者可使用该插件在 PICO 4 Ultra 上加载并渲染 3D 与 4D 高斯点云（4DGS）资源。
以下是一些在设备上测试并捕捉的画面：
你还可以使用该插件渲染动画形式的 4DGS 内容，例如以下绘画动画演示：
欢迎加 Discord，并在#ue5-3dgs 频道 和PICO交流和提供反馈。
SecureMR
对于希望构建 AI/ML 场景理解功能的 MR 开发者来说，访问摄像头数据一直是个挑战。为解决这一问题，PICO推出了 SecureMR——一套保障隐私的端侧 AI 推理方案，专为混合现实场景打造。
以下为一个功能示例：
SecureMR 在 PICO 4 Ultra 上实时执行人脸检测，并在检测到的人脸上方渲染 3D UFO 模型。整个过程在设备本地完成，无需回传摄像头图像给应用。
除了人脸识别，SecureMR 还支持常见物体识别、姿态估计等多种模型，皆以隐私优先的方式执行。
SecureMR 工作流程如下：
- 应用将 ML 模型发送至 SecureMR。
- SecureMR 处理原始数据（如视频流、深度图）。
- 推理引擎执行模型。
- 推理结果以安全方式用于渲染或后续逻辑处理。
PICO已发布原生 C++ SDK，Unity 版本也即将上线。你可以访问SecureMR 开发者文档 、开发者文章 和 GitHub 仓库 获取更多技术细节。如有问题、讨论或反馈，欢迎加入Discord，前往 #spatial-ml 频道交流。
WebSpatial
最后，PICO介绍了 WebSpatial——一款开源、跨平台的 Web 空间化开发框架，用于将传统网站空间化至 XR 设备中。
WebSpatial 降低了传统 Web 开发者进入 XR 世界的门槛。全球超过 60% 的开发者使用 Web 技术，而 XR 传统上偏向 3D 引擎开发者。WebSpatial 的目标是扩大 XR 生态的开发者基础。
以下是一个电商示例，展示了 2D 窗口内嵌 3D 模型、玻璃材质特效与空间分层等功能。
WebSpatial 是 Web 开发者构建 XR 网站的理想方案，具有以下优势：
- 跨平台支持：兼容 Apple Vision Pro、PICO、Meta Quest、AndroidXR 等
- 低学习曲线：继续使用熟悉的 React 与 CSS
- 无缝空间化：原有 2D 网站可轻松拓展为 3D 空间版，不影响原站点
- 成本低：无需学习复杂 3D 引擎，可直接使用现有 Web 框架
- 可自定义的 3D UI：支持基于 CSS 与 React 的 3D 界面设计
- 即时生成沉浸场景：使用“spatial div”和嵌套布局快速构建空间内容
WebSpatial 的核心功能还包括：
- CSS 驱动的 3D 变换：轻松添加深度、材质与图层
- React 窗口管理系统：支持多窗口的创建、销毁与交互
- Model3D 组件：简化 3D 模型（支持 GLB、USDZ）渲染
- 动画支持：集成 Popmotion、React-spring 等 JS 动画库实现流畅过渡
https://v.qq.com/x/page/w30883ug7qc.html
WebSpatial 不只是一个工具，更是一个成长中的社区。欢迎加入 WebSpatial Discord，共同打造跨平台的空间 Web 未来。
PICO HarvardXR 2025 与会人员：
荆可 – 演讲嘉宾，XR Robotics 与 PICO Splat 产品经理
盛若亚 – 演讲嘉宾，SecureMR 与 WebSpatial 产品经理
王倩璐 – 开发者生态与运营
