PICO XR开发重大更新,发布 Native XR SDK v3.0.0
PICO 发布 Native XR SDK v3.0.0,原生 XR 开发重大更新
(映维网Nweon 2025年05月09日)PICO日前正式发布了PICO Native XR SDK v3.0.0,这是专为 PICO 设备原生 XR 开发打造的重要版本更新。本次更新不仅带来了广泛的 OpenXR 扩展支持,而且首次引入了 SecureMR —— 一个面向混合现实场景理解且具有隐私保护的 AI 开发框架。
通过 SDK v3.0.0,开发者将获得从渲染、追踪到设备端场景理解等强大功能,同时延续了 PICO 致力于构建开放、注重隐私的 XR 开发生态的承诺。
PICO的荆可和赵珈彬专门撰文进行了介绍:
OpenXR 1.1 支持与核心特性
SDK 3.0.0 彰显了 PICO 对 OpenXR 标准的坚定支持,并完全兼容 OpenXR 1.1。PICO XR Runtime 现已无缝集成官方 Khronos OpenXR Loader,开发者无需再单独下载 PICO 专属 SDK,即可直接使用标准 OpenXR SDK 进行开发。
这是迈向行业互通性的重要一步,体现了我们持续践行开放标准和倾听开发者反馈的承诺。本次发布中,PICO Neo3 系列与 PICO 4 系列(包括 PICO 4 Ultra MR 设备)均获得了大量新增 OpenXR 扩展能力 —— 包括 OpenXR 生态内的公共扩展与 PICO 专属扩展 —— 解锁更高级的设备能力,帮助开发者构建更具沉浸感、高性能、隐私友好的混合现实应用。
SDK 3.0.0 中新增的 OpenXR 扩展
以下是本次 SDK 中新增扩展的完整列表,包括扩展名称、分类与支持设备:
注:眼动交互功能仅在具备眼动追踪硬件的设备上可用(如 Neo3 Pro Eye、PICO 4 Enterprise)。XR_EXT_overlay 扩展当前已在 PICO 4 Ultra 启用,Neo3 / 标准版 PICO 4 的支持计划将在后续系统更新中加入。
借助 Native SDK,公共 OpenXR 扩展现已支持在 PICO 头显上运行,使跨平台 XR 应用更易适配。同时,PICO 也引入了若干专属扩展(标注为 PICO Only),以释放更多设备潜力。开发者可自由组合使用公共与专属扩展,打造更丰富的 XR 应用体验。所有扩展接口均已在 PICO OpenXR SDK 文档中详细说明,方便集成使用。
使用 PICO Loader 简化开发流程
SDK 3.0.0 的另一项重点提升是引入对官方 OpenXR Loader 的兼容支持。现在,只要使用 PICO OS 5.9 及以上版本并集成 SDK 3.0.0,PICO Runtime 即可与 Khronos 提供的 Android 版本 OpenXR Loader 协同工作,进一步简化原生开发流程。
这对开发者意味着什么?
你无需再使用 PICO 专属 Loader 或额外下载 SDK 包。只需使用标准 Khronos OpenXR Loader,并引入 PICO 提供的扩展头文件和库即可。新版 PICO Loader 可确保你的应用正确找到并初始化 PICO OpenXR Runtime,同时通过标准 OpenXR 机制暴露 PICO 的定制扩展。
这一变更让代码更具可移植性,跨平台开发更高效——你的 OpenXR 应用几乎无需修改即可运行在 PICO 设备上。同时也便于你持续采用 OpenXR 的新特性。PICO 始终是 OpenXR 生态的积极贡献者,而 SDK 3.0.0 对 Loader 的支持,正是我们为开发者打造统一 XR 开发体验的重要体现。
欢迎查阅我们的《官方文档,了解 Loader 配置步骤及如何启用 PICO 扩展接口。
SecureMR:隐私保护的混合现实 AI 框架
SDK 3.0.0 的另一项核心特性是 SecureMR,这是一个集成式框架,用于开发注重隐私的混合现实场景理解应用。SecureMR 通过 XR_PICO_secureMR 扩展及相关 API 提供,允许开发者在设备端进行场景理解和计算机视觉任务,而无需暴露原始摄像头数据。
换句话说,你的应用可以通过设备内运行的 AI 流水线获取用户真实环境的洞察(如检测表面、识别物体或手势),而无需访问原始图像。
SecureMR 的工作原理:
与其将摄像头画面传给应用程序,SecureMR 会在设备的 DSP/NPU 上以隔离方式运行已训练的 AI 模型。这些模型可访问 RGB 和深度传感器数据,但只会将处理后的结果(如语义标签、空间网格或物体位置)返回给应用程序。这一设计实现了对环境的深入理解,同时保障用户隐私 —— 原始图像永远不会离开受保护的处理环境。
例如,开发者可使用 SecureMR 实现应用对房间中家具的识别、或进行遮挡检测而无需操作任何原始视频数据。这将为混合现实应用带来新的体验可能,如智能遮挡、避障导航、环境感知交互等,且完全在隐私保护前提下实现。
SecureMR 是 SDK 3.0.0 的核心组成部分,体现了 PICO 对混合现实场景下隐私与安全的重视。
我们建议开发者阅读 SecureMR 专题文章,了解详细原理及典型用例。该博文包含如何开始使用 SecureMR、模型部署工具以及典型 AI 任务的示例说明。
此外,文档中还提供了 SecureMR 开发指南和示例项目,帮助开发者快速构建具备内建隐私保护的 MR 应用。
如需实际上手,可查阅《创建你的首个原生 SecureMR 应用程序》教程,该教程将引导你使用 SecureMR API 构建一个 MR 场景理解 Demo。
SecureMR 目前支持运行 SDK 3.0.0 且系统已更新的 PICO 4 系列设备。
SDK 3.0.0 已知问题
如同所有大型更新,SDK 3.0.0 存在一些我们正在修复的已知问题:
当前版本的身体追踪 API 存在问题:XrBodyJointAccelerationPICO 中的 accelerationFlags 和 XrBodyJointVelocityPICO 中的 velocityFlags 返回的数据无效(即标志值无法正确表示当前加速度或速度状态)。
该问题影响所有试图通过 PICO 身体追踪扩展读取加速度或速度标志的应用程序。
我们的工程团队已定位问题根源,并正在积极修复。此问题预计将在下一次 SDK 补丁更新中解决。
值得注意的是:身体关节的位置和旋转值不受影响,仅标志字段异常。
我们对由此带来的不便表示歉意,并建议开发者在此版本中避免依赖上述 flag 字段。请留意后续版本更新以获取修复。
意见反馈与支持渠道
-
技术问题(SDK 使用、游戏/应用开发相关):请使用开发者网站右下角的 LLM 智能助手,或提交支持工单,或通过邮箱 developer@support.picoxr.com 联系开发支持团队。
-
PICO Developer Center (PDC) 使用问题: 请参考 PDC 故障排查文档。如问题仍未解决,可在 PDC 客户端 PC 软件的“反馈”页提交问题报告并上传日志,我们的工程团队将进行跟进。
-
非技术类问题(如商务合作、应用上传、审核状态、平台使用等):请使用开发者平台网页右下角的“联系我们”功能。
-
企业设备与行业方案相关支持(PICO 4 Ultra Enterprise、PICO 4 Enterprise、Neo 3 Pro/Eye、G3、G2 4K 等):请联系企业技术支持团队:pico-business-techsupport@bytedance.com,获取专业支持。