PICO团队发布XR机器人远程操作框架XRoboToolkit
这是一套基于OpenXR标准的跨平台XR机器人远程操作框架
（映维网Nweon 2025年08月14日）日前，PICO团队亮相了自研的XRoboToolkit。这是一套基于OpenXR标准的跨平台XR机器人远程操作框架，面向全球开发者与研究机构开放。
打通XR与机器人世界
XRoboToolkit针对现有机器人遥操作方案存在的配置复杂、延迟高、可扩展性不足等问题，提供了统一的跨平台解决思路：
XR端：遵循OpenXR规范，支持包括PICO4Ultra在内的多款头显设备，集成立体视觉低延迟回传、多模态追踪（头部、手柄、手势、全身、外部追踪器）等能力。
机器人端：提供Python/C++模块化接口，支持真实机器人与MuJoCo等仿真平台的无缝集成，覆盖机械臂、移动平台与灵巧手等多种形态。
核心亮点
沉浸式低延迟体验：定制视频流与通信协议，PICO4Ultra在端到端立体视频回传中表现优异，延迟低于100ms，相比部分现有方案大幅降低眩晕感，提升机器人遥操用户体验。
精确操控能力：优化型QP逆运动学求解器，确保机械臂在复杂工况下的平稳控制；灵巧手重定向算法可将XR手势数据映射到机器人手，实现细致抓取与操作。
丰富控制模式：支持双手柄操控、手势识别、全身追踪及肘部追踪器辅助冗余臂控制，覆盖从精密装配到移动操作臂等多种任务场景。
数据采集与AI训练：可直接用于采集高质量机器人示范数据，已验证可助力Vision-Language-Action模型微调并在实际任务中取得100%成功率。
广泛应用验证
在实际测试中，XRoboToolkit已成功应用于：
高精度遥操任务：如双臂地毯折叠、双臂毫米级容差的装配操作；
移动平台操控：基于摇杆的全向底盘控制；
仿真灵巧手操作：利用头显手势数据直接驱动虚拟手做精细示范动作。
XRoboToolkit的应用示例：（a）通过遥操作机械臂叠地毯并收集数据，可训练出让机械臂自主完成该操作的Vision-Language-Action模型。（b）UR5双臂的精细操作。（c）利用PICO体感追踪器增强对宇树G1机器人手肘的精确操控。（d）利用手势追踪对Shadow机械手在MuJoCo中的仿真控制。
面向开发者开放
XRoboToolkit项目已全面开放，开发者可以访问项目主页https://xr-robotics.github.io/查看介绍，技术论文，和开源代码等内容。PICO将持续推动该框架的跨平台兼容性和标准化工作，包括：
扩展对更多仿真平台和机器人硬件的支持；
增加机器端自定义数据回传支持；
持续增强和扩展对灵巧手和其他外设的支持；
推进OpenXR在全身追踪等能力上的统一标准。
视频演示：
如有问题，反馈，评论和合作探讨，欢迎直接联系项目负责人：
荆可(ke.jing@bytedance.com)
杨宁(ning.yang@bytedance.com)
团队总结道：“期待和你一起，推动XR和具身智能应用的未来。”
