让双手进入模拟器:PICO Emulator的Hand Tracking探索
PICO Emulator的Hand Tracking探索
(映维网Nweon 2026年11月21日)在电脑前张开双手,虚拟手套随指展开;握拳,左手盾牌、右手长剑应声而出。这段由PICO Spatial SDK搭建的Full Space小场景,展示的不只是手势动画,更是一条从RGB摄像头到空间交互的完整输入链路。真实手的前后移动如何变成模拟深度?21个关键点如何补成26个关节并驱动手套、剑盾与握拳判断?模拟器里调通后,真机体验又该验证什么?
PICO从这段演示出发,通过博文拆解了摄像头手部追踪在空间应用中的深度估计、骨骼补全与交互落地过程:

在电脑前张开双手,应用里的复古手套随手指展开;握拳,左手出现盾牌,右手出现剑。这段演示,是我们用PICO Spatial SDK搭建的一个Full Space小场景。
摄像头手部追踪为这个场景提供两类输入:真实手的前后移动在有效范围内改变模拟深度,26个关节的位置和朝向则用于驱动手套、判断手势和定位剑盾。手指弯曲时装甲是否跟随,握拳后道具是否贴合持握位置,转动手掌时握柄朝向是否正确,都可以从画面中直接观察。
下面从这段演示所需的输入讲起:一颗RGB摄像头怎样估计手部深度,21个关键点怎样补成26个关节,以及这些输入怎样用于空间应用开发。
◐ 让手部深度随真实动作变化
鼠标眼手模式已经支持指向、捏合与拖动。它把捏合时的屏幕坐标映射到视角前方的固定深度平面,视角不变时,拖动不会带来前后方向的深度变化。摄像头手部追踪让真实手的远近变化参与空间定位,前后移动也就成为了应用可以处理的输入。
◐ 一颗RGB摄像头,怎样给出远近变化
普通RGB摄像头没有直接测距能力,我们借助的是MediaPipe的Hand Landmarker(developers.google.com),从摄像头画面中得到21个手部关键点的二维坐标,以及一组由模型自己估计的三维关键点。后面的深度计算,以及21→26的关节补全,都以这21个点为起点。
最直接的线索是手在画面里的大小:同一姿态下,手靠近摄像头,投影通常变大;远离则变小。但手没有前后移动时,原地转动手掌也会改变参考连线的投影长度,或掌部区域的投影面积。如果只按投影尺寸估计距离,就可能把姿态变化带入深度,让本来没有前后移动的手在虚拟空间里发生位移。因此,当前实现既使用掌部投影尺寸估计远近,也引入EPnP,将图像点与模型给出的局部三维点配对,把手部姿态纳入距离解算。前者提供直接的尺寸线索,后者提供另一种几何约束,目的是让距离判断不完全依赖“手在画面里有多大”。
EPnP可以理解为一次投影匹配:局部三维点描述手的形状,图像点给出对应落点。结合相机参数,解算寻找一组旋转和平移,让三维点投影后尽量贴近这些落点。这也解释了为什么描述手型的局部3D点,会参与整只手的远近估计。
图|EPnP应用原理示意
两路计算都有效时,我们按固定比例融合结果,分摊单一路径的估计偏差;一路无法给出有效结果时,则使用另一路。这是对两种估计的折中,两路同时存在的偏差仍可能保留在结果中。
下面把真实动作与EPnP关闭、开启时的结果并排放在一起。观察手掌转动时,两栏虚拟手的大小如何变化,可以看到姿态对深度估计的影响。
图|EPnP关闭与开启的同轴对比
这段演示中,EPnP关闭时虚拟手的大小变化更明显,开启后波动减小。对比关注的是手掌姿态怎样影响深度估计,也对应前面引入几何约束要处理的问题。
得到深度估计后,还需要把它映射到模拟器的交互范围。在有效范围内,手靠近正前方摄像头时,映射后的模拟深度增大;远离时减小;超出范围后限制在端点。这一步决定了真实动作在应用里对应的方向、范围和尺度。
随后再对逐帧结果做平滑,减少估计波动带来的位置抖动。平滑强度需要在稳定性和响应速度之间取舍:既要让手停住时的位置稳定,也要避免真实动作开始后,虚拟手迟迟跟不上。
这里使用的是映射后的交互深度,而非手到摄像头的精确物理距离。手型、相机条件和遮挡会影响估计,现实中移动十厘米也不会自动对应虚拟空间同样移动十厘米。调试时要看的是动作与应用响应的关系,以及映射是否符合预期。
◐ 完整骨骼,让应用不只收到一次捏合
应用可以连续读取掌部和手指的姿态:手掌朝向哪里,哪根手指正在弯曲,指尖位于什么位置。26个关节的位置和朝向,为驱动手部模型、判断自定义手势提供了输入。
例如,使用PICO Spatial SDK的HandTrackingProvider获取手部追踪数据时,应用需运行在Full Space模式,并启动对应的数据提供器。详情可参阅PICO Spatial SDK《手部追踪》。
开篇的手套场景用关节位置更新掌部、护腕和各指节段的位置与长度,再结合手指侧向与手背方向确定朝向,避免弯曲时装甲翻面。剑盾绑定在手指形成的持握区域,握柄方向随手部姿态更新。握拳判断通过比较指根到指尖的直线距离与指骨链总长度,计算四指的平均曲率。达到握拳条件时装备剑盾,张手后收起;两种状态采用不同阈值,并要求姿态持续一小段时间,减少临界状态下的闪烁。
这些交互所需的关节数据,是怎样从摄像头画面中得到的?下面这张图梳理了两路关键点输出如何汇合,最终形成26个关节的位姿。
图|21个关键点到26关节的数据流
Hand Landmarker对同一只手给出两组21个点。landmarks描述图像位置:x、y为归一化坐标,z为相对腕部深度;world landmarks以米为单位、以手部几何中心为原点,描述局部三维手型。两组点一一对应。
整只手的位置由图像坐标与远近估计共同确定。图像坐标提供左右、上下的线索,远近估计提供深度,两组关键点配对后参与EPnP解算。结合模拟深度、相机视场与当前头部位姿,便能确定手部在模拟空间中的整体位置。
确定整体位置后,将局部手型放进模拟空间:适配坐标轴,按头部朝向旋转、按整体位置平移,再把21个点映射到OpenXR关节,补出四指掌骨和掌心。掌骨沿手腕到近节关节的连线按比例插入,掌心取中指掌骨与中指近节关节的中点。
最后平滑关节位置,再根据相邻关节与掌部方向建立坐标轴、计算朝向。输出的26个关节包含position、orientation、radius和flags,即位置、朝向、尺寸与有效状态,供应用驱动手模或处理交互。
◐ 模拟器与真机:不同的体验与验证范围
在电脑上的PICO Emulator中,可以先把手部输入与应用逻辑调通:前后移动时,深度是否进入应用;手指弯曲时,手模是否跟随;抓取或姿态变化后,对象有没有给出预期反馈。
接入自己的应用时,可以先用简单手模或关节标记确认左右手、坐标方向和关节编号,再接入握拳、捏合等判断,最后加入模型与道具。分开验证后,出现手模错位或动作误触发时,更容易判断问题来自数据使用、姿态规则还是资源绑定。
戴上头显后,再体验真实眼手配合、精细近场操作、双眼深度感受和长时间使用的舒适度。这些体验需要结合双眼、视角和身体运动来判断,仅看电脑屏幕中的模拟器画面,还无法完整感受。
使用正前方单摄像头时,要给双手留出可见空间。手离得太近、手指重叠或离开画面,都可能影响追踪,具体使用建议可参阅与真机的差异及使用建议。
启用方式、环境要求与参数设置,见PICO官方《手部追踪》。

