Ultraleap分享：为什么红外摄像头是最优秀的手部追踪传感器
“最优秀的手部追踪传感器是红外摄像头”
（映维网 2021年08月30日）XR触觉模拟技术的英国厂商Ultraleap一直致力于将开发所谓的裸手交互技术，同时希望通过超声波传感器阵列来为基于手部追踪的裸手交互提供触觉反馈。团队主要瞄准的应用方向包括AR和VR，并且已经与一系列的厂商进行了合作，其中就包括高通。
这家公司认为，最优秀的手部追踪传感器是红外摄像头，并于日前撰文进行了介绍。下面是映维网的具体整理：
市场需要我们世界领先的手部追踪技术的原因可能不尽相同；创造真正沉浸式的虚拟现实体验；准确地再现用于训练的虚拟现实医疗场景；可靠地、快速地触发交互式信息亭屏幕的按钮；或允许你通过悬空手势执行车内控制。
所以，我们的技术需要足够强大，但同时又功能多样，足以在各种环境和照明条件下工作。 我们的软件获取手部的位置、方向和速度的原始数据，并将其转换为实时数字模型。
理论上，手部追踪的原始数据可以来自任何源：RGB摄像头、GPS、激光阵列、激光雷达。但我们发现，在各种照明条件下，使用红外摄像头和LED可以提供最一致、最可靠的数据。 在自然界中，能够使用红外视觉的生物往往能够灵活穿梭于高度多变的环境。使用红外线有助于我们的摄像头模块实现类似的多功能性。
1. 为什么是红外线？
无论是 Stereo IR 170还是集成式头显，它们都在手部追踪组件中使用两个红外摄像头和红外LED。 眼睛能够适应检测大范围亮度，但摄像头只能看到大约100倍的亮度差异。这是一个主要的限制。在现实生活环境中，光照水平可能存在巨大的变化和不可预测性。我们可以通过从摄像头模块内部提供光源来解决这个问题。我们的摄像头模块不依赖可用的光线，而是配备了强大的LED，可以照亮你的双手。
2. 我们可以控制光线
提供光线意味着我们可以控制光线。我们可以补偿环境光照水平的变化，并提供可预测的光源。这使得我们的追踪系统非常稳健。 但为了克服环境亮度，摄像头提供的光线必须非常明亮。非常明亮的普通光可能是有效的，但不会带来出色的用户体验。所以，我们的解决方法是使用你看不见的光：红外线。
3. 什么是红外线？
和可见光一样，红外光同样是一种电磁辐射。当原子吸收然后释放能量时，就会产生电磁辐射。频谱范围可以从高频X射线和紫外线辐射到低频无线电波。红外线的频率低于可见光，所以人类看不见。红外波长范围从1000微米到760纳米。 传感和探测是红外线最有效的用途之一。任何对象都会发出红外辐射，这种辐射可以由夜视镜和安全摄像头中使用的传感器检测到。 红外摄像头以热成像而闻名，但Ultraleap的摄像头不会检测手部自然发出的红外线。你看不到它。摄像头模块是使用红外LED来照亮手部。下面是摄像头所看到的画面。
这意味着红外线可以告诉我们什么是重要的（并过滤掉不重要的）。 Ultraleap的摄像头无法追踪所有红外光。它们看到的波长约为850纳米，这是红外光谱中的一个窄带。我们的摄像头模块经过精心设计，能够滤除任何不在该范围内的光线，这样它只能看到手部反射的光线。
为了提高摄像头检测手反射光线的能力，摄像头模块采用红外滤光片。这是位于图像传感器正上方的一小块正方形材料。它的工作是过滤掉长度不在825到875纳米之间的所有波长光。
剩余的光波长则在LED所覆盖的红外光谱的精确范围内。
这一小细节有助于滤除环境中可能过度曝光图像的光线，并提供尽可能清晰的图像，不会有来自环境的多余光线。聚焦于这种窄光谱意味着我们可以进一步提高LED的亮度。这将为手部追踪创建最佳图像：在黑暗背景下的清晰手部。
提供红外光以明亮地照亮手，这有助于我们在明亮的环境中控制图像。但这同时意味着在昏暗的环境中可靠而准确地进行手部追踪。
在摄像头模块内部，从手反射的光线通过镜头聚焦到图像传感器上。图像传感器虽然很小，但包含数十万个光线捕捉孔。它们称为Photosites。Photosites将光子转换为电子，而电流转换为称为像素的数字光值。数据作为像素输入追踪引擎，并由其发挥机器学习的魔法。
数据输出是三维空间中的27个点，即我们追踪的27个骨骼点。然后，你可以围绕所述数据构建应用，以创建3D交互式手部模型。但是，它同时可以用于其他目的。例如，TouchFree获取所述数据并使用它来创建手控光标，而不是生成手部模型。我们的触觉产品使用所述数据来告诉触觉系统在哪里输出触觉反馈。
这个相对简单的系统由软件的智能输入支持，它同时可以改变硬件的工作方式。例如，如果软件检测到房间很暗，它会发回调暗LED的命令。同样，如果手移动缓慢，软件可能会降低摄像头的帧速率。这种响应行为既提高了跟踪精度，又降低了功耗。
4. 脉冲式供能：亮度的秘密
LED亮度的限制是热量。LED的功率越大，它就越亮，但发热程度同样越高。如果太热，它就会烧坏。
一般来说，不可能在不破坏LED的情况下达到我们的亮度水平。所以，我们的解决方案是什么呢？
答案是：我们的专利技术采用了类似照相机闪光灯一样的工作方式。我们的摄像头模块以极短的时间间隔向LED发送电源脉冲，而不是持续供电。
LED与摄像头帧速率完美同步，在快门打开时产生红外光闪烁。明亮的脉冲照亮手部并抑制外部环境光，以便我们可以在任何情况下追踪手部。有了这个解决方案，我们可以用更少的能量产生更亮的光。在不到1/10000秒的时间里，LED的亮度几乎是太阳的一半。
这意味着我们使用更少的电源，而且LED不会有过热的危险。
Ultraleap的手部追踪摄像头模块基于这一专利原理工作，采用嵌入式Ultraleap手部追踪摄像头的Varjo头显，以及采用高通XR2参考设计制造的VR/AR头像同样如是。
更多关于Ultraleap技术解决方案的信息请访问公司官网 。
