Meta重投入、Ultraleap大融资，手部触觉反馈人机交互技术为何很重要
查看引用/信息源请点击：映维网
源域科技CTO李子琪专业解读，数据手套是理想VR物理交互的最佳载体
（映维网 2021年11月24日）作为最重要最自然的交互方式，基于人手的人机交互方案将变得越来越重要。近期，AR/VR领域的主要玩家Meta（Facebook）公司也对外展示了他们在基于人手的人机交互方案领域的最新原型设备。与此同时，腾讯、招商银行也参投了知名的视觉手部追踪与交互厂商Ultraleap的6000万英镑D轮融资。
为了更好地解读基于人手的人机交互方案的重要性，映维网与手部交互专家源域科技CTO李子琪进行了一次对话交流。源域科技是一家专注于手部姿态捕捉和交互的科技公司，其核心产品Mastery—掌控数据手套，在手部追踪领域有世界领先的性能和体验。
映维网：人机交互是AR/VR不可或缺的一环，也是资本青睐的硬科技之一。比如，刚得到腾讯、招行等众多投资者提供的6000万英镑融资的Ultraleap。作为AR/VR元宇宙的主要投资者，Meta（Facebook）近期也展示了他们重点投资的手部交互数据手套。为什么基于人手的人机交互方案很重要呢？
李子琪：人类对运动/躯体感觉皮层的早期认识主要来自于对正在经历脑外科手术的清醒病人的皮层进行直接进行电刺激。皮层拓扑地形图记录了人脑皮层与身体部位的对应关系。将运动/躯体感觉皮层的拓扑地形图以3D的形式呈现，我们可以直观了解到身体的不同区域在运动和躯体感觉皮层表征的比率。
皮层拓扑地形图（Cortical topography）
身体部位的实际大小和该部位在皮层表征的大小之间并没有直接的联系。比如，控制手指、嘴部和舌部肌肉的运动/感觉的皮层面积要远大于如果按身体比例进行表征时应得的大小。这样的脑部结构保证了我们可以控制手指和嘴唇/舌头进行精细的操作，这一定程度上也有利于我们对工具和语言/表情的使用。
躯体感觉侏儒图（左）和运动侏儒图（右）
手是人类能够用于生产交互的最自然也是最灵巧的器官。在基于VR/AR的3D计算机环境下狭义的物理交互技术中，高品质的手部交互方案很显然也是最为关键的技术。
可以想象，假如存在完美的人手动作捕捉和手部触觉反馈，那么这套系统在第一人称的3D环境里可以在涵盖继承所有已有的物理交互方案。这无疑最自然的物理交互方式，配合以VR/AR在虚拟环境中更能够创造无限新的可能。
虽然总有人喜欢拿动漫及科幻故事的脑机接口来畅想未来，可是很遗憾，依照现实的技术发展情况，距离能够大规模应用，达到人类现有设备，诸如常见的鼠标键盘交互效率和方便程度的脑机技术方案仍是遥不可及的事情。因此高质量的手部交互方案仍然是可见的未来中最值得期待的方案。
映维网：基于人手的人机交互方案主要有哪些
李子琪：Meta和Ultraleap相关的技术和产品涵盖了多种基于手的交互方案，包括数据手套（触觉和追踪）、视觉手部追踪、以及革新性的Oculus Touch手柄（弱追踪3指）。除此之外还有Valve Index的Knuckles手柄（弱追踪5指），以及B端多种不同方案的数据手套（外骨骼手套）。
这些技术及产品毫无疑问指向的是同一个大目标：让用户在第一人称3D环境（尤其是VR/AR）中，能够更加自然地用手来完成高精度的物理交互，并且获得良好的触觉反馈体验。
在这里讲的物理交互特指需要用物理动作操作的交互方式，例如过去基于鼠标键盘的点击拖动，基于电容屏的多点触控操作，以及在VR/AR环境中需要用手部完成的3D交互操作等。
Meta（Facebook）力反馈手套（2021）
映维网：这次Meta（Facebook）展示的触觉手套的技术原理是什么
李子琪：时隔多年Meta也重新将大众的目光吸引到了触觉手套上，向我们展示了一款主要基于微流体气动的触觉手套。但这并不是一项全新方案，该方案与多年前已公开的HaptX手套的基础原理相同——通过对手套上的微小气囊阵列进行充气、放气的进而模拟产生触感。
气囊触觉组件：Haptx （左）vs Meta（右）
在Meta的演示视频中，我们可以看到手套有一簇气体管道以及疑似为气体控制阀门阵列的组件。气体管道连接末端疑似还有气泵支持组件，但并未在视频里公开。
Meta 触觉手套 疑似气体控制阀门阵列组件
映维网：该技术方案目前有哪些优缺点
李子琪：不同于过往的力反馈方案只能在手部个别部位产生力的牵引效果，这种基于微流体气动的微小气泡阵列方案，通过数量众多的微小气囊，可将人手的触觉反馈信息量提升到新层次，能够给手提供远超过去设备能够提供的丰富触感信息。在这个层面上讲，这是人类工程往手部触觉探索的一次大进步。
延伸阅读：HaptX指责Meta抄袭触觉手套专利
同时，参考HaptX的商业发展路径，在对价格不敏感的高端商用VR训练场景中，这类触觉手套方案已经能够发挥重要作用。
再说这项方案的问题或缺点。从HaptX公开信息中对比得知，该方案需要气泵及控制阀门等组件，为手套中气囊触觉组件的充放气提供供给。HaptX在2019年左右公开过气泵组件，气泵的尺寸体积与台式电脑机箱相当。HaptX曾声称，HaptX基于微流体气囊的触觉手套方案或许永远无法做成普通消费产品。
HaptX 手套的气泵集成箱体
基于Meta公开的视频资料，我们可以看到，目前Meta同样未能将气泵组件做到小型化。
与普通电子产品相比，Meta整套方案同时也是融合了更多复杂机构的机械产品。但如果要往消费市场发展，还需要考虑更多其它问题——复杂的机械机构组件，难以控制的成本，以及复杂组件带来的售后和维护等。这些都会极大阻碍产品向消费市场发展。
当前来看，我认为Meta（Facebook）更多是在用这项方案展示一下技术实力。在未来相当长的时间内，这个技术方案都没有可能应用在其消费级产品中。
映维网：那如何评价Ultraleap的技术方案
李子琪：Ultraleap核心产品之一是基于视觉的手部追踪，其最新推出的手部视觉追踪算法引擎Gemini更是把视觉手部追踪推向了极致，从目前的公开资料对比，其效果要强于Oculus Quest 2以及微软的Hololens 2的视觉手部追踪。
Ultraleap第五代手部追踪平台Gemini
AR/MR与VR的交互有很多相似性，对手部交互提出了新的需要，但是对于物理交互的需求程度，二者还是有区别。
AR/MR应用于开放环境，现实环境占据的比例甚至远大于虚拟部分，仅需要弱物理交互即可完成大多数操作，允许手部在现实世界里维持原有的职能而不受影响。此类设备对裸手直接交互有着更为迫切的需求，具有代表性的是微软的Hololens系列MR头显和大部分现存的AR头显，基于视觉的手部追踪也非常好地吻合了这个需求。
但高质量的VR环境需要的是强物理交互，对交互的可靠性、稳定性和精准性提出了更高的要求。受限于其自身原理，基于计算机视觉的手部追踪方案，在追踪可靠性和追踪范围上不能得到保障。即便是当今世界最好的视觉手部追踪，其问题和天花板也非常明显，Ultraleap也不例外。
我所接触过的深度体验过视觉手部追踪交互的用户，几乎都会认为手部追踪交互有点反人类设计。为什么呢？首先，手需要放到摄像头视野内才能被有效追踪，但长时间把手放到胸前就会让手臂极其疲劳；其次，可靠性的不足会大大提高交互失败的概率，这就进一步要求用户要尽可能以较大的动作幅度去完成交互，同时用户还要忍受交互失败后要重做动作的痛苦。
相比按键式轻松点击操作来进行选择、确认，通过视觉原理手势来完成交互几乎成了一种煎熬。
目前市面上把基于视觉原理的手势交互作为自身亮点的VR/AR眼镜，基本都存在这个问题——让人感觉很酷，但实际操作体验较差，无法承担高频的物理交互。
HoloLens -左上、Quest -右上、Ultraleap-左下、影创-右下
好在AR/MR可以只需要弱物理交互，操作需求并不频繁。相比AR/MR带来的功效和便捷而言，这种偶尔才需要手部操作，累一点、失败一次，也完全可以接受。在这种需求下，视觉手势交互就有了一定的发挥空间。
但在VR的强物理交互需求下，基于计算机视觉的手部追踪的弊端就特别明显了。我们可以参考强物理交互需求的电脑手机的办公或游戏，没有用户能忍受每20次操作就会错一次的交互操作体验，我们会怀疑是不是产品坏了。这也可以解释，为什么即使是拥有非常优秀视觉手部追踪技术的Oculus Quest 2，也难以推动这项技术在Quest上的更大范围应用。
UltraLeap 的超声波阵列+视觉追踪
另外，为了弥补裸手视觉追踪时的手部触感缺失，UltraLeap使用了超声波阵列隔空向手部发射声波能量，以制造触感。需要注意的是，该方式会引入体积较大的外部超声波组件，会进一步限制手部的自由交互可操作空间范围。
虽然在VR环境中，基于视觉的手部追踪技术没有很好的优势，但不可否认它在特定环境下的价值，例如车机系统或者公共场合中的无接触操作的环境。
映维网：你认为AR/VR手部物理交互在未来会有怎样的发展
李子琪：相比VR，目前AR的发展阶段过于早期，未来走向消费级AR的产品形态仍不确定，即使是苹果，初期也很可能只是Apple Watch级别的配件，提供简单的信息呈现功能。与AR眼镜技术相容性很好的视觉手部追踪方案，在独立AR眼镜大规模铺开之前，难有更大的用武之地。
VR在Meta（Facebook）的大力推动之下，已经稳步向消费品迈进。高质量的手部追踪和触觉反馈是VR物理交互的关键。数据手套无疑是可见的实现理想VR物理交互的最佳载体——不受视觉遮挡限制，手部物理交互不再需要将手放至面前胸前，可随意舒适地自由操作，同时还能承载物理反馈功能。
过往高品质数据手套制造成本过高，性能效果不佳，这些原因一定程度上导致其无法承担消费级用途。目前市面售价在8000-20000元每套的数据手套，捕捉品质差强人意，没有追踪细节可言，无法提供消费者潜意识中认为的数据手套应有的使用效果和体验。与消费级千元价位的VR手柄相比，除了新奇性和特种应用之外，基本没有优势可言了。
基于数据手套的手部交互方案目前主要面向B端用户。当前基于手部的人机交互方案也是方兴未艾，国内有源域科技、诺亦腾等数据手套方案，国外有Manus，Meta等。
映维网：源域科技也是专业的数据手套厂商，相比之下，你们的产品具有哪些优势
李子琪：源域科技的数据手套可以高精度追踪全手30+自由度信息，超过了传统解剖学对手部自由度简化后的定义，超过了市面上所有已公开的手部追踪技术。从性能指标来看，更是超过了市面售价15-20万元每套的动作捕捉数据手套。源域科技有更加精细的手部捕捉，可以捕获细微的动作变化，允许用户用最小的体力消耗，不傻也不累地完成手部自然物理交互。
源域科技旧版数据手套原型视频，新版产品暂时保密
源域科技采用了革新的数据手套技术方案，在提升性能的前提下大幅削减了组件成本，并从设计之初就考虑了量产的选型与可行性。若向消费级产品方向发展，在保证最佳追踪效果的同时，量产成本及售价与当前的VR手柄可达到同一数量级。源域科技的方案为面向大众消费市场的高品质低成本数据手套提供了可能。
在可预见的未来，随着市场需求增加和技术发展，面向C端的低成本交互套装将随之涌现。
