Meta研究分类触摸手势，设计磁性、分布式、柔性三轴力传感器
通过添加剪切力来对触摸手势进行分类
（映维网Nweon 2022年11月09日）触摸手势在交流情感和建立关系方面起着至关重要的作用。力、接触位置和时间特征的高维组合整合，可以在给定的情景中创建社交定义的意义。例如，当你难过时，朋友轻轻一拍你的肩膀可以传达情感支持。
随着远程通信变得越来越普遍，以及元宇宙愿景，人们越来越需要在这种环境中复制上述的互动，因为缺乏这种互动会带来孤独感。另外，不难想象我们未来可以通过触摸来与机器人交互。所以，有必要捕获嵌入在触摸手势中的物理信息，从而识别它是哪种类型的手势。
针对触摸手势分类，社区对多轴分布式触觉阵列的研究产生了多种解决方案，包括压阻、电容和磁性。其中，磁性方法因其大的信噪比和小型三轴传感器的可用性而越来越受欢迎。在名为《Deep Learning Classification of Touch Gestures Using Distributed Normal and Shear Force》的论文中，Meta旗下Reality Labs Research和斯坦福大学的研究人员探索了一种相关的磁性解决方案：一种具有软套管形状的三轴传感器阵列，并通过添加剪切力来对触摸手势进行分类。
具体来说，团队介绍了一种磁性、分布式、柔性的三轴力传感器，而它可以结合剪切力对触摸手势进行分类。研究人员设计并制造了三轴传感器，并通过用户研究收集了触摸手势数据集。其中，参与者向包含传感器的人体模型手臂提供13种不同类型的手势，然后卷积神经网络（CNN）从高维数据中学习有用的时空特征。实验结果表明，添加剪切信息将平均分类精度提高8%；仅使用法向力的精度为66%，而法向力+剪切力的组合精度为74%。
1. 三轴磁性触觉阵列
1.1 传感器设计和工作原理
团队设计的传感器是一个5×9阵列taxel，外加一列4 taxel，其中每一个都是三轴力传感器。传感器的面积为8 cm×16 cm，覆盖上臂的外表面。如图2（a）所示，每个taxel是一对嵌入PDMS结构中的圆盘磁体和放置在柔性印刷电路板（FPCB）之上的霍尔效应传感器。
织物粘在每一个taxel的上方，从而为用户提供了一个连续的表面。taxel相距1.5厘米，这既是人类指尖的平均尺寸，同时是最小化交叉耦合所需的距离。为减少间歇，taxel设计成方形并形成连续的表面。通过检测由于磁体和霍尔效应传感器之间的相对位置和方向的变化而导致的x、y和z方向上的磁通密度变化，系统可以测量三个力轴。PDMS结构是一个方形平台，下面有四堵墙，类似于空心梁。这种设计最大化了平移，并且最大限度地减少了磁体在剪切下的旋转，因为磁体的旋转会抵消平移产生的信号并降低灵敏度。
因其低硬度和高抗拉强度，团队为PDMS结构选择了TAP Silicone RTV。主要几何参数壁厚t、宽度w、空腔高度c和磁体高度h如图a所示。为增加接合面积，壁厚t最大化，从而提高坚固性，同时不会显著增加刚度或与Hall Effect芯片发生碰撞。实验证明，2.5mm的壁厚十分有效。
所述结构的宽度w选择为最小化taxel之间的间隙，而不会在显著的剪切力下造成碰撞。团队选择了12 mm的宽度，而实验验证了没有碰撞。为了便于制造，并在剪切下最大限度地减少整体旋转，而不会在显著的法向力下与芯片碰撞，空腔的高度c固定在1/16英寸。为了确定合适的磁体高度，团队使用COMSOL中的FEA分析研究了磁体在不同高度剪切位移期间水平和垂直磁通量的变化。
结果见图b和c。水平磁通图（图b）表明，对于较小的磁体高度，初始剪切位移会显著改变感应到的磁通方向，从而产生大信号。随着磁体继续剪切，感应到的磁场强度降低，并进一步重新定向以减少水平磁通量，从而导致信号峰值。这种现象消除了磁体位移和水平磁通量之间的一一对应关系，使得对信号的解释变得模棱两可。
在垂直通量图（图c）中可以看到类似的行为，但与水平通量相比，信号峰值出现在较大的剪切位移处。由于taxel之间的间隙为3毫米，研究人员希望在磁铁位移太大之前避免出现这种信号峰值。对于大磁体高度，信号的总变化明显小于小磁体高度。因此，选择6 mm的磁体高度h作为避免信号峰值和最大化信号之间的平衡。
为了进行系统集成，49个Hall Effect传感器连接到定制FPCB的嵌入式微控制器（Teensy 4.1 Cortex M-7@600 MHz）。分别连接24和25个传感器的两个SPI模块用于将电容负载从传感器分配到高频时钟线。整个阵列通过串行通信以25 Hz采样。
1.2 制造
传感器阵列按照图所示的工艺进行制造。首先，PDMS结构和磁体支架的模具用StrataSys Objet24TM 3D进行打印，材料是VeroWhitePlusTM，并且使用通用激光系统PLS6.150D激光切割机从1/16英寸丙烯酸树脂上激光切割掩模。然后，使用LOCTITE 401TM Instant Adhesive粘合剂将每个磁体粘结到磁体支架上。
Smooth On UniversalTM脱模剂适用于模具和面罩。然后将每个磁体保持器组件放置在模具的相应腔中，并使用模具相对侧的磁体将其固定到位。根据说明将TAP Silicone与5%的Smooth On Silicone Thinner稀释剂混合，然后倒入模具并脱气。接下来，将掩模放置在未固化的硅树脂上，使硅树脂向上流动，从而形成结构的墙壁。在顶部添加一块压克力和砝码，然后将其置于60kPa的压力室中过夜固化。一旦硅树脂固化，掩模移除，任何多余的薄膜都会从结构上去除。
接下来，将一层薄薄的新鲜硅酮涂在一块丙烯酸树脂上，然后将模具浸入其中，从而将其添加到结构墙的底部。然后使用模具上的定位销将结构放置在FPCB上（FPCB已使用400砂纸轻轻研磨），并使用DOWSILTM PR-1200 RTV Primer进行涂抹。
然后，将砝码放置在模具顶部，并允许硅酮粘合层固化。取下模具后，用异丙醇清洗每个taxel的顶部，传感器围绕一个丙烯酸圆柱体（直径8厘米）弯曲，以近似人体模型手臂上的最终配置。然后在每个taxel的顶部涂上一层薄薄的Smooth On Sil PoxyTM，以将织物粘合到传感器阵列上。预弯曲传感器可防止织物过度变形，从而使最终阵列符合手臂，信号变化最小。Sil PoxyTM固化后，传感器即可进行校准。
49个taxel分别使用2阶最小二乘拟合进行校准，无任何偏置项，以确保在无力输入下读数为0。带有传感器的丙烯酸圆柱体安装在基准力/扭矩（F/T）传感器（ATI，Gamma SI-32）之上。要校准的taxel的顶表面平行于参考F/T传感器的表面，以便对准坐标轴。力输入通过实验者的指尖提供，而力矩信息从校准中排除。
表一显示了所有49个taxel的总体表现。图4是对数据拟合的一个例子，证明了每一个taxel的力读数都跟踪ground truth信息。图5显示了在常见触摸手势下的整个阵列的可视化，这表明所提出的传感器能够很好地捕捉到显著特征，例如触摸位置、法向力和剪切力，而taxel之间的交叉耦合可以忽略不计。
2. 触摸手势的深度学习分析
在日常互动中，人类根据接触的位置和面积、施加的法向力和剪切力以及持续时间等特征来区分触摸手势。受在涉及高维特征数据分类的任务中应用深度学习越来越流行的启发，团队使用卷积神经网络（CNN）训练触摸手势分类的通用模型。特别是，他们通过在有剪切力和无剪切力的情况下进行烧蚀研究，从而展示了结合剪切力信息的重要性。
他们进行用户研究并收集触摸手势数据。11名惯用右手的参与者（5名男性，6名女性）通过斯坦福大学的电子邮件招募。相关实验装置由上述传感器组成，并安装在固定在人体模型的右上臂。
然后，团队引导用户通过图形用户界面（GUI）使用右手应用不同的触摸手势。为了创建代表不同个人的触摸手势的数据集，用户研究协议设计为确保参与者理解每个触摸手势含义的方式的一致性，同时保持手势应用方式的用户对用户的可变性。
最终，他们从11名用户身上收集了3861个触摸手势时间序列数据。
从传感器收集的触摸手势数据类似于5秒视频，其中每个传感器像素是图像像素。然后，嵌入手势的高级特征，如接触面积、接触次数、力的大小和方向以及它们的时间发展。为了提取有用的信息，团队设计了一个CNN分类器，它可以通过将数据视为3D图像来考虑时空特征。
49个taxel的三轴力信息被转换为3 × 5 × 10图像。力视频中的每个帧随后沿通道轴堆叠，这导致了366×5×10。然后，将3861条记录的整个数据集分成3081/390/390，分别用于用户的训练、验证和测试集。
如图所示，分类器由1个卷积层组成，kernel size为3，stride为1，然后是ReLU激活，接下来是一个dropout layer（p=0.5），以及一个a max pooling layer，kernel size大小2，stride为1。这导致4392个学习特征，然后通过ReLU激活传递到一个完全连接的层，从而将特征大小减少到100。这100个特征馈送通过另一个完全连接的层，以输出对应于13个不同触摸手势类别的13个预测。团队同时采用学习率为0.0001的Adam优化器和交叉熵损失函数。
3. 结果
如图所示。考虑法向力和剪切力的平均准确率为74%，而仅使用法向力的平均正确率为66%，这表明考虑剪切力可以改善触摸手势的分类。剪切力大大有助于减少stroke手指轻抚、scratch指甲轻刮和tickle指尖轻挠之间的混淆。考虑到剪切力，姿势的法线和剪切力之间的比例等特征有助于分类，例如scratch可能具有更高的剪切比。另外，由于用户并不总是严格沿着法线轴应用手势，因此来自剪切力的额外信息有助于分类。
相关论文：Deep Learning Classification of Touch Gestures Using Distributed Normal and Shear Force
这篇论文主要介绍了剪切力在触摸手势分类中的应用。他们开发了一种定制设计的高精度磁性三轴柔性力传感器阵列，并放置在人体模型手臂上作为数据收集装置。
他们从11个用户获取触摸手势数据，并得到3861组时间序列数据。然后，数据用于开发CNN。当同时提供法向力和剪切力时，13个触摸手势的分类准确率为74%，而仅考虑法向力时的准确率为66%。这个结果支持团队的假设：包括剪切力信息有助于对触摸手势进行分类。
当然，团队接下来将继续优化，并继续研究。在未来的探索中，可以设计更大的触觉阵列来覆盖整个上臂，从而更全面地捕捉触摸手势。另外，可以使用更好地考虑顺序信息的高级模型来提高精度。为了提高分类模型的性能，各种数据增强技术可以应用于数据集。当模型训练的数据分段基于用户分组时，而不是随机地、平等地从所有用户分组，或许会出现有趣的发现。同时，三轴传感器阵列可以与三轴致动器阵列集成，以准确读取触摸手势并指示向终端用户提供什么输入。
