扎克伯格宣布研发电子触觉皮肤ReSkin，实现AR/VR逼真物理交互
更接近于在元宇宙中实现逼真的虚拟对象和物理交互
（映维网 2021年11月02日）Meta首席执行官马克·扎克伯格日前表示，一种全新的触摸传感器和一种塑料材料有望支持元宇宙的开发。在一个研究项目中，Meta AI团队与卡内基梅隆大学的科学家开发了一种可变形的塑料“皮肤”。
名为ReSkin的材料厚度不到3毫米，成本相对低廉。在原理方面，它嵌入可以产生磁场的磁性粒。当与另一个表面接触时，粒子所产生的磁场会发生变化。这时，传感器记录磁通量的变化，然后将数据输入解释施加力或接触的AI软件。
如下图所示，实验利用葡萄和蓝莓等软水果作为测试。在有ReSkin反馈的情况下，机器人能够控制力度，并轻轻地握持水果。但没有ReSkin反馈时，机器人则会用力过猛并压扁水果。
扎克伯格在Facebook发帖写道：“我们设计了一种高分辨率的触摸传感器，并与卡内基梅隆大学合作创造了一种薄薄的机器人皮肤。这使得我们更接近于在元宇宙中实现逼真的虚拟对象和物理交互。”
相关研究将在本月发表到学术期刊，但尚待同行评议。不过，团队已经在专门的页面介绍了这个项目的详细情况，下面是映维网的具体整理：
我们的触觉帮助我们导航周遭世界。有了它，我们可以收集关于物体的信息，比如轻重和软硬。从穿鞋到做饭，我们利用触觉来完成各种日常任务。如今，人工智能可以有效地融合视觉和声音等感官，但触觉依然是一个挑战。这在一定程度上是由于触觉传感数据有限。所以，人工智能研究人员希望将触摸融入到模型中，从而实现人类触摸感知的丰富性。
Meta AI和卡内基梅隆大学合作开发了一种全新的开源触摸感应“皮肤”ReSkin。它可以帮助研究人员快速地、大规模地提高AI的触觉感应能力。利用机器学习和磁感应方面的进步，ReSkin为长期使用提供了一种低价、通用、耐用且可更换的解决方案。它采用自监督学习算法帮助自动校准传感器，所以具有通用性，并能够在传感器和系统之间共享数据。
团队将发布设计、相关文档、代码和基本模型，以帮助AI研究人员使用ReSkin。这反过来将有助于快速地、大规模地提高人工智能的触觉感知能力。更多项目信息可访问这一页面。
像ReSkin这样的触觉感应皮肤将能提供丰富的接触数据源，并有助于在广泛的触摸任务中推进AI，包括对象分类、本体感觉和机器人抓取。接受过触觉感知技能训练的人工智能模型将能够完成多种任务，包括需要更高灵敏度的任务，如在医疗环境中工作，操纵小型的、柔软的或敏感的物体。ReSkin同时可以与其他传感器集成，在实验室外和非结构化环境中收集视觉、声音和触摸数据。组合多模态数据集有助于构建世界的物理现实模型，同时可以利用数据冗余进行自我监督学习。
1. ReSkin：一种更好的柔性传感器
ReSkin的生产成本很低，100个的成本不到6美元，而更大批量的生产成本会更低。它的厚度为2-3毫米，可支持50000多次交互，同时具有高达400Hz的时间分辨率和1毫米的空间分辨率，精度为90%。这个规格使其成为各种形状参数的理想选择，如机器人手和触觉手套。ReSkin同时可以为投掷、接住和拍手等快速操作任务提供高频三轴触觉信号。当它磨损时，它可以很容易地拆离和更换。
ReSkin是一种可变形的弹性体，内含磁性粒子。当它以任何方式变形时，周围的磁信号都会发生变化。我们可以用附近的磁力计测量变化，并使用数据驱动技术将其转化为诸如接触位置和作用力大小等信息。
目前，大多数触觉传感实验都依赖于单个传感器，因为每当更换皮肤时都需要重新学习模型，这既低效又不切实际。为了避免每次更换新皮肤时都需要训练新皮肤，团队致力于创建一种通用皮肤。
然而，像ReSkin这样的柔性皮肤通常很难泛化，因为在使用柔性材料时会自然出现制造变化。每个传感器都需要经过初始和彻底的校准程序，以确定其各自的响应。另外，柔性材料会随着时间的推移而改变特性，并根据使用方式的不同而有所不同。这意味着校准程序同时必须自行适应相关变化。早期的柔性传感器开发通常侧重于传感原理的详细分析，但大多数柔性传感器没有研究长期响应（如一周后发生的响应），同时未开发非专家使用的自动校准过程。
对于ReSkin，团队通过三个关键洞察来克服所述挑战。
首先，ReSkin消除了柔性材料和传统测量电子设备之间的电气连接需求。相反，磁信号依赖于邻近性，所以电子设备只需要在附近即可。ReSkin同时比典型的柔性传感器更有效，因为它将内部电子电路与被动接口分离。这使得更换磨损皮肤就像剥下和贴上贴纸一样容易。
其次，可以更好地利用来自多个传感器的数据来训练模型的映射功能，而不是依赖单个传感器的输入数据。以这种方式，团队对模型进行了更高多样性的数据训练，这有助于它产生更有效和更为泛化的输出。
最后，团队没有为每个新传感器收集校准数据，而是利用了自监督学习的进展，使用少量未标记的数据自动微调传感器。研究人员发现自我监督模型比没有自我监督的模型表现更好。他们可以使用未标记数据的相对位置来帮助微调传感器的校准，而不是提供ground-truth力标记。例如，在三个接触点中，物理上更接近的两个接触点将具有更相似的触觉信号。
综上所述，ReSkin能够带来一系列多功能、可扩展且价格低廉的触觉模块，而这是现有系统所不能实现的事情。现有的摄像头式触觉传感器要求表面和摄像头之间的距离最小，并导致体积更大的设计。相比之下，ReSkin可以作为一个柔薄层包裹到人类和机器人的手和手臂。
纽约大学计算机科学助理教授勒雷尔·平托（Lerrel Pinto）指出：“强大的触觉感知是机器人技术的一个重要瓶颈。目前的传感器要么太贵和分辨率太低，要么对于定制机器人而言太过笨重。ReSkin有潜力克服其中几个问题。它重量轻，体积小，可以与任意夹持器兼容，我非常高兴能进一步探索这种传感器在我们实验室机器人上的应用。”
2. 实验效果
为了呈现ReSkin的实用性，并展示它如何有助于研究人员利用以前难以收集的各种触觉数据来推进人工智能，团队通过数个示例应用进行了演示：
2.1 徒手操作
ReSkin为手部操作提供了有用的触觉感知功能，例如训练机器人使用钥匙开锁或抓取葡萄或蓝莓等软对象。团队通过机器人夹持器演示了其有效性：
两个磁性外壳和柔性电路板放置在平行的钳口夹持器的两侧，它能够通过板载微控制器采集数据并评估力反馈。夹持器内置的力感应无法完成任务，但通过ReSkin，它可以很好地感应力反馈以控制抓取。当用新皮肤替换皮肤时，系统能够正常工作，无需额外调整。
2.2 野外测量
ReSkin紧凑和非突兀的设计使其成为野外测量的理想选择。为了展示这一点，团队在一只狗狗的鞋底放置了一张磁性皮肤和一块柔性电路板。通过收集的数据，传感器可以追踪狗在休息、行走和跑步过程中施加的力的大小和方向。
2.3 人机交互
ReSkin同时可用于测量人物交互过程中的力，例如拿起物体的时候。团队在被试右手食指放置了一张皮肤和一块电路板，然后右手穿戴丁腈手套。利用收集的数据，研究人员在被试制作红豆面包时测量了传感器的输出。
2.4 接触定位
ReSkin同时可以在更大的表面区域进行接触定位。这对于构建依赖于知道对象所在位置的模型非常有用。例如，如果需要训练机器人可靠地捡起物体，它首先需要知道要在哪里接触物体，以及要用多少力。
3. 下一步是什么
团队对可泛化触觉感知的研究带来了今天的ReSkin。它成本低，就像绷带一样容易更换，并且可以立即使用。这是一个强大的工具，可以帮助研究人员建立赋能多种应用的AI模型。
Meta AI表示，希望将触觉感知作为人工智能研究的一个领域进行大力推进。除了ReSkin，这家公司同时宣布了面向触摸处理的开源生态系统，涵盖高分辨率触摸硬件（DIGIT）、模拟器（TACTO）、基准测试（PyTouch）和数据集等等。
团队相信相关进步将能提升人工智能的感知能力，并使其不再局限于视觉和声音方面，从而提高触觉感知的应用。另外，团队非常期待研究界将如何利用所述工具以进一步推进人工智能领域的发展。
