Facebook研究从虚拟对象的几何材质合成声音、触觉刺激
从虚拟对象的现有几何和材质表示直接合成令人信服的声音和触觉刺激
（映维网 2021年07月30日）Facebook一直认为，虚拟媒体设计在未来几年将经历一次变革。今天以PC和智能手机为代表的传统界面将由复杂的XR设备取代，从而颠覆虚拟媒体的设计方式。具体而言，创作者创建和呈现用户与虚拟内容交互的一系列对应视觉、音频和触觉刺激将迎来范式革新。幸运的是，在过去四十年图形研究的支持下，从传统的固定平面二维视觉内容到自适应三维视觉将是直接的和高性能的。
事实上，这一视觉方面的变更已经开始。但对于从传统音频或触觉设计前往全新的混合现实世界，路径远非简单可言，并可能需要构思全新的方法。
在名为《Hasti: Haptic and Audio Synthesis for Texture Interactions》的论文中，Facebook Reality Labs借鉴现代图形绘制方法，并利用了物理材质定义和物理启发的光传输模拟。团队的目标是构建一种实时的方法，从虚拟对象的现有几何和材质表示直接合成令人信服的声音和触觉刺激。研究人员主要介绍了一种高速微触模拟方法，对滑动接触动力学进行了微观模拟。根据用于视觉渲染的离散接触事件和标准纹理图像贴图，它可以实时创建曲面高度分布。这种接触仿真产生触觉信号来驱动振动致动器，并利用赫兹接触理论估计冲击力分布，同时产生激励信号来驱动模态声合成，在交互虚拟环境中产生不同材质之间的真实接触声音。
本文提出了一种根据几何表示和对象材质特性合成触觉和音频反馈的方法。团队感兴趣的方向是基于手或手指与虚拟环境的交互，以及通过振动旋转致动器呈现的触觉反馈。相关方法如图2所示。系统追踪被试的手势以驱动关节刚体物理模拟，在宏观尺度控制交互。物理模拟报告瞬时接触和持久接触，以及沿接触法线的相关位置、速度和力，并将其作为微接触模型和模拟的输入。在滑动接触过程中，微接触模型根据接触轨迹构建一维表面高度分布，索引纹理图并根据需要生成分形噪点。同时，它对手指和纹理表面之间的接触动力学进行模拟，以音频速率积分运动方程。所得到的指板位移通过振动致动器作为触觉反馈呈现，微接触脉冲流则用作模态合成的激励信号以产生同步声音。
1. 虚拟对象表示
从厘米到微米，对象几何所处的尺度水平与我们触碰和操纵对象时的感觉息息相关。所以，研究人员在三个不同的尺度水平选择了对象几何特征的不同表示：宏观、中观和微观。在宏观级别（厘米级），对象的形状由多边形网格表示。社区已开发出一系列的碰撞检测和触觉绘制算法来支持与多边形表示的交互。尽管可以在这样的网格中以更精细的尺度（如亚毫米）来表示表面几何体，但多边形计数对于交互应用而言将很快变得难以处理。纹理图是由图形社区设计的，可以有效地对空间变化的表面特征进行编码。包括反照率（颜色）、表面法线、位移（高度）和粗糙度在内的属性很容易编码为纹理图，并在现代视觉渲染器中使用。位移图为表面特征提供了出色的细观表示。
尽管微观表面特征（微米尺度）不明显，且成本太高，无法表示为高分辨率图像，但它们确实对粗糙度和表面纹理的感知有很大贡献。
2. 交互的宏观模拟
团队的模拟输入是被试手部的连续追踪姿势。目前存在众多硬件接口可随时提供这一类输入，如基于深度的追踪器（如Leap Motion controller）和基于手套的接口（如Rokoko Smartgloves或Manus Prime II）。像大多数现代基于代理的触觉渲染方法一样，研究人员保持一个关节手部的模拟，其姿势可以与被试的实际手部姿势不同。
这个“代理”手部姿势与手部追踪系统报告的姿势相耦合。实时刚体物理模拟可用于驱动代理手部的模拟。刚体物理模拟同时控制场景中虚拟对象的动力学行为。研究人员依靠它的能力来检测和报告瞬时的和持续的接触事件。具体地说，所述方法利用了报告的接触位置，相对速度，以及虚拟手指和纹理表面之间的法向力。
3. 微接触模型与模拟
刚体物理模拟在控制代理手部的动力学行为及其与虚拟对象的交互方面非常有效，它既不以空间分辨率运行，也不以产生触觉和音频反馈所需的时间速率运行。所以，Facebook Reality Labs介绍了一种专门用于触觉和音频合成目的的微接触模型和模拟。
首先，团队以60-200hz的频率获取宏观物理模拟所报告的离散手指与对象的接触位置，并利用物体视觉模型定义的UV映射将其转换为纹理图像坐标。然后，通过应用一个二阶巴特沃斯低通滤波器来估计接触点在纹理图像的平滑路径。接下来，对纹理位移图像进行采样，以获得一维的44.1 kHz信号。最后，研究人员对指尖和表面分布之间的微观接触力学进行一维动态模拟。
4. 模态声合成
众多由撞击或刮擦刚性对象产生的声音都可以归因于它在一组共振频率的振动。模态声音合成将这种声音建模为由输入信号激励的一组阻尼谐波振荡器的输出。在目前的研究中，每个场景对象的模态参数都是从一个记录的样本中估计出来。研究人员用一个像钟摆一样摆动的坚硬钢制螺栓撞击每个对象，从而产生一个近似的声波脉冲响应。高分辨率子空间方法则用于将记录的脉冲响应分解为一系列指数衰减的正弦曲线。
利用模态模型，通过一组无限脉冲响应谐振器滤波器运行脉冲（或“激励”信号），可以实现实时音频合成。激励信号的形状和持续时间会影响合成结果的音色。团队使用赫兹接触理论来确定冲击力分布，再加上模态综合，其在不同材质的对象之间产生了非常真实的冲击声。这一计算需要从宏观物理模拟获得的冲击速度，以及目标材质和几何特性。
5. 结果和讨论
每名被试产生54个匹配试验。被试在所有条件下都以超过60%的比率识别了所有六种纹理，平均识别率超过85%。触觉和听觉条件没有显著差异，但当同时给予听觉和触觉反馈时，准确率最高。正弦纹理和凹凸纹理最容易混淆，可能是因为它们的形状和空间频率相似。然而，大多数被试学会了通过沿着多个轴感知嵌面来区分两者。被试能够轻松区分有光泽和无光泽的嵌面，这表明有光泽或无光泽的外观和相应的平滑或粗糙振动模式之间的直观一致性。总体而言，结果表明，实时反馈匹配用户的手部运动在探索性触碰过程中可带来丰富和逼真的反馈。
虚拟对象在宏观、中观和微观细节层次的几何描述直接来自于它们的多边形模型和纹理图，而多边形模型和纹理图通常可以从用于基物视觉渲染中获取。随着可穿戴触觉显示器的不断普及，本文描述的方法可以作为一种向现有虚拟环境添加高质量触觉和音频反馈的手段，并提供逼真、详细的视觉效果。
相关论文：Hasti: Haptic and Audio Synthesis for Texture Interactions
当然，研究人员指出，所述方法的一个当前限制是：合成的音频反馈不考虑虚拟对象的大小或形状。若扩展到简单模态声音合成之外，这将产生更逼真的音频反馈，特别是对于没有表现出强振动模态的对象和材质。团队目前并不补偿振动旋转致动器的频率响应，但假设这样做，或使用宽带致动器，所述方法可以产生更好的结果。额外的评估研究将揭示所述合成纹理表面触觉和音频反馈方法的进一步优势和局限性。
