Facebook研究从虚拟对象的几何材质合成声音、触觉刺激
从虚拟对象的现有几何和材质表示直接合成令人信服的声音和触觉刺激
（映维网 2021年07月30日）Facebook一直认为，虚拟媒体设计在未来几年将经历一次变革。今天以PC和智能手机为代表的传统界面将由复杂的XR设备取代，从而颠覆虚拟媒体的设计方式。具体而言，创作者创建和呈现用户与虚拟内容交互的一系列对应视觉、音频和触觉刺激将迎来范式革新。幸运的是，在过去四十年图形研究的支持下，从传统的固定平面二维视觉内容到自适应三维视觉将是直接的和高性能的。
事实上，这一视觉方面的变更已经开始。但对于从传统音频或触觉设计前往全新的混合现实世界，路径远非简单可言，并可能需要构思全新的方法。
在名为《Hasti: Haptic and Audio Synthesis for Texture Interactions》的论文中，Facebook Reality Labs借鉴现代图形绘制方法，并利用了物理材质定义和物理启发的光传输模拟。团队的目标是构建一种实时的方法，从虚拟对象的现有几何和材质表示直接合成令人信服的声音和触觉刺激。研究人员主要介绍了一种高速微触模拟方法，对滑动接触动力学进行了微观模拟。根据用于视觉渲染的离散接触事件和标准纹理图像贴图，它可以实时创建曲面高度分布。这种接触仿真产生触觉信号来驱动振动致动器，并利用赫兹接触理论估计冲击力分布，同时产生激励信号来驱动模态声合成，在交互虚拟环境中产生不同材质之间的真实接触声音。
本文提出了一种根据几何表示和对象材质特性合成触觉和音频反馈的方法。团队感兴趣的方向是基于手或手指与虚拟环境的交互，以及通过振动旋转致动器呈现的触觉反馈。相关方法如图2所示。系统追踪被试的手势以驱动关节刚体物理模拟，在宏观尺度控制交互。物理模拟报告瞬时接触和持久接触，以及沿接触法线的相关位置、速度和力，并将其作为微接触模型和模拟的输入。在滑动接触过程中，微接触模型根据接触轨迹构建一维表面高度分布，索引纹理图并根据需要生成分形噪点。同时，它对手指和纹理表面之间的接触动力学进行模拟，以音频速率积分运动方程。所得到的指板位移通过振动致动器作为触觉反馈呈现，微接触脉冲流则用作模态合成的激励信号以产生同步声音。
1. 虚拟对象表示
从厘米到微米，对象几何所处的尺度水平与我们触碰和操纵对象时的感觉息息相关。所以，研究人员在三个不同的尺度水平选择了对象几何特征的不同表示：宏观、中观和微观。在宏观级别（厘米级），对象的形状由多边形网格表示。社区已开发出一系列的碰撞检测和触觉绘制算法来支持与多边形表示的交互。尽管可以在这样的网格中以更精细的尺度（如亚毫米）来表示表面几何体，但多边形计数对于交互应用而言将很快变得难以处理。纹理图是由图形社区设计的，可以有效地对空间变化的表面特征进行编码。包括反照率（颜色）、表面法线、位移（高度）和粗糙度在内的属性很容易编码为纹理图，并在现代视觉渲染器中使用。位移图为表面特征提供了出色的细观表示。
......（全文 2496 字，剩余 1426 字）
