Facebook研究从虚拟对象的几何材质合成声音、触觉刺激

小编 ovaliu | 分类：论文 | 发布日期 2021年7月30日

加入映维网会员

从虚拟对象的现有几何和材质表示直接合成令人信服的声音和触觉刺激

（映维网 2021年07月30日）Facebook一直认为，虚拟媒体设计在未来几年将经历一次变革。今天以PC和智能手机为代表的传统界面将由复杂的XR设备取代，从而颠覆虚拟媒体的设计方式。具体而言，创作者创建和呈现用户与虚拟内容交互的一系列对应视觉、音频和触觉刺激将迎来范式革新。幸运的是，在过去四十年图形研究的支持下，从传统的固定平面二维视觉内容到自适应三维视觉将是直接的和高性能的。

事实上，这一视觉方面的变更已经开始。但对于从传统音频或触觉设计前往全新的混合现实世界，路径远非简单可言，并可能需要构思全新的方法。

在名为《Hasti: Haptic and Audio Synthesis for Texture Interactions》的论文中，Facebook Reality Labs借鉴现代图形绘制方法，并利用了物理材质定义和物理启发的光传输模拟。团队的目标是构建一种实时的方法，从虚拟对象的现有几何和材质表示直接合成令人信服的声音和触觉刺激。研究人员主要介绍了一种高速微触模拟方法，对滑动接触动力学进行了微观模拟。根据用于视觉渲染的离散接触事件和标准纹理图像贴图，它可以实时创建曲面高度分布。这种接触仿真产生触觉信号来驱动振动致动器，并利用赫兹接触理论估计冲击力分布，同时产生激励信号来驱动模态声合成，在交互虚拟环境中产生不同材质之间的真实接触声音。