研究员探索将振动信号转换成程序化声音，增强AR/VR沉浸式体验
当手指触碰表面时，系统处理振动信号并将其转换成程序化声音
（映维网 2021年07月06日）对于桌面触屏应用，不同的Tactile Echoes（触觉回声）分配给投影表面的每个区域。摄像头追踪每根手指，从而向其提供相应的触觉回声。
当用手指敲击桌面时，你会听到一种典型的噼啪声。但是，如果将这种正常的噼啪声视为一系列的空洞回声呢？一种名为Tactile Echoes（触觉回声）的增强现实系统可以为用户提供这样的体验，并可用于广泛的游戏、娱乐和研究目的。
值得注意的是，所述系统不需要任何设备介入用户指尖和接触面之间，这意味着用户可以自然地享受视觉，触觉和听觉增强。
在名为《Tactile Echoes: Multisensory Augmented Reality for the Hand》的论文中，合著者Anzu Kawazoe表示：“触觉回声可能是触觉增强现实的第一个可编程系统，它允许用户用双手触碰能够提供多模态数字反馈的物理对象或表面。”
相关系统通过一个夹在用户指尖的传感器来实现：当手指接触到表面时，它会检测到手指内部自然产生的振动。然后，系统处理振动信号并将其转换成程序化声音。
不同的触觉反馈和声音可以在每次互动中播放，我们手指的振动模式取决于我们接触的表面或施加的压力强度。例如，当你轻轻敲击一个对象时，Tactile Echoes可能会发出轻轻的的回声；如果你用力戳，系统则会发出突然的砰声。
Kawazoe解释道：“我们的动机是魔术般地增强任何普通对象或表面，比如一张简单的木桌，我们希望它能够通过活泼的触觉和视效来回应我们触摸的方式或位置。”
研究团队将设备与智能投影仪、VR或AR头显创建的虚拟环境相结合。通过这种方式，用户可以“触摸”真实环境中的虚拟对象，并体验增强的图形、声音和触觉反馈。
研究人员通过大量的用户实验来测试Tactile Echoes。首先，研究被试需要描述不同的声音，以及每一种声音所引起的感知和联想。在第二个实验中，被试通过Tactile Echoes来完成一个投影到普通桌面的交互式增强现实游戏。用户报告说，所述系统反馈大大提高了反应能力，以及玩游戏时的参与度。
相关论文：Tactile Echoes: Multisensory Augmented Reality for the Hand
尽管Tactile Echoes暂时只是一个原型，但Kawazoe表示有兴趣与企业合作，共同商业化这项技术。她说道：“我们设想的最有前景的应用包括可以在任何桌面畅玩的增强现实游戏，可以在任何需要的地方投影界面的音乐设备，以及增加学生学习趣味性的教育系统。”
