改善听障人群享受AR/VR沉浸式体验，微软研究团队提出新声音分类法的设计评估
声音分类方法
（映维网 2021年09月07日）从提供关键通知的声音（如“敌人”的脚步声）到增加真实感的声音（如风声雨声）,虚拟现实环境中充满了丰富多样的声音。但对于大多数听障人群而言，他们往往难以感知所传达的信息，从而限制他们的虚拟现实体验。
为了帮助听障人群能够最大程度地享受沉浸式体验，微软团队提出了一份名为《A Taxonomy of Sounds in Virtual Reality》的论文，目标是最终帮助听障人群在虚拟现实中听到声音。团队指出，这个目标涉及多方面。首先，需要彻底了解不同的声音是如何在虚拟现实中使用和表现。所以在这篇论文中，研究人员提出了一种新声音分类法的设计和评估。
尽管先前的研究已经提出过多种声音分类法，但其重点主要是组织现实生活中的声音，如动物叫声、人类语言和音乐。所述分类法不适用于虚拟现实世界，因为虚拟现实世界同时包括一系列的合成声音和真实声音的夸张表示。
对于游戏和电影领域，业界同样存在声音分类法。尽管它们比真实世界的声音分类法更接近虚拟现实，但其具有几个局限性。首先，所述分类法要么涵盖声音的来源（例如说话角色），要么涵盖声音意图（例如传达关键信息或增加真实感），但不能同时涵盖两者。
仅考虑一个维度通常会导致声音的某些细微含义出现歧义。例如，角色讲话的意图（声源）可能是为了传达游戏进展的关键线索，也可能只是为了增加真实感而发出。其次，先前的分类法是针对二维屏幕构建的，无法解释虚拟现实中的三维空间变化。最后，先前的分类法是针对特定应用而建立，如动作游戏或动画电影。
所以，团队希望而我们构建一种广泛适用于不同VR应用的分类法。为了设计和评估这个分类法，微软进行了两项研究：首先，研究人员采访了10位虚拟现实声音设计师，并邀请其描述了他们为VR应用程序设计声音的经验，包括虚拟现实声音的不同类型和特点。
受访的声音设计师通常拥有声音工程、数字媒体或游戏美术与设计学位，并具有音频编辑和音乐制作的丰富经验。所有的设计师都是美国居民，并且至少参与过一个公开发行的虚拟现实项目。采访者询问了设计师在多达三个虚拟现实项目中的角色和责任，包括使用的不同声音（如物声和人声）、设计中考虑的声音不同方面（如空间位置、环境效果）、虚拟现实和非虚拟现实声音设计之间的差异，为VR应用程序设计声音时使用的可访问性注意事项，以及遵循的音频设计规则或语言。
团队整理产生了17个分类代码（例如语音、对象声音）和22个其他主题代码（例如音频文件格式）。然后，团队成员拆分、合并并重新组织开放代码，以形成有意义的关系并生成互斥的分类类别。例如，“语音”类别分为“本地化语音”和“非本地化语音”，以纳入语音中可能的3D空间变化（例如角色语音与环境语音）。类似地，“非言语人类活动”和“动物活动”的声音合并为“动画对象”，因为这两个类别之间可能存在重叠。所述过程生成了14个分类轴代码（例如本地化语音）和11个其他轴代码（例如音频的技术方面）。最后，将轴向代码组合成总体主题，形成分类的两个维度（声源和声音意图）和其他五个主题，涵盖可能影响听障用户的其他主题，例如音量、持续性和空间位置，以及声音是否伴随视觉或触觉反馈出现等等。在最终确定后，团队通过电子邮件将分类方法与10位声音设计师进行了验证。
为了评估其在不同VR体验中的应用，团队进行了第二项研究，其中八名听力HCI研究人员分别使用了3-5个VR应用程序（共33个应用程序，跨越10个类别），并通过所述的分类法对其中的声音进行了分类。
团队指出，所述分类法能够描述测试应用中几乎所有的声音（265/267），同时确定了哪些声音类别对“易于理解”十分重要，以及为所述声音开发相应视觉和触觉增强的设计考虑。
当然，研究人员表示这项研究不一定适合所有听障人群，毕竟听障社区十分广泛。另外，未来的研究同时应研究听障用户的非声音相关可访问性特征，如模糊背景以集中视觉注意力等等。团队进一步指出，尽管所述分类法能够在各种应用类别中准确地对虚拟现实声音进行概念化，但并不认为它已经足够详尽，同时不是虚拟现实中对声音进行分类的唯一方法。正如研究结果所表明，虚拟现实声音设计技术仍处于初级阶段，随着技术的发展，相关主题研究也应如此。
总的来说，确保具有各种听力能力的人群都能使用VR应用是一项重要的研究挑战。在这个研究中，通过对声音设计师的访谈和对现有VR应用的分析和实验，微软描述和分类了VR中的声音和声音可访问性，并为在这种新兴媒介中实现无障碍声音表示的方法奠定了基础。
