深入探究Valve Index的耳机、麦克风设计过程

查看引用/信息源请点击：映维网

本文来自于Valve音频工程师艾米莉·丽琪维

（映维网 2019年08月14日）继深入介绍了Index头显的视场之后，Valve日前撰文探究了设备耳机和麦克风方面的设计过程。

延伸阅读：深入了解Valve Index的FOV视场设计

本文来自于音频工程师艾米莉·丽琪维（Emily Ridgway），下面是映维网的具体整理：

Valve Index Ear Speakers是针对虚拟现实的特定体验性目标进行优化，所以它们的设计方式与传统消费者耳机有所不同。

在早期的VR实验阶段，我们日渐发现要令VR用户暂时不再怀疑体验的真实性，这不仅依赖于传统游戏和电影的叙事，环境和情感唤起设计方式，同时需要一种专为VR而生的生理问题解决能力。当我们戴上头显开玩《Bugdget Cuts》时，我们希望VR能够令大脑相信我们的身体确实传送至了一个充满机器人的办公室环境，而非单纯通过一个静态屏幕向我们展示其环境。

我们在研究和游戏测试中发现，实现最大声音沉浸感对音频组件的设计提出了与3D追踪系统或显示面板相同的大量要求。我们同时发现，围绕所述要求进行设计意味着接受一定的权衡，而这会影响扬声器的位置，驱动器的重量，驱动器音膜的形状，扬声器外壳的工业设计，甚至是基本的频率响应特征。

1. 硬件与软件

只有同时利用软件和硬才能实现令人信服的音频沉浸感。明确硬件（音频组件）和软件（游戏，VR体验）职责之间的界限需要对VR音频管道进行整体的权衡考虑：从VR声音内容的创建方式到游戏引擎的输出方式，再到声音传输到耳朵的全过程。

在软件方面，自上世纪90年代出现了第一批与玩家相关的全景体验之后（《毁灭战士》，《半条命》和Aureal 3D等），音频工程师和科学家一直致力于创造令人信服的沉浸式声音内容。接下来得益于当前一代的虚拟现实，我们已经看到空间音频技术的巨大提升的。双耳渲染和基于物理的声音模拟插件（如SteamAudio）允许开发者通过常规立体声耳机实现更高的声音定位精度，物理精确的虚拟混响，声音遮挡，以及声音传播。考虑到当前VR领域的最佳听音组件，我们利用了以下知识和音频软件模拟研究：

1. VR内容主要以立体方式传送：左右各一个音频通道。所述通道可以包含相对于玩家在任何给定时间注视的位置的嵌入式双耳与HRTF音染。
2. 我们的外耳，头形和面部几何增加了特定的音调特征，能够帮助我们的大脑识别真实声音与假想声音，以及声源相对于我们的位置（后方，上方，下方，左侧，右侧等） 。
3. 中高频声音保真度非常重要：双耳模拟依赖于音染的细微变化（1kH-8kHz）来传达声源相对于玩家的位置。如果听音组件添加了自己模糊不清的频率音染，这将会干扰玩家定位声音的能力；另外，人类通常对2kHZ-5kHz范围内的声音非常敏感。如果虚拟声音的频率与我们预期的实际情况不符，我们更有可能将声音识别为“不真实”。你可以比较一下通过扬声器播放某人的声音和某人在你旁边说话的情形。
4. 低频声音保真度很重要：尽管低频内容在自然界中并不经常发生，但它在VR和娱乐内容中经常出现，如音乐，隆隆声，爆炸，枪声和心跳等等。低音对于传达大小和规模感至关重要。它增强了VR的视觉沉浸感，并能够引发特定的情绪暗示，如危险，孤立和内化等。所以，听力组件维持健康的低音响应应很重要。

2. 为什么不采用耳机呢？

传统耳机擅于向每只耳朵提供直接的，与玩家相关的立体声音内容。玩家可以在虚拟世界中环顾四周，而具有声音模拟插件的3D游戏引擎将输出所需的立体声信号以传达虚拟声源的正确位置。这正是电竞选手（如《CS：GO》）选择耳机而非前置扬声器的原因，因为耳机提供了更直接的空间声音信息。两个输出通道（L/R），两个喇叭（L/R），两只耳朵（L/R）。

但一般而言，传统音频组件很少是以声音沉浸感作为主要的设计目标。诸如耳塞，入耳式耳机和耳罩式耳机之类的个人组件主要是用于在不适合扬声器，并且通常能耗需求极低的设备，如智能手机，由电池功能的设备。这种听音组件的重点一般是声音隔离，功率效率，噪声消除，以及增强的频率响应。我们认为，前面所述的大多数优化对当前的房间规模VR而言可能没有太大意义，因为后者的听音环境是专门的游玩空间，出现少量的声音泄漏可能不会有太大问题。我们同时可以获取充足的功率和频率响应支持。

耳机和耳塞需要接触耳朵或环绕耳朵。我们发现这有时可以通过以下方式影响音频沉浸感：

1. 将声音直接传递到耳道会绕过因耳朵和头部与真实声波相互作用而引起的自然听音过程。用户将错过耳朵，头部和个人几何形状产生的音染特征。即使音频内容是高度空间化和物理模拟，这都有可能导致相关声音仿佛是想象而成。我们预测，软件模拟最终能够考虑到这一点。
2. 经过一段时间后，相关组件给耳朵施加的压力会令用户感到不适，从而影响VR的沉浸感。
3. 有被试报告说，耳机接触耳朵的行为向其发出了任何即将出现的声音都非真实的信号。
4. 耳罩式耳机密封耳朵会令热量聚集不散，这会减损临场感。
5. 某些耳机的音质会干扰双耳模拟的微妙频率音染。例如，夸大或模糊不清的中高频很可能会干扰HRTF滤波器的微妙性，导致游戏和VR中的定向声音感觉不佳。

3. 为什么不采用扬声器呢？

我们同时考虑了典型立体声或环绕声设置中的消费类扬声器和波束形成扬声器。扬声器可以绕开一系列与耳机相关的舒适问题，并且能够发出我们可以轻易地将其视为来自外部的声音。但它们确实为采用提出了一定的障碍：

1. 现有的立体声扬声器配置采用正向设计，所以声音传来的方式就像是你是一名观众并在台下欣赏乐队的演奏，或者坐在沙发看电视。这对于音乐和电影而言没有什么问题，但VR和立体游戏声音内容输入是假设L/R通道能够马上达到头部两侧。
2. 常见的5.1和7.1环绕声系统将声音播放限制在水平音场，而VR和游戏声音内容则可以虚拟地定位在周围的任何位置。
3. 扬声器系统需要花费时间和空间进行正确地设置，从而为VR系统创造了额外的摩擦。
4. 扬声器要求播放器保持在一个小小的“最佳位置”以进行精确的空间播放。VR有时可能需要用户在大空间中移动。
5. 扬声器可能会受到真实房间的声学影响，并可能与虚拟世界的期望声学冲突。
6. 扬声器可能会使声音感觉太远，与可能非常靠近玩家耳朵的虚拟声源位置相矛盾。

4. 我们的选择

在回顾上述所有权衡时，VR的最佳听音解决方案可能是一对超近场，全范围的耳外耳机。足够接近耳朵以模仿玩家相对的立体耳机，并且支持当前VR内容的输出格式，但同时足够远隔以允许耳朵和头部的音染，并且又可以解决舒适和压力问题。正是这种认识，以及童年记忆的灵感（能够在两个朝内向的高保真扬声器设置中完全沉浸在音频体验之中），我们创建了首个原型。

我们首个近耳扬声器原型

5. 发展

对于第一个原型，我们将两个小型全频桌面扬声器驱动器贴在滑板头盔的侧面，然后将一个旧款Vive绑在头盔外面。扬声器由接入HTC Vive耳机插孔的USB和音频输出功能。当我们允许自己的耳朵和头部自然地解释声音时，这个粗糙的原型在演示声音沉浸感和外化提升方面的表现非常测色。沉浸感难以进行定量测量，所以在这个阶段，我们依靠来自同事和被试的定性反馈来描述原型与一对KOSS Porta Pro入耳式耳机的声音差异。实际的反馈非常青睐于扬声器，而我们认为值得继续推进这种设计。但我们遇到了几个问题：

1. 低音响应非常有限。
2. 由于佩戴头盔的方式或在VR中移动会导致扬声器位置的轻微变化，从而导致音量，频率响应和声音平衡出现显著变化。
3. 重量和大小。扬声器太重（每个70克），与我们实现更轻更舒适的头显目标不一致。这可能是我们早期最为关注的问题。
4. 声音泄漏。

对耳机驱动的实验

为解决体重问题，我们尝试使用耳机驱动器而非扬声器驱动器。尽管它们更轻，更省电，但当远离耳朵时，其无法提供足够的音量。我们早已知道情况会是这样，但听到声音沉浸感与原理耳朵距离 vs 频率响应 vs音量之间的权衡十分有趣。

磁性平面近耳耳机概念

我们想知道耳机驱动要多大才能开始满足我们的音量和频率响应要求。为了寻找答案，我们与开发了一对磁性平面耳机的Audeze进行了交谈。结果听起来令人难以置信，但Valve Index的生产目标无法支持其重量，尺寸和成本。

首个基于“Hummingbirds”的扬声器

我们回到将扬声器驱动器作为我们推进设计的基础。早期音频研发的优势之一是，我们能够独立于Valve Index头显系统工作。在机械工程师的帮助下，我们构建了一个独立的耳机外形。在这个环境中，我们能够快速迭代低音响应，调谐，声音入耳方向，耳朵距离，以及扬声器驱动器A/B测试评估。

这是首个通过3D打印的耳机原型，我们内部将其称为“Hummingbirds（蜂鸟）”。

搭载小型，全频，传统活塞扬声器的Hummingbirds

之所以构建这种色彩斑斓的Hummingbirds，我们是为了评估不同种类的小型全频扬声器驱动器。到目前为止，我们一直在重新利用整个消费类扬声器和耳机系统。购买和评估现成的组件需要我们开始构建音频子系统的基础：扩音器，音频芯片，DSP（数字信号处理）和麦克风。与此同时，我们越来越接近耳朵距离，旋转，重量，扬声器尺寸和频率响应之间的发货目标。

首对采用Tectonic的BMR驱动的Hummingbirds

我们在驱动评估阶段遇到了BMR（Balance Mode Radiator）驱动，并且马上注意到数个优势：它们减少了由于扬声器误定位而引起的音染；几乎在我们的重量目标范围内；在高中频范围内有着非常优秀的频率响应（对双耳模拟很重要），并且比传统扬声器驱动薄得多。我们开始与Tectonic合作设计一款用作耳机扬声器的定制驱动。

我们内部越来越关注耳塞式扬声器的声音泄漏问题，以及它们会令放进来多少外部声音。为了确定这对用户的影响，我们构建了20多台Hummingbirds，并供同事在家测试。没有人想要归还借出的Hummingbirds。这是一个好现象，而且游戏测试反馈非常积极。被试评论道，不借出耳朵和增加的声音沉浸感能够抵消外部声音进入和/或内部声音泄漏所引起的问题。我们决定继续这种设计，但时刻牢记所述的问题。

Mr. HATS

5. 产品

我们现在有测试结果优秀，并且在我们的保真度，成本和设计目标范围内的耳机扬声器子系统。我们开始将耳机设计与头显合并。在头显环境中开始测量音频子系统的性能变得非常重要。通过精确测量，我们可以渐进式改进和识别音频子系统中的问题。我们一开始采用了“Mr.HATS”模型进行频率响应测量。表面的蓝色胶带标记了头显在模型的确切位置，从而确保早期测量可以保持一致。

Index BMR驱动在消声室中的频率响应图

为了最大化音质，我们每天都会测量和改进频率响应和低音扩展。Valve努力利用EQ调音和算法来改善低音扩展，而Tectonic则致力于通过优化扬声器驱动本身来改善低音。双方努力的结合使得我们能够实现并超越我们的音质和低音响应目标。

BMR驱动的极坐标响应图和声压级图说明了音质在各个扬声器驱动位置的一致性。

通过利用BMR驱动，我们能够确保一致的音质，无需音染（即使扬声器在头部侧面略微错位）。这是因为BMR独特的发声方式。在低频时，它们表现得像传统扬声器。电信号进入，整个音膜前后移动并追踪信号的形状。但真正的魔法发生在更高的频率。当声音的波长类似于音膜大小时（> 3kHz），传统的驱动将开始进入“分解”模式，导致音膜弯曲和波动，并在频率响应中产生非常尖锐的峰值。BMR从材料，质量和模拟等方面精心设计了音膜。基本上， 即使它们与BMR扬声器没有完全对齐，其都能够确保的你耳朵始终能够接收完整的声音信息。

通过机械方式减少声音泄漏

另外，Tectonic能够通过机械方式减少声音泄漏。由于Valve Index扬声器驱动对外敞开，来自前侧的压力可以与来自后侧的压力相互作用，并且彼此异相。但驱动本身提供了一定程度的“挡板”。基本来说，对于任何扬声器驱动，其外径有助于防止来自前侧的压力与后侧压力相遇，但这只有在声波波长小于驱动直径的挡板时才有用。当波长大于驱动直径时，来自前侧的压力将直接与来自后侧的压力相互作用，并且发生强烈抵消。驱动的总直径约为5厘米，这意味着大约3kHz以上不存在抵消。但正如我们所知，在这个频率之上的音频内容会越来越少。大多数音频内容都低于3kHz，这是抵消最为强烈的区间。Tectonic首席技术官提姆·怀特维尔（Tim Whitwell）指出：“佩戴耳机的用户耳朵非常接近于驱动（近场），由于来自前方的压力比后方更靠近耳朵，所以用户不会感知到抵消。”

6. 麦克风

我们的目标是配备高质量的麦克风，从而支持直播者和多人游戏体验。但由于采用了耳机扬声器设计，我们预计麦克风性能将成为一项艰巨的挑战。令我们惊讶的是，结果并非如此。由于耳机的几个独特功能，我们能够避免在麦克风信号上使用大量的噪声消除DSP，从而能够将麦克风流的采样率保持在48kHz。下面是一系列有助于构建高质量麦克风输入的功能：

1. 双麦克风阵列可以缩小方向响应，并专注于信号（用户嘴巴）和消除其他外来噪音。双向麦克风阵列将拾音器聚焦于用户嘴巴，并排除任何外部声音。
2. 与传统扬声器相比，BMR驱动的“挡板”减少了外部噪音干扰。
3. 扬声器和麦克风的声学设计能够大大减少非线性声学反馈路径。玩家自己的头部吸收BMR扬声器的大部分初始声能。
4. 高SNR麦克风和音频路径。
5. 优质的麦克风和声学密封。
6. 动态压缩传入的音频。

7. 最后的想法

所有的研究，迭代和反馈使得我们相信Valve Index的耳机设计能够尽可能地接近于最佳权衡平衡，以及专门为房间规模VR音频设计的功能。我们对音频体验感到非常满意。当然，我们尚有更多需要学习的地方，以及存在很大的提升空间。