雨果·巴拉:行业北极星Vision Pro过度设计不适合产品市场

腾讯研究3D音效算法,为VR场景实时语音沟通提供3D音效

文章相关引用及参考:映维网

腾讯音视频实验室研究的3D音效算法可以不靠特殊硬件直接模拟出3D音效,还能让用户在任何普通耳机上体验3D实时语音的效果。

映维网 2018年01月09日)VR制作公司Jaunt的音频首席工程师亚当·桑默斯曾说过:“(在VR这件事上面),听觉占了五成,视觉占剩下五成。”对于沉浸感而言,听觉显然十分重要,而厂商们正在努力探索以低成本实现高质量3D音频的方式,这其中就包括腾讯。

以往3D音效制作都是基于游戏开发引擎实现,尽管效果很逼真,但也不万能,例如其无法实现3D实时语音。对于腾讯音视频实验室目前研究的3D音效算法,其不仅可以不靠特殊硬件直接模拟出3D音效,还能让用户在任何普通耳机上体验3D实时语音的效果。

比如腾讯提供的以下两个音频:

处理前

处理后

1. 3D音频处理算法的原理

腾讯表示,我们人之所以会听到“3D”声音,这是因为同一个声音传到左右耳里的音量、延时等信息是不一样的。借助特定的算法,我们可以调整相关的参数,模拟人在空间内不同位置听到声音的方位感,并且实现不同环境下的声音反射效果,比如野外,音乐厅或者小轿车内。 更重要的是,这种技术可以应用到实时语音中,结合位置,让你说出来的话直接变成“3D”。

我们都已经熟悉电影院和家庭影院的立体声,而这种立体声效果实际上是依赖于多个不同位置的音箱。对于耳机,不管视频原来有多少个声道,在处理后我们都只能听到左中右三个声道,这模糊了一系列的声音细节和变化。

腾讯音视频实验究表示,他们正在研发的3D音效技术可以在空间中“虚拟”出各个音箱,并把视频的各个声道还原到相应的位置,这听起来就像把电影院搬到了手机里一样,而你需要的仅仅只是一副普通的双声道耳机。

2. 3D音频处理算法的应用

2.1 增加临场感

经过3D处理的电影背景音乐

随着VR头显的兴起,双声道音频变得更加重要。通过将每个麦克风放置在耳朵所在的位置,在播放期间的音频听上去就会像是你亲临现场一般。比如当你侧对一扇门时,如果门关上了,一边耳朵听到的声音会比另一边耳朵听到的声音更大。与一般的立体音频相比,这样的效果将使得VR内容更加身临其境。另外,腾讯即将上线的一款自研VR游戏中将会应用腾讯音视频实验室的这项技术成果。

2.2 3D实时语音

无论是社交VR还是远程会议,3D音频对虚拟现实的多用户场景的重要性不言而喻,因为普通音频下的多人VR只会出现叽叽喳喳,根本分不清谁是谁的场景。腾讯指出,3D实时语音可以实现一种戏剧性的效果:亦即我们发出和听到的声音都会根据位置变化而实时改变。通过将各个声音虚拟到空间相应位置,极大增加真实感,你玩起来就会像真的跟好友在同一个房间一样。

棋牌游戏方位音效

腾讯音视频实验室指出,他们正在不断开拓3D音效技术的新应用,希望可以为我们打开听觉新体验的大门。

本文链接https://news.nweon.com/40260
转载须知:转载摘编需注明来源映维网并保留本文链接
素材版权:除额外说明,文章所用图片、视频均来自文章关联个人、企业实体等提供
QQ交流群苹果Vision  |  Meta Quest  |  微软HoloLens  |  AR/VR开发者  |  映维粉丝读者

您可能还喜欢...

资讯