在虚拟现实中创作音乐,演绎才华横溢的世界
虚拟现实非常强调视觉和触觉反馈,但目前除了《Jack White》 、《The Who》和《SoundSelf》提供的多感官体验外,虚拟现实界对于声音方面的探索少得可怜。
阿姆斯特丹的创意编码员及动作图像设计师Sander Sneek希望通过Soundscape,一个虚拟现实音乐制作环境来改变这样的现状。Soundscape不是一个全面的DAW(数字音频工作站),而更像一个虚拟的软音源。头戴三星Gear VR,用户面对的是一个充满未来感的世界,一座大教堂般的建筑之下是一个单片合成器,月亮在远处发着微光。
Sneek制作Soundscape是为了参加Oculus的Mobile VR Jam大赛,最终Soundscape取得了应用体验类的银奖。
在大屏幕上,用户可以添加音符,改变音效或三种乐器中其中一种乐器的音色特点。用户可以独奏,也可以和任意两人合奏。操作时,用户可以坐着,然后通过视线跟踪和点击Gear VR上的跟踪器来输入声音。
Sneek说:“在虚拟现实中,我充分利用现有的设备如Kinect、Leap Motion或Wii Balance Board来创造沉浸感最高的体验,带来最佳的身临其境感。作为一个音乐家,音乐总是发挥着重要的作用,因为在虚拟现实中音效占了一半的体验。音乐,尤其是运用软件来制作音乐,一直是我的一大兴趣爱好。”
Sneek用Unity 3D制作了Soundscape中的视觉部分。声音部分是运用爵士鼓声音样本和实时合成声生成的,完全是由Sneek一点一滴做出来的。他还为Gear VR体验编写了一个自定义数据库。
Soundscape中有一个“音调矩阵”(Tonematrix),这是受Andre Michelle的VR ToneMatrix 实验的启发,该实验还用了Leap Motion设备。Sneek的Tonematrix可以用于增加音符,调整两个波形以形成独特的合成音,和增加四种音效——混响、延长、中止和自定义特效。Drumcomputer可以用于增加和触发鼓声样本,并增加混响、延长和中止的音效。Tone RPG则用于制作“深沉、持续的合成音”,通过调节波形和音效来实现。
Sneek还为声音增添了视觉化的想象——天空中飞鸟的数量根据Tonematrix中产生的音符数量而增减。他还编写了程序,使全球的照明根据Drumcomputer的鼓声样本作出回应,Tone RPG实时生成的波形也会显示在合成器的单片屏幕上。
Sneek希望在Soundscape的进阶版中加入一个取样器,同时增加Drumcomputer的样本数量,增添Volume和BPM控制。他还希望能与阿姆斯特丹的交响乐团合作。
除了Soundscape之外,Sneek最近还发布了Hoverboard VR,一个结合了Wii Balance Board(BB)的VR体验,这个体验是受《创:战纪》和《回到未来》两部电影的启发。Hoverboard VR需使用Oculus Rift和Xbox Kinect。
Sneek表示:“你通过分配在Wii BB上的重量来在虚拟空间中移动。当你向左或向右倾斜时,你会前进或者后退(取决于你肢体是否灵活)。当你向前移动时,你将自动地沿着马路前进,这会让行驶变得更容易,但也会带来眩晕感。当你身体向前或向后倾斜时,你可以在高速路上左右移动。”
Sneek目前正在计划一款基于Oculus Touch和HTC Vive控制器的协作音乐应用,将实现双声道音效。“我相信人们将在VR中共同制作音乐。人们都喜欢制作东西,沙盒游戏《我的世界》和乐高积木就是很好的例子。”
[VIA vice]