SIGGRAPH上的四款触感系统体验手记
(YiViAn 2016年8月2日)不能提供真实和完整的触觉是现在虚拟现实技术所面临的最大局限之一。现在大部分的消费者虚拟现实设备,如HTC Vive,都是通过控制器的振动来提供触觉反馈。从我们在2016 SIGGRAPH大会上了解的情况来看,未来的发展方向是在身体的不同部位提供更多不同类型的振动触感,并同步配合恰当的画面和声音。
在上周的SIGGRAPH大会上,来自全世界的开发者、研究人员、企业都展示了正处于实验阶段的触觉反馈技术。有完全创新的硬件,也有简单在背部添加几个振动组件的叙事性体验。
Synesthesia Suit
我尝试的第一个设备是Synesthesia Suit,这是由日本庆应大学的研究人员开发而成。你或许对此并不陌生,在2015年的时候,当索尼通过《Rez Infinit》来展示PSVR的时候就曾使用过这个设备。现在,这个设备再次出现在我们的面前,而这一次他们还带来了新开发的虚拟现实体验。
一开始,我穿上了这个套装并在PSVR上玩《Rez Infinit》这款游戏。游戏过程中你会感受到更多的沉浸感,但这并没有为游戏带来更多的真实感。然后,我穿上了另一套连接在HTC Vive上的设备,并尝试另一款体验(这个demo只是用于展示用途,并没有给出官方名字),而这个体验的真实程度给我留下了深刻的印象。
跟Synesthesia Suit相比,这个触觉套装的振动器位置有很大的不同,甚至会有两个振动器设置在我的头部。副教授Kouta Minamizawa表示,这些振动器其实都是音圈致动器,可以提供不同类型的振动触觉。
这个demo有几个很抽象的场景,里面有着同样奇怪的合成音效。这些合成音效会根据你的行为,或者是发生在你身上的事情而作出反应。有些激光会向我发射,幽灵从我身上穿过,然后还会出现漂浮的能量球,以及其他随机的物体。从流畅的能量冲击,到锐利的激光穿透,这个套装的振动组件可以提供比你想象中复杂的触觉反馈。
这个配置画面可以展示不同的触觉效果
诀窍在于:合适的振动强度,加上合适的视觉画面和音效,三者同步配合,而这可以为其他类似的项目提供非常重要的经验。如果没有这些元素,那么你只会单纯地感受到套装传来振动,而不是真正有东西在触摸你。这或许是因为大脑在感知身体上发生特定的事情时,会期待某种相应的反馈;又或者是从视觉上匹配这种事情,让其更好地理解这种感觉。在这个过程中,音效可以扮演一个非常重要的作用。
所以说,如果缺失任意一种元素的话,触觉反馈会让你感觉不真实。这或许正是《Rez Infinit》未能展示Synesthesia Suit真正实力的原因,因为这款游戏,至少是我所尝试的那个demo,并没有任何合适的视觉画面来匹配触觉反馈,所以我的大脑缺少一种语境,不能理解这种振动所代表的意义。
在那个未被命名的demo中,有很多种不同的触觉方式,让我感觉更加真实,也让我首次感受到基于振动的全身触觉反馈系统的潜力。
不过,这个套装在大部分时间里都不是非常有效,我所看到的画面并不是跟振动完全同步的。这主要是因为这个套装并没有进行任何的身体追踪,仅仅是根据我头部的位置和手部离Vive头显的距离,来对我的身体位置进行推测判断。当然,这在未来会发生改变,因为身体追踪技术会越来越好,追踪范围也会越来越广。在某一时刻,你会感觉到激光真的是射在头部上,而这是件好事,至少就目前来说是件好事。
触觉、视觉画面和音效的完美同步可以提供更多的真实感。不过,这个概念并不算新。这实际上是一个相当简单的想法,也是必然的,而这种想法在很久之前就已经出现了。但随着消费者虚拟现实技术和全新层次的临在感的出现,对研究人员和商业来说,这个话题比以前更有价值。总而言之,许多人都希望通过自己的方式来获得虚拟现实的圣杯,而触觉反馈是实现这一愿望的重要因素。
Oculus HapticWave
在SIGGRAPH大会上,其他研究人员的作品再次强化了我对全感触觉反馈的看法,尤其是Oculus Research的HapticWave。这个设备主要是基于一块振动的金属板,可以提供多重感觉触觉。用户在戴上Oculus Rift之后,把手放在金属板上,然后就可以在桌面上控制一个反弹球,或者是一个移动的火花。用户可以感知到定向的振动,这种振动精确模拟了桌面上正在发生的事情,然后Rift耳机中还会传来位置音频,让你听到正在发生的事情。
他们为每个演示demo都进行了校准,所以当尝试这个设备的时候,我花了很长的时间来才适应,事实上我需要尝试很多次才能适应。但当它起作用的时候,你会感觉到物体具有更多的物理触感。所以这证明了,合适的触觉、视觉画面和音频结合起来是非常有效的。
我们同样不能忘记Oculus,这个最大的消费者版虚拟现实品牌是跟HapticWave有关的。有少数人在质疑,Oculus怎么会弄出一个如此笨重,看上去有点“没用”的金属板。对此,大部分参加SIGGRAPH大会的研究人员都会说:这个研究可以加深我们对这一领域的理解,这个研究并不需要开发成一个消费者产品。
在这种情况下,我们需要去研究关于人类对触觉的感知、局限、以及有效基线等方面。HapticWave技术可以成为这么一个工具,帮助我们更好的研究。而随着研究的进一步发展,HapticWave技术也会进一步优化。另外,我们也需要记住HapticWave的开发机构Oculus Research,是Oculus旗下一个分支机构,专注于那些长期(5-10年)来看或许是有益的技术。所以他们对HapticWave的研究可能只是这个基础的一部分。
HALUX
在SIGGRAPH大会上,我们同样看到其他一些小型实验。其中一个是无缆线的系统,配备了许多小型的振动组件,由一个名为‘HALUX’的检测光源控制。HALUX是由日本电气通信大学的Kajimoto Laboratory实验室研发而成。我戴上了HTC Vive和内嵌HALUX的袖套,然后站在一个投影机的前面。当某些东西与我的虚拟手臂进行交互的时候,特定的灯光图案会被投射出来。
而这个demo同样有关于同步的问题,但正如预测的一样,在幻觉被打破之前,有那么几秒是可行的,我感觉到确实是有东西撞到我的手臂上。之所以有效的原因是,触觉和视觉画面在正确的时间点出现;而没有效果的时候,是因为同步并不成功。
FinGAR
另一些同样来自Kajimoto Laboratory实验室的研究人员展示了一个名为‘FinGAR’的设备。你的指尖需要连接振动组件和电刺激组件。不过这一次,没有任何虚拟现实demo。所以我很难判断这个系统的潜力。
与单纯的机械振动相比,这种通感触觉反馈要更加复杂。在虚拟现实中尝试demo的时候,我经常在想,这种反馈可以提供一种全新水平的真实感。所以,就算是一种反馈十分准确和复杂,但或许仍然不能让人足够信服。因为如果缺少其他感觉的反馈来为大脑提供一个语境,那么大脑就很难判断你是在触摸一个真实的物体,还是说仅仅只是可穿戴设备所提供的刺激而已。