开发者利用Quest Passthrough API制作弹钢琴游戏
社区开始不断出现相关尝试的探索用例
(映维网 2021年08月31日)开发者多米尼克·哈克尔(Dominik Hackl)日前展示了Quest应用Magic Keys的首个可玩demo。作为背景,Facebook早前通过v31带来了Passthrough,允许开发者访问头显摄像头以创建提供MR透视功能的应用内容。所以,社区开始不断出现相关尝试的探索用例。
哈克尔的Magic Keys正是其中一个例子。这是一款面向Oculus Quest的增强现实应用,旨在以类似于《吉他英雄》/《Beat Saber》的游戏方式来教导你简单的钢琴曲和演奏技巧。即便你没有任何经验,你都可以跟着提示演奏出简单的曲目。
如上面的视频所示,当进入游戏后,Magic Keys将利用Quest摄像头扫描匹配钢琴琴键。然后,按照弹奏曲目所需的琴键和节奏,系统将相应地在特定琴键前方显示包含矩形长条的方块。就如同游玩《吉他英雄》或《Beat Saber》一样,玩家需要按照迎面而来的方块点击相应的琴键,以一种寓教于乐的方式来学习如何演奏曲目。其中,方块代表点击对应方向的琴键,而方块后面的长条代表着你需要按着琴键的时间。
哈克尔指出:“我大约两年前开始这个项目,而我最初只是打算开发一款支持平板电脑的小型AR应用程序。在证明它的有效性之后,我将Magic Keys移植到HoloLens,并进行了一定的重大调整。我继续添加功能,并尝试增强音乐的可视化效果,但HoloLens过小的视场极大地限制了我。”
来到2021年,Facebook提供了Passthrough API,并允许开发者利用头显摄像头视图来开发各种实验性的AR应用。所以,哈克尔把目光投向了Quest。
他指出,最终目标是“开发一个功能齐全的虚拟钢琴教师”。需要注意的是,这只是首个可玩demo,最终应用发行尚未确定。更多关心所述项目的信息可访问这个页面。