支持苹果Magic键盘,Meta正式开放Interaction SDK和Tracked Keyboard SDK
Interaction SDK和Tracked Keyboard
(映维网Nweon 2022年02月02日)为了构建感觉自然真实的虚拟环境,我们需要改进在应用中表达运动和空间的方式。在Connect 2021大会期间,Meta发布了一个涵盖一系列机器感知和人工智能功能的Presence Platform。它包括透视功能、空间定位和场景理解,并允许你构建更逼真的混合现实、交互和语音体验,从而在用户的物理世界中无缝混合虚拟内容。
随着v37的逐渐铺开,Presence Platform中的Interaction SDK(实验性)和Tracked Keyboard SDK于日前正式向社区开放。
1. Interaction SDK(实验性)
随着v37 SDK的铺开,Interaction SDK(实验性)已经向社区开放。强大、模块化和可组合的交互组件,开发者将能够更轻松地集成裸手交互体验和以控制器为中心的交互体验。它提供了Unity手部交互库,以及一套现成的的交互组件,如Grab、Poke、Target和Select。所有组件都可以一起使用或独立使用,甚至可以集成到其他交互框架中。Interaction SDK旨在解决与基于计算机视觉的手部追踪相关的众多棘手挑战,并提供了标准化的交互模式。另外,它提供了帮助你构建自定义手势的工具。
下面是所述SDK包含的主要组件:
-
Grab, Resize & Throw:直接与虚拟对象交互,包括调整大小、投掷、从一只手递到另一只手,甚至可以远距离召唤和抓取。
-
Hand Grab:可以令虚拟手部与虚拟对象保持一致。这个工具可以帮助你轻松建立姿势,而这在过去通常是一项劳动密集型工作。
-
Pose Detection:使用手指卷曲等每指信息来轻松创建自定义手势,并且支持多种手势。
-
Direct Touch:构建包含按钮的虚拟表面。按钮戳按机制对错误或触按偏差具有弹性。按钮同时可以通过“触碰限制”来模拟触觉和物理性,从而防止虚拟手部穿过按钮。另外,滚动手势允许你轻松创建更复杂的2D UI。
-
Targeting and Selection:实现与系统UI中类似的瞄准和选择机制。
更多关于Interaction SDK(实验性)的信息,请查看开发者文档并下载v37 SDK。
2. Tracked Keyboard SDK
Tracked Keyboard SDK将允许用户将物理键盘带到虚拟现实,并提供无缝的打字体验。系统将使用计算机视觉追踪来定位和渲染键盘,使用蓝牙来接收键盘输出(可选),同时使用手部追踪和Passthrough来渲染手部。Quest目前支持两种键盘型号:Logitech K830和Apple Magic Keyboaard,但不久将支持更多键盘。简单来说,这个SDK允许开发者轻松地将所述功能集成到Unity和原生应用之中。
API提供的键盘模型可以集成到你的应用场景中,帮助你建立丰富的沉浸式打字体验。在过去的几个月里,团队一直在与多支团队合作,比如办公应用vSpatial。
Meta表示:“这个新的SDK是为虚拟现实解锁一系列新用例的重要一步,我们非常期待你使用这个新功能来构建令人惊叹的用户体验。”
更多关于Tracked Keyboard API的信息,请查看开发者文档并下载v37 SDK。