Quest Interaction SDK分享:帮助开发者实现高质量控制交互

查看引用/信息源请点击:映维网Nweon

Interaction SDK的功能、示例和其他资源

映维网Nweon 2022年11月25日)交互是沉浸式VR的一个关键方面。为了提高留存并提升整体体验,它必须自然和直观。所以,Meta为Presence Platform带来了Interaction SDK,从而帮助开发者利用模块化和灵活的组件来实现大量交互,从而创建高质量的手部和控制器交互。

在日前发布的博文中,Meta介绍了Interaction SDK的功能、示例和其他资源。视频可以访问YouTube,下面映维网整理了相关的文字说明:

1. 什么是Interaction SDK?

Interaction SDK是一个组件库,用于为你内容体验添加控制器和手部交互。它允许你纳入用户交互的最佳实践,Ray光线投射、Poke戳和Grab抓的交互模型,以及HandGrab、HandGrabUse和Pose Detection的交互模型。

要使用Interaction SDK,你需要安装支持的Unity版本和Oculus Integration包。更多有关先决条件、支持设备、Unity版本和依赖关系的更多信息请查看这一页面

Meta希望令你的Interaction SDK体验尽可能流畅,所以团队会定期添加新功能,进行bug修复和改进。有关新功能、弃用和改进的最新信息可以查看这一页面

2. Interaction SDK如何工作?

Interaction SDK中的所有交互模型都由一对Interactor-Interactable组件定义。例如,Ray光线交互由RayInteractor-RayInteractable组件对定义。Interactor和Interactable组件一起构成交互。

更多有Interactor-Interaction的信息请查看这一页面。你同时可以选择使用InteractorGroup并根据多个Interactor的状态来协调它们。这一页面介绍了InteractorGroup是什么,如何使用它们,以及它们如何帮助你协调多个Interactor以创建 InteractorGroupMulti。

如果你想令一个交互依赖于另一个正在进行的交互,你可以在一个主要-次要关系中将交互彼此联系起来。例如,如果你想首先抓取一个对象,然后使用它,这时抓取交互为主要,而使用交互则是次要。更多信息请访问这一页面

3. 有什么可用的交互?

Interaction SDK允许你实现一系列稳定和标准化的交互,如Ray光线投射、Poke戳和Grab抓等:

3.1 Hand Grab手抓

Hand Grab交互提供了一种抓取对象,并将对象对齐到预先编写的手抓姿势的方法。它使用HandGrabInteractor和HandGrabInteractable进行此交互。

Hand Grab使用每个手指信息,使用HandGrabAPI来通知选择何时开始或结束,HandGrabAPI指示抓取开始和停止的时间,以及抓取姿势的强度。当HandGrabInteractor搜索最佳可交互候选对象并提供所需的必要对齐信息时,HandGrabInteractor指示是否可以抓取对象、对象如何移动、哪根手指执行抓取、用手信息、手指约束、手应该如何对齐等等。这一页面讨论了Hand Grab Interaction的更多信息。

3.2 Poke戳

Poke交互允许用户通过直接触碰与表面交互,例如按下或悬停在按钮之上,然后与弯曲和平面的UI交互。

Poke使用PokeInteractor和PokeInteractable进行交互。PokeInteractor使用名为Pointable Surface的碰撞曲面来计算悬停和选择。更多源于Poke的信息请访问这一页面

PokeInteractable同时可以与PointableCanvas结合,以实现可直接触碰的Unity UI。这一页面介绍了如何将Interaction SDK与Unity Canvas集成。

3.3 Hand Pose Detection

Hand Pose Detection手势检测提供了一种能够识别手部何时匹配形状和手腕方向的方法。

这个SDK提供了六个示例姿势作为预制件,并展示了Hand Pose Detection的工作原理:

  • 剪刀石头布的石头姿势
  • 剪刀石头布的布姿势
  • 剪刀石头布的剪刀姿势
  • 拇指向上姿势
  • 拇指向下姿势
  • 停止姿势

根据所述姿势定义的模式,你可以定义自己的姿势。更多关于姿势预制件包含的内容,请查看这一页面

这个交互使用ShapeCognition、TransformRecognition、VelocityRecognition和其他函数来检测形状、姿势和方向。ShapeRecognizer允许你指定手指特征,而Transform提供有关方向和位置的信息。更多相关信息请查看Shape页面Transform页面Velocity页面

3.4 Gesture手势

Interaction SDK结合了Sequences和Active State的使用,使得你能够创建手势。你可以使用Sequences链接Active State以创建手势,例如滑动手势。

当满足指定的条件(如形状、变换特征、速度等)时就可以激活一个状态。例如,当手指特征的所有状态与所列形状中的状态匹配时,或者说当满足指定形状的条件时,一个或多个ShapeRecognizerActiveState组件可以变为活动状态。

由于Sequences可以随着时间的推移识别一系列活动状态,所以它们可以用于创建复杂的手势。更多关于Sequences的信息请查看这一页面

3.5 Distance Grab远距离抓取

Distance Grab交互允许用户选择和移动通常超出臂展范围的对象。例如,这可以意味着将对象吸到手,然后抓住它。 Distance Grab同时支持其他动作。

这个交互使用DistanceHandGrabInteractor和DistanceHandGrabInteractable。这一页面介绍了Distance Grab交互是如何工作,如何选择最佳的远程交互,以及如何自定义交互的行为等等。

3.6 Touch Hand Grab接触抓取

Touch Hand Grab根据碰撞器的配置抓取对象,并令手指动态贴合其表面。这意味着用户可以通过接触表面来抓取交互对象,无需完全抓握对象。

这个交互使用TouchHandGrabInteractor和TouchHandGrabInteractable。TouchHandGrabInteractor定义了接触交互属性,而TouchHandGrabInteractable定义了Interactor用于在选择期间测试重叠的碰撞器。更多关于Touch Hand Grab交互的信息请访问这一页面

3.7 Transformers变换

Transformers允许你定义在三维空间中操纵可抓取对象的不同方式,包括如何使用可选约束平移、旋转或缩放对象。

例如,可以为对象使用Grab交互、Transformers和Constraints来实现交互,例如在平面上移动对象、使用双手更改其比例和旋转对象等等。

3.8 Ray Interactions射线交互

Ray Interactions允许用户通过光线投射来选择对象。然后,用户可以选择使用姿势进行交互。

这个交互使用RayInteractor和RayInteractable。RayInteractor定义了光线投射的原点和方向,以及交互的最大距离,而RayInteractable则定义了被投射对象的表面。使用手时,HandPointerPose组件可用于指定RayInteractor的原点和方向。更多关于射线交互的信息请访问这一页面

如果你想了解更多关于上述功能的信息,请查看这个交互文档

4. Interaction SDK示例

为了方便你尝试相关交互,Meta提供了Interaction SDK Samples应用,并展示了上面讨论的每个功能。这个示例应用程序位于App Lab。为了帮助你更好地理解交互,它将每个功能作为单独的示例突出显示。

在尝试示例之前,请确保你已启动手部追踪。请转到头显端的“Setting/设置”,单击“Movement Tracking/运动追踪”,然后打开“Hand Tracking/手部追踪”。你可以将“Auto Switch Between Hands And Controllers/手和控制器之间的自动切换”选项保留为选中状态,以便在放下控制器时可以使用手部。

进入应用后,页面将显示所有可供尝试的示例交互,包括上面列出的交互。

  • HandGrab示例:这个示例展示了HandGrabInteractor,并演示了单手抓握姿势。例如,你可以以单手抓握火炬。
  • Touch Grab示例:这个示例展示了如何通过触摸而不是实际抓取对象来抓取对象。Touch Grab使用对象的物理形状动态创建手势。在这里,你可以找到一个运动学和非运动学的例子来尝试这种交互。
  • Distance Grab示例:这个示例展示了多种发送信号、吸取和抓握远距离对象的方法。例如,Anchor at Hand可以锚定对象,你可以移动锚点而不实际抓取。Interactable to Hand则显示对象快速朝手部移动,然后保持与手的连接。最后,Hand to Interactable允许你远距离移动对象,就好像你的手就在远距离对象的附近一样。
  • Transformers示例展示了GrabInteractor和HandGrabInteractable,并添加了物理、变换和对象约束。地图展示了仅平移具有平面约束的可抓取对象。宝石展示了可以用手拿起,扔下,变换和缩放的物理物体。相框则展示了带有约束的单手旋转变换。
  • Hand Grab Use示例:这个示例演示了如何在HandGrab交互之上执行Use交互。在本例中,你可以抓住喷水瓶并用手指按住扳机。然后,你可以瞄准植物,按下按钮,从而以直观自然的动作洒水叶片。
  • Poke示例:这个示例展示了PokeInteractor应用在各种具有触碰限制的表面之上。它使用独立按钮或Unity Canvas来演示戳按交互和可按下按钮。
  • Ray示例:这个示例展示了RayInteractor使用CanvasCylinder组件与弯曲的Unity画布交互。它演示了与Unity画布的射线交互。它同时展示了允许各种材质类型的曲面:Alpha Cutout、Alpha Blended和Underlay。
  • Poses示例:这个示例展示了六种不同的手部姿势,并带有姿势识别的视觉信号。它检测拇指向上、拇指向下、剪刀石头布和停止姿势。姿势可以由左手或右手触发。它同时会在姿势开始时触发粒子效果,并在姿势结束时隐藏效果。Interaction SDK提供了一个手势创作工具,它允许你启动编辑器,以自然的方式伸出手并握住项目,记录姿势,然后立即使用姿势。
  • Gestures示例:这个示例演示了Sequence组件与ActiveState逻辑的结。需要注意的是,手势仅在悬停在对象上时才处于活动状态。

更多关于上述示例如何工作的信息,并寻找开始使用它们的参考材料,请查看示例场景功能场景

5. 尝试《First Hand》

除了上述示例,Meta同时利用Interaction SDK构建了手部追踪演示内容《First Hand》。这款应用将允许你以双手使用开关、杠杆和虚拟用户界面,以及构建机器人手套等等,从而以裸手方式体验直接用手与虚拟世界交互的魅力。

《First Hand》利用Presence Platform的交互组件、手势和工具库Interaction SDK构建,并包含一系列旨在展示裸手交互魅力的交互模型。它通过App Lab发布,是一个开源项目,面向希望在自家游戏和应用中轻松复制类似交互的开发者。

Meta指出,《First Hand》的灵感来自于Touch控制器演示内容《Oculus First Contact》,而《Oculus First Contact》不仅是一种愉快的体验,而且重新定义了与六自由度控制器的交互类型。所以对于《First Hand》,“我们希望同样以类似的方式来激励开发者构建突破性的内容。”

《First Hand》展示了Meta认为最神奇、最强大、最容易学习、但又适用于众多类别内容的手部交互。团队表示,通过Interaction SDK提供的先进直接触摸启发法(如触摸限制,防止手指意外穿过按钮),与虚拟现实中的2D UI和按钮进行交互感觉非常自然。

这个工具同时展示了SDK提供的多种抓取技术。用手直接与虚拟世界交互有其内在的意义,但团队发现相关交互需要仔细调整才能真正发挥效用。在应用程序中,你可以通过与各种对象交互来进行实验,甚至可以通过用力挤压岩石来真正压碎岩石。

进入《First Hand》后,你将会看到一张桌子摆放着可以与之交互的各种物品。你可以看到映射着真实手部动作的虚拟双手。你会注意到你左边的一个灯在闪烁,这表明你可以与它交互。它告诉你一个快递包裹正在等待你签收。然后,你可以按下签收按钮。这主要演示了HandGrab和Poke交互。

包裹签收后,系统会提示你拉动手柄。拉动手柄会打开包裹。这演示了HandGrab交互和one-handed rotate transform单手旋转变换。接下来,你需要输入写在数字键盘的代码以解锁包裹。这使用了Poke交互。

接下来,一个转轮出现在你面前,你可以用手抓握并转动它。这将打开对话框,并出现一个可交互的UI。你可以通过所述UI创建自己的机器人手套。

你可以用手导航UI,并点击选择要首先创建的手套哪个部分。这演示了Poke交互。选择第一个部分,它将在你面前显示手套的部分。你会看到三种颜色选项。滑动以选择你喜欢的颜色。这演示了滑动手势检测功能。你可以拿起它,缩放它,旋转它,或者移动它。这个交互使用Touch Grab交互和Two Grab Free Transformer。一旦你选择了一种颜色,你就可以按下按钮进行实际构建。然后,你可以转到下一节,并以类似的方式创建手套的其余部分。

一旦你的手套准备完毕,系统会给你三块石头,你可以在它们之间进行选择并添加到你的手套中。你可以通过抓住一块石头进行装备,然后你可以通过用力挤压石头,压碎它,令它露出水晶。这是一种Use Grab交互。一旦水晶准备完毕,你就可以把它放在手套进行激活。现在,你拥有了超能力手套。

接下来,一个物体开始围绕你飞行,并尝试用激光攻击你。你可以使用你的超能力向目标射击,并同时躲避对方的攻击。射击时,你可以张开手掌瞄准。如果要创建一个盾牌,请双手合十。这显示了如何将姿势检测用于双手姿势。基于正确的姿势,它执行适当的动作。

最后,你会看到手套有一个蓝色按钮,并允许你通过戳压来选择。它可以将你传送到一个可以远远看到钟楼和其他可交互对象的世界,从而令玩家畅想交互可以解锁的能力。

建立裸手交互体验需要跨多个约束进行优化:技术(如追踪能力)、生理(如舒适度和疲劳度)和感知(如手-虚拟对象交互表示)。

《First Hand》展示了Meta认为最神奇、最强大、最容易学习、但又适用于众多类别内容的手部交互。团队表示,通过Interaction SDK提供的先进直接触摸启发法(如触摸限制,防止手指意外穿过按钮),与虚拟现实中的2D UI和按钮进行交互感觉非常自然。

为了帮助你更轻松地使用所述交互,Meta创建了一个开源项目,演示了如何使用Interaction SDK创建《First Hand 》应用地各种交互。在下一节中,团队将向你介绍Unity中的Interaction SDK软件包以及如何设置《First Hand》示例的本地副本。

6. 设置《First Hand》示例的本地副本

6.1 设置

要获得示例的本地副本,你需要在PC或Mac安装Unity并安装Oculus Integration软件包。本次演示使用了Unity 2021.3.6f1进行设置,但你可以使用任何支持的Unity版本。更多有关先决条件、支持设备、Unity版本和依赖关系的更多信息请查看这一页面。Oculus Integration SDK可以从Unity Asset StoreOculus开发者中心下载。

你哦同时应确保头显端已打开“开发者模式”。你可以通过头显或Meta Quest app完成这一操作。对于头显端,请依次转到设置→ 系统→ 开发者,然后打开USB连接对话框选项。对于Meta Quest app,你可以进入菜单→ 设备→ 从列表中选择头显,然后打开“开发者模式”选项。

安装Unity后,打开一个新的3D场景。要安装Interaction SDK,请转到窗口→ Asset Store,并查找Oculus集成包,然后单击“添加到我的Asset”。要安装Oculus Integration软件包,请打开软件包管理器,单击“导入”,然后将文件导入到项目中。

如果系统检测到OVRPlugin存在新版可用,建议使用最新版本。继续并启用它。

如果要求将OpenXR用于OVRPlugin,请单击“使用OpenXR”。只有OpenXR后端才支持Passthrough API等新功能。你可以随时通过Oculus→ Tools→ OVR Utilities Plugin切换legacy和OpenXR后端。

它将确认选择,提供一个选项来升级Interaction SDK并执行清理以删除过时和弃用的asset。请允许它这样做。另外,你可以随时通过Oculus→ Interaction → Remove Deprecated Assets来执行这一操作。

安装后,你可以在Oculus下的Interaction文件夹中找到Interaction SDK组件。

由于你是为为Meta Quest构建内容,请确保平台更新为Android。为此,请转到文件→ 生成设置→ 选择Android并选择“Switch Platform”

6.2 Interaction SDK软件包有什么?

Interaction SDK组件在Oculus下的Interaction文件夹。SDK包含三个文件夹:Editor、Runtime和Samples。Editor包含SDK的所有编辑器代码,Runtime包含Interaction SDK的核心运行时组件,Samples包含前面讨论的Interaction SDK示例演示所使用的场景和asset。

在Samples下,单击“Scenes”。在这里,你可以找到示例场景、功能场景和工具。Example Scenes目录包含你之前在Interaction SDK示例应用程序中看到的所有场景。Feature Scene目录包含专用于任何单个功能基础的场景,Tools目录包含Hand Pose Authoring Tool等助手。我们打开其中一个示例HandGrabExamples,看看场景设置、脚本和其他组件,以及如何使用它们来构建你在示例中看到的交互。

打开任何示例场景时,系统可能会要求你导入TMP essentials。然后你的场景就会打开。

下面我们看看部分游戏对象和脚本,了解它们的工作原理:

  • OVRCameraRig:这个预制件提供了表示Oculus追踪空间的变换对象。它包含一个TrackingSpace游戏对象及其下的OVRInteraction游戏对象。
  • TrackingSpace:这个预制件允许用户微调头部追踪参考帧和世界之间的关系。在Tracking Space下面,你会找到一个center eye anchor,这是主要的Unity camera,每只眼睛有两anchor game object,控制器则是左右手anchor。
  • OVRInteraction:它包含OVRControllerHands和OVRHands。

关于OOVRIntegration预制件的更多信息以及它如何与OVRHands一起工作,请查看这个Input文档

OVRCameraRig预制件附带两个主要脚本:OVRManager和OVRCamera Rig。

OVRManager是VR硬件的主要接口,并向Unity引擎expose相关的Oculus SDK。它包含目标设备、性能、追踪和色域的设置。除了所述设置,OVRManager同时包含Meta Quest特定的设置:

  • 手部追踪支持:这允许你为应用程序选择所需的输入启示类型。你可以选择“仅控制器”;“控制器”和“手”并在两者之间切换;或仅“手”。
  • 手部追踪频率:你i可以从列表中选择手部追踪频率。更高的频率可带来更好的手势检测和更低的延迟,但会占用更多的性能。
  • 手部追踪版本列表:这个设置允许你选择要使用的手部追踪版本。选择v2以使用最新版本的手部追踪。最新的版本允许你更接近在VR中构建沉浸和自然的裸手交互。

如前所述,每个交互都由一对Interactor和Intractable组成。Intractable是手或控制器将与之交互的刚体对象,它们应始终具有Rrabbable组件。更多有关Grabbables的信息请查看这个页面

这个示例演示了HandGrabInteractor和HandGrabInteractable对。HandGrabInteractor脚本位于OVRInteraction → OVRHands → Choose LeftHand or RightHand→ HandInteractorsLeft/Right → HandGrabInteractor。

刚体对象的对应位于Interactables → Choose one of the SimpleGrabs → HandGrabInteractable。它包含HandGrabInteractable脚本,而HandGrabInteractable用于指示对象可以使用手或控制器并通过Hand-Grab进行交互。它们需要一个用于Interactable 的刚体组件和一个用于3D操纵的Grabbable组件。

现在,你已经基本了解如何使用OVRCameraRig、OVRManager、OVRInteraction设置场景,以及如何添加 Interactor-Interactable对。下面我们来看看如何设置《First Hand》示例的本地副本。

6.3 从GitHub克隆并在Unity中建立《First Hand》示例

GitHub repo包含Unity项目,其演示了《First Hand》应用程序中呈现的交互。它设计用于手部追踪。在本地设置示例的第一步是克隆repo。

首先,你应该通过运行以下命令来确保安装了Git LFS:

git lfs install

接下来,通过运行以下命令从GitHub克隆repo:

git clone https://github.com/oculus-samples/Unity-FirstHand.git

项目成功克隆后,在Unity中打开它。如果使用不同版本的Unity,你可能会收到警告。接受警告后,它将解析软件包并使用你的Unity版本打开项目。这可能会触发另一个警告:Unity需要更新URP材质以便启动项目。接受它,项目将加载。

主要场景称为 Clocktower钟楼场景。所有实际项目文件都位于“Assets/Project”中。这个文件夹含有运行示例的所有脚本和asset,不包括Interaction SDK的一部分。这个项目已经含有Oculus SDK的v41,包括Interaction SDK。你可以在Assets/Project/Scenes/Clocktower下面找到主场景。就像以前一样,如果你没有TMP essentials,请导入它,场景将成功加载。

在构建场景之前,请确保将“Hand Tracking Support”设置为“Controllers and Hands”。要执行这个操作,请转到Player → OVRCameraRig → OVRManager。

在Hand Tracking Support下面,选择“Hands and Controllers or Hands only”。将Hand Track Version设置为“v2”以使用最新版本,将Tracking Origin Type设置为“Floor Level”。确保你正在构建的平台是Android。要生成,请转到 File → Build Settings设置并单击“Build”。

你可以选择单击“Build and Run”直接在头显加载并运行它,或者从Meta Quest Developer Hub(MQDH)安装并运行它。

如果选择使用MQDH,可以将apk拖到应用程序之中,然后单击安装以在头显安装并运行。

当加载示例时,你将看到《First Hand》中的可交互对象。你同时会看到一个启用爆炸和盾牌手势的选项,以及启用远距离抓取的选项。你将能够使用Poke交互与前面的UI交互。你同时可以像在《First Hand》中那样用手套与物品进行交互。请注意,这个示例仅展示了《First Hand》的交互,它不是完整的游戏。

下面列出了本示例中可以与之交互的对象及其演示的交互类型:

以上演示了《First Hand》用Interaction SDK创建的各种交互。下面我们来看看相关的资源和最佳实践。

7. 最佳实践

为了令手部追踪成为VR中有效的交互手段,它需要感觉直观、自然、轻松。然而,手不像其他输入方式那样带有按钮或开关。这意味着没有关于如何与系统交互的暗示,同时没有触觉反馈来确认用户的动作。

为了解决这个问题,Meta建议通过清晰的能指和对所有交互的持续反馈来传达可供性。你可以用两种方式来考虑这一点:能指,传达用户可以对给定对象做什么;反馈,它在整个交互过程中确认用户的状态。

例如,在《First Hand》中,视觉和听觉反馈在提示用户与对象交互方面起着重要作用;装置会发出嘟嘟声并发出红光,从而告知玩家应该按下按钮,发光的物体有助于玩家识别何时可以从远处抓取物体,UI按钮的颜色变化会在选中时确认用户的选择。另外,创建提示以引导玩家非常有效。

手的移动方式和姿势几乎无穷无尽。这带来了一个充满机会的世界,但同时会造成混乱。通过限制系统可以解释哪些手部动作,我们可以实现更精确的交互。例如在《First Hand》示例中,玩家可以抓取某些对象,但不能抓取所有对象。他们可以抓取、移动和缩放一些对象,但不是所有对象。另外,为了防止对象变形,不允许他们仅在一个方向进行缩放。

Snap Interactors是放置区域交互和固定项目的绝佳选择。你会看到《First Hand》中有广泛使用,尤其是手套构建场景之中。

Interaction SDK的Touch Hand Grab交互可用于小型对象,尤其是没有自然方向或抓取点的对象,你无需使用预先编写的姿势限制玩家。

对于用户无法触及的对象,光线投射在选择对象时非常方便。Distance Grab同时是另一种选择,可以帮助用户轻松地与对象进行交互,无需用户走向对象或伸手接触对象。这可以令你的体验更直观。

Distance Grab易于配置。通过重复使用为常规抓取设置的相同手部姿势,你可以在设置Distance Grab项目时节省时间。在《First Hand》示例中,你可以看到如何使用Distance Grab从远处抓取对象,以及来自手的视觉光线如何确认将抓取哪个对象。

在设计你的裸手交互体验时,追踪和人体工程学发挥着巨大的作用。头显的传感器能看到的手部范围越多,追踪就越稳定。只有在头显视场内的对象才能被检测到,所以,你应该避免强迫用户接触追踪区域之外的对象。

确保用户尽可能保持持平的身体姿势十分重要。这允许更舒适的人体工程学体验,同时将手保持在追踪传感器的理想位置。例如在《First Hand》示例中,整个游戏可以坐着或站着体验,而手几乎总是放在头显前面。这使得手部追踪更加可靠。

以上是你在设计裸手交互时的最佳实践建议。未来可继续关注Meta分享的更多开发实践。

本文链接https://news.nweon.com/102946
转载须知:转载摘编需注明来源映维网并保留本文链接
入行必读AR/VR——计算机历史第二次大浪潮
素材版权:除额外说明,文章所用图片、视频均来自文章关联个人、企业实体等提供

更多阅读推荐......

资讯