从SDK看Magic Leap要做什么,具备什么功能

文章相关引用及参考:映维网

我们需要等到设备在今年下半年上市后才能知晓答案。

映维网 2018年04月13日)在不久前,我写道Magic Leap可能将主要从他们发布的专利入手。尽管专利确实提供了他们正在研发的项目的线索,但Magic Leap没有公布产品将具备的功能。在当时,一系列的功能都不存在。

但现在它们已经正式出现:

  1. Audio(音频):支持立体音频输出和语音麦克风录制。
  2. Camera (摄像头):摄像头可以捕捉静态图像与视频。
  3. Dispatch(调度):允许应用程序利用Magic Leap浏览器或其他应用来打开URL。
  4. Eye Tracking (眼动追踪):能够检测用户眼睛的注视点位置。系统同时可以检测眨眼。
  5. Graphics (图形):OpenGLES,Desktop和Vulkan渲染通道。
  6. Hand Gestures & Key Point Tracking (手部姿势与关键点追踪):识别用户的手部姿态(手势),并且追踪可识别点在手指指尖上的位置,如食指指尖。
  7. Head Tracking (头部追踪):支持完整的6自由度头部姿态追踪。
  8. Image Tracking(图像追踪):追踪用户环境中指定图像目标的位置和方向。
  9. Input (Control / MLMA Support) :从Magic Leap Control中检索3自由度(方向)或完整的6自由度(位置和方向)。检测按钮和触摸板按下动作,以及模扳机键。触发值范围从0到1。支持一系列的触摸板手势范围,同时支持触觉振动和LED铃声反馈。用户界面无缝兼容Magic Leap Controls和Magic Leap Mobile App。
  10. Light Trackin(光线追踪):提供用户环境周围光线的信息(亮度,全局色温)。
  11. Media Codec (媒体编解码器):底层,硬件加速的媒体编码与解码。
  12. Media Player (媒体播放器):简单,直接的媒体播放界面。
  13. Meshing (网格划分):将世界深度数据转换为可用于遮挡和物理的联网三角网格。
  14. Music Service (音乐服务):支持连接和收听流媒体音乐服务。
  15. Occlusion (遮挡):一个将深度数据提供给Magic Leap平台以处理硬件遮挡的界面。
  16. Planes (平面):识别用户环境中放置内容的平面。这包括天花板,地板和墙壁的语义标记。
  17. Raycast (光线投射):发射光线并获取与世界深度数据相交的交点。
  18. Secure Storage (安全存储):将应用程序的数据保存到设备的加密存储。

根据这份列表和开发文档其他信息,我们可以更好地猜测Magic Leap One的功能,以及其面临的挑战。

1. 眼动追踪

根据其效果,眼动追踪将成为Magic Leap十分关键的一点。由于没有触摸屏或鼠标操作,在混合现实中进行选择一直都是挑战。手势的准确度或许没有你想象中那么高,而采用头部姿态进行操作则意味着你需要付出大量的头部运动。如果能够单纯看向一个对象,然后通过眨眼或采取一定的姿势来实现操作,这将成为一个重大的进步。

2. 手部姿势

Magic Leap One将支持8种手部姿势。这显然多于HoloLens。结合眼动追踪,这种手势将形成Magic Leap交互的基础,至少对不采用控制器的应用程序而言是这样。

3. 控制器

Magic Leap控制器具备你所期待的一切基本内容:触控板,Home键,扳机键…但这个控制器同时支持6自由度追踪。我们暂时不清楚具体的精度,但单纯通过加速度计提供方向和位置数据是一项相当困难的挑战。正如映维网过去所言,Magic Leap似乎采用了磁性追踪来促进这一点。位于Lightwear侧边的突起空区有可能是装载了磁性追踪所需的磁性线圈。如果事实确实如此,我们有可能看到Magic Leap实现可以比拟Vive的追踪精度,但无需笨重的外部摄像头或基站。

文档中揭示的另一个细节,但尚未详细说明的是:Magic Leap移动应用程序的存在。这款应用程序可能用于安卓和iOS,并作为Magic Leap的控制器。文档暗示,它会将智能手机的触控输入传输到Magic Leap,这样智能手机就能像Magic Leao控制器上的触控板那样工作。我认为这可能表明Magic Leap有可能将单独出售控制器,而如果你不想为其进行投资,你可以把智能手机用作是控制器。

4. 遮挡/深度映射

Magic Leap直接在API中支持遮挡。遮挡是一个众所周知的难题,以前的消费设备都没有很好地予以解决。它需要准确的深度映射,而这正是困扰着Tango和HoloLens的地方。在非常特殊的情况下,这些设备可以很好地支持遮挡。我怀疑Magic Leap将采用一定的预测性判断,有可能通过机器学习来更好地支持遮挡。

文档表明,Magic Leap采用了基于IR的深度传感器,与Project Tango和Hololens类似。这意味着它们难以支持明亮的日光和昏暗的材料。

文档清楚地表明,这不适用于动态的移动对象。它指出:“系统预计环境大部分是静态,而变化(例如移动的对象或行走在设备前面的人员)只是偶尔发生。对于小的变化,重建应该可以在数秒内缓慢更新以添加新的对象或删除移动的对象。显著或持续变化的环境可能将导致洞孔或不正确的几何形状。”

这意味着如果有人进入你的视场中时,遮挡将不起作用。数字对象将出现在它们的前面。我们希望Magic Leap能够在未来的迭代改进这一点。

5. 图像追踪

图像追踪功能直接集成在Magic Leap SDK中。这使得Magic Leap能够识别给定的图像,并追踪其在现实世界中的位置。这不是我期望在API层看到的功能。我设想了这么一款应用程序,它能够令墙上的艺术品生动起来。下面是一个例子(但这个体验不是运行在Magic Leap上)。

6. 对标ARCore/ARKit

SDK同时包含平面检测和光线追踪等功能。对此,这已经成为AR工具包的基本要素。

7. Lumin OS

Magic Leap将运行名为Lumin OS的定制操作系统。Lumin基于安卓,但经过了大量修改以支持空间计算的要求。这对开发者来说是个好消息,因为这意味着任何具备安卓或linux经验的开发者都将在一定程度上熟悉Magic Leap的平台。这同时意味着Magic Leap没有尝试重新发明一个全新的工具,而是利用安卓开源项目的多年积累。

在上面列出的功能中,我们看到了Dispatches的存在。这听起来像是Android Intent系统的重命名。这项功能允许你为特定的行为选择特定的应用程序,例如选择默认浏览器。尽管目前尚不清楚Magic Leap是否允许用户选择默认应用程序,或者说他们是否会强迫用户选择他们自家的应用程序,但这仍然是一个很好的迹象,因为说明了我们在这个平台上有着更多的选择。

8. 效果?

文档已经说明了我们可以期待Magic Leap将有着怎样的功能。就以往而言,从来没有这样一款如此小尺寸的设备能够像Magic Leap One那样拥有如此多的功能。但关键的问题不是有多少功能,而是具体的效果如何。控制器的追踪是否精准?图像保真度如何?眼动追踪的精度如何?我们可以期待怎样的GPU/CPU性能?你可以为设备提供世界上所有的功能,但如果效果糟糕,这一切都不再重要。对此,我们需要等到设备在今年下半年上市后才能知晓答案。

本文链接https://news.nweon.com/43901
转载须知:转载摘编需注明来源映维网并保留本文链接
入行必读:腾讯可以向Facebook学习什么

更多阅读推荐......

资讯