微软研究室展示先进的混合现实应用程序SemanticPaint

在虚拟现实中粉刷是一种非常神奇的体验。你可以把覆盖周围环境的大空白帆布变成一件值得探索的艺术品，但是把一块已经存在的帆布——如你的客厅——变成艺术品会是什么样的呢？

SemanticPaint，一款来自微软研究室的混合现实应用，就可以实现这一点——但它的功能远不止这个。

在演示过程中，我们的讲述者把”消费者深度摄像机“带到一个让他可以在所处环境的密集3D模型进行扫描的空间里，然后只要简单地沿着任意物体的表面刷，就能够上色。但这仅仅只是开始。

可以在这个应用程序中使用语音命令来使唤系统粉刷并标记空间内的物品。比如，你可以对一些摆在你前面的椅子伸手、触摸以及为一些椅子的表面刷漆，然后命令系统来为椅子”贴标签“，系统就会自动为该物品刷漆并了解该物品的信息。

是的，你没有听错，该项目可以检测你周围的环境。这就是我为什么说粉刷只是表面功夫而已。

通过即刻标注三维的物品，该系统能够迅速了解你周围的环境。在视频演示中，我们看到摄像机平移到房间的另一边——还没扫描的那边。该系统能够自动检测到房间里的类似物品，并标注它们。就像演示视频中展示的那样，该系统仍在升级（机器学习的不断提高也会让系统不断升级），一些物品——比如颜色不同的同款椅子就会迷惑系统。尽管如此，用户们还是可以重新标记房间里的物品。

通过在物品上画画，然后通过语音命令SemanticPaint 就能在虚拟空间里将物品分类

这种动态的、实时标记对计算机视觉来说是全新的东西。根据微软发布的研究报告，SemanticPaint”跟脱机系统不同——标记和批量处理一般要花几个小时甚至是几天才能完成——我们的方法完全是在线的，在拍摄过程中为客户们提供不间断的实时反馈，允许他们立刻纠正系统分类和学习中的错误。这就是说程序在动态环境中可以快速扫描而且允许你非常迅速地进行交互式分割，而不需要等几个小时或者几天。

该研究有非常广泛的应用， ”从机器人指导到帮助弱视的人，从帮我们找到物品并在我们的世界里导航，到让我们体验新型的增强现实。“有了学习的能力，该系统最终将标记数千至数百万独特的物品——让用户们能对诸如客厅中的物体进行实时的识别并细分各种物品。

你可能已经知道我要讲什么了——房间大小的动态虚拟现实。

房间规模虚拟现实遇到的问题之一是你需要有很大的自由空间否则你可能被房间里的各类物体，沙发、咖啡桌、猫等绊倒。类似于现在介绍的这种计算机视觉项目是改善那些体验的关键，因为它将允许用户对环境进行全面实时的完美检测——允许虚拟世界中的物品甚至是动态的物品在虚拟现实世界里相互作用。

想象一下这些情境：把你客厅的设备搬到进取号星舰上，把你现在坐的椅子当作船长的椅子。或者是进行增强现实体验，把指环王里的角色带到你周围。这项研究技术可以让许多事情成真。

在E3上，Palmer Luckey 证实了Oculus 明显将选择以相机为基础的计算机视觉方案来发展VR。他们还公布了他们将和微软建立合作伙伴关系，但是并没有回应两家公司的合作除了Xbox控制器和Xbox One游戏流之外还有什么。

看两家公司的计算机视觉团队将共享多少资源定会是件有趣的事。

不管是什么方式，微软团队用计算机视觉取得的进步都令人大吃一惊。我们正朝着一个全新的混合现实的未来发展，那个未来一天比一天光明。

[VIA uploadvr]