加利福尼亚大学发布3D开源数据集OpenRooms,为AR/VR提供CV学习理解

查看引用/信息源请点击:映维网

促进增强现实和机器人技术

映维网 2021年09月20日)加利福尼亚大学圣地亚哥分校的计算机科学家日前发布了一个名为OpenRooms的全新开源数据集,并旨在帮助用户操作室内3D场景中的对象、材质、照明和其他属性,从而促进增强现实和机器人技术。

加州大学圣地亚哥分校计算机科学与工程系教授曼莫汉·钱德拉克(Manmohan Chandraker)表示:“我所在小组的11名博士和硕士生,以及加州大学圣地亚哥分校和Adobe的合作者都参与了所述项目。这是一项重要的发展,对计算机视觉、图形、机器人技术和机器学习领域的学术界和工业界都有着巨大的影响。”

1. 应用

Open Rooms允许用户根据自己的喜好真实地调整场景。例如,若希望改造厨房,你可以改变厨房模型的台面材质、照明或几乎任何属性。

钱德拉克表示:“有了Open Rooms,我们可以计算出场景中每像素的3D形状、材质和照明。你可以拍摄房间的照片,插入和操作虚拟对象。例如一把皮革椅,你可以将材质改成织物椅,然后看看哪个更适合。”

Open Rooms甚至可以显示在白天,窗户的自然光下,或者晚上的灯光下。它同时可以帮助解决机器人问题,例如不同摩擦剖面地板的最佳路线。所述功能在模拟社区中引起了巨大的兴趣,因为在以前,这种数据属于专有,或者不具有可比的照片真实感。

钱德拉克指出:“这种工具现在以真正公开的方式提供,并可以为增强现实和机器人应用提供可访问的资产。”

2. 更逼真的增强现实

钱德拉克的团队使用计算方法来理解视觉世界,他们特别关注形状、材质和照明如何相互作用形成图像。

他表示:“我们基本上想了解世界是如何被创造出来的,以及我们应该如何对其采取行动。我们可以将对象插入现有场景,但要做到这一点,我们需要了解场景的各个方面以及它们如何相互作用。”

这种深刻的理解对于在增强现实中实现真实感至关重要。将对象插入场景需要对各种光源的着色、其他对象投射的阴影、或周围场景的相互反射进行推理。所述框架同时必须处理场景遥远部分之间的类似远程交互,以改变复杂室内场景中的材质或照明。

好莱坞的方法是采用昂贵的专业平台设备,而钱德拉克的团队则希望能够以低成本实现类似的效果。

3. 开源工具箱

为了达到这个目标,团队需要找到创造性的方法来表现形状、材质和照明。但获取所述信息可能耗时、缺乏数据且成本高昂,尤其是在处理复杂的室内场景时,家具和墙壁具有不同的形状和材料,并由多种光源(如窗户、天花板灯或灯具)照明。

钱德拉克解释说:“我们必须测量房间里每个点的照明和材质属性。这理论上是可行的,但根本无法扩展。”

Open Rooms则选择合成数据来渲染图像,从而以精确和低成本的方式来提供ground truth几何体、材质和照明。所述数据可用于训练强大的深层神经网络,以估计真实图像中的特性,并实现照片级真实感对象插入和材质编辑。

这位教授进一步指出:“我们正在创建一个允许用户使用手机或3D扫描仪开发数据集,从而实现自己的增强现实应用的框架。用户可以简单地使用扫描或一组照片。”

对于钱德拉克及其团队为何要提供一个开源工具箱,部分原因是大型科技公司拥有大量资源来创建培训数据和其他IP,这使得小型公司很难站稳脚跟,所以团队希望创建一个公共平台。

他最后说道:“你可以想象这样的数据对许多应用程序都非常有用。但这一领域的进展仅限于少数有能力进行这种复杂测量的大公司。”

本文链接https://news.nweon.com/89591
转载须知:转载摘编需注明来源映维网并保留本文链接
入行必读:AR/VR——计算机历史第二次大浪潮

更多阅读推荐......

资讯