加利福尼亚大学发布3D开源数据集OpenRooms，为AR/VR提供CV学习理解
促进增强现实和机器人技术
（映维网 2021年09月20日）加利福尼亚大学圣地亚哥分校的计算机科学家日前发布了一个名为OpenRooms的全新开源数据集，并旨在帮助用户操作室内3D场景中的对象、材质、照明和其他属性，从而促进增强现实和机器人技术。
加州大学圣地亚哥分校计算机科学与工程系教授曼莫汉·钱德拉克（Manmohan Chandraker）表示：“我所在小组的11名博士和硕士生，以及加州大学圣地亚哥分校和Adobe的合作者都参与了所述项目。这是一项重要的发展，对计算机视觉、图形、机器人技术和机器学习领域的学术界和工业界都有着巨大的影响。”
1. 应用
Open Rooms允许用户根据自己的喜好真实地调整场景。例如，若希望改造厨房，你可以改变厨房模型的台面材质、照明或几乎任何属性。
钱德拉克表示：“有了Open Rooms，我们可以计算出场景中每像素的3D形状、材质和照明。你可以拍摄房间的照片，插入和操作虚拟对象。例如一把皮革椅，你可以将材质改成织物椅，然后看看哪个更适合。”
Open Rooms甚至可以显示在白天，窗户的自然光下，或者晚上的灯光下。它同时可以帮助解决机器人问题，例如不同摩擦剖面地板的最佳路线。所述功能在模拟社区中引起了巨大的兴趣，因为在以前，这种数据属于专有，或者不具有可比的照片真实感。
钱德拉克指出：“这种工具现在以真正公开的方式提供，并可以为增强现实和机器人应用提供可访问的资产。”
2. 更逼真的增强现实
钱德拉克的团队使用计算方法来理解视觉世界，他们特别关注形状、材质和照明如何相互作用形成图像。
他表示：“我们基本上想了解世界是如何被创造出来的，以及我们应该如何对其采取行动。我们可以将对象插入现有场景，但要做到这一点，我们需要了解场景的各个方面以及它们如何相互作用。”
这种深刻的理解对于在增强现实中实现真实感至关重要。将对象插入场景需要对各种光源的着色、其他对象投射的阴影、或周围场景的相互反射进行推理。所述框架同时必须处理场景遥远部分之间的类似远程交互，以改变复杂室内场景中的材质或照明。
好莱坞的方法是采用昂贵的专业平台设备，而钱德拉克的团队则希望能够以低成本实现类似的效果。
3. 开源工具箱
为了达到这个目标，团队需要找到创造性的方法来表现形状、材质和照明。但获取所述信息可能耗时、缺乏数据且成本高昂，尤其是在处理复杂的室内场景时，家具和墙壁具有不同的形状和材料，并由多种光源（如窗户、天花板灯或灯具）照明。
钱德拉克解释说：“我们必须测量房间里每个点的照明和材质属性。这理论上是可行的，但根本无法扩展。”
Open Rooms则选择合成数据来渲染图像，从而以精确和低成本的方式来提供ground truth几何体、材质和照明。所述数据可用于训练强大的深层神经网络，以估计真实图像中的特性，并实现照片级真实感对象插入和材质编辑。
这位教授进一步指出：“我们正在创建一个允许用户使用手机或3D扫描仪开发数据集，从而实现自己的增强现实应用的框架。用户可以简单地使用扫描或一组照片。”
对于钱德拉克及其团队为何要提供一个开源工具箱，部分原因是大型科技公司拥有大量资源来创建培训数据和其他IP，这使得小型公司很难站稳脚跟，所以团队希望创建一个公共平台。
他最后说道：“你可以想象这样的数据对许多应用程序都非常有用。但这一领域的进展仅限于少数有能力进行这种复杂测量的大公司。”
