Facebook ECCV2020 AR/VR论文汇总

编辑：广东客 | 分类：快讯 / 论文 | 2020年8月25日

新研究可以帮助我们解锁虚拟现实和增强现实的创新

（映维网 2020年08月25日）欧洲计算机视觉国际会议（ECCV）是计算机视觉三大顶级会议之一，每两年举办一次，其目的是促进计算机视觉研究的发展，并加强工业界、学术界的交流。对于今年的大会，来自世界各地的计算机视觉研究者和工程师都会在这里分享最新的进展。

Facebook同样不例外。日前，这家公司公布介绍了在ECCV 2020展示的一系列研究论文。下面映维网整理了可应用于虚拟现实和增强现实领域的论文及其摘要：

Facebook ECCV2020 AR/VR论文汇总

1. ContactPose: A data set of grasps with object contact and hand pose

抓握是人类的天性。然而，它涉及复杂的手部结构和软组织变形，从而导致手和物体之间产生复杂的接触区域。理解和建模这种接触可以潜在地改善手部模型、AR/VR体验和机器人抓取。但我们目前缺乏手部-物体接触数据集与其他数据模式的配对，而这对于开发和评估接触建模技术至关重要。所以，我们提出了第一个与手势、物体姿态和RGB-D图像配对的手部-物体接触数据集ContactPose。ContactPose拥有2306个独特的抓握形态（由50名被试以2种功能意图抓握25个家庭物品），以及超过290万个RGB-D抓握图像。对接触姿态数据的分析揭示了手势和接触之间的有趣关系。我们使用这些数据来评估各种数据表示，文献中的启发式方法，以及接触建模的学习方法。数据、代码和经过训练的模型请访问这个页面。

相关论文：ContactPose: A data set of grasps with object contact and hand pose

2. Deep Local Shapes: Learning local SDF priors for detailed 3D reconstruction

对于机器感知，有效地重建复杂表面是一个长期目标。为了解决这个问题，我们提出了Deep Local Shapes（DeepLS）。这是一种深度形状表示，它可以在不需要太多内存的情况下对高质量三维图形进行编码和重建。DeepLS用一组由神经网络定义的连续SDF代替传统表面重建系统所使用的密集体三维符号距离函数（SDF）表示法，而相关灵感来自于DeepSDF等最新研究成果。与DeepSDF不同的是，我们存储一个由独立latent code组成的网格，其中每个latent code负责在一个小型局部邻域中存储有关表面的信息。这种将场景分解为局部形状的方法简化了网络必须学习的先验分布，并且能够进行有效的推理。通过演示对象形状编码和完整场景的重建，我们展示了DeepLS的有效性和泛化能力，说明了DeepLS能够实现高压缩、高精度和局部形状完成。

相关论文：Deep Local Shapes: Learning local SDF priors for detailed 3D reconstruction

3. DeepHandMesh: Weakly supervised deep encoder and decoder framework for high-fidelity hand mesh modeling

手在我们与他人和物体的交互中扮演着关键角色。为了逼真地再现这些手部运动，我们必须重建高保真的手部网格。在这项研究中，我们首先提出了一个弱监督的深度编解码框架DeepHandMesh。我们的系统设计成以一种端到端和弱监督的方式进行训练，因此，它不需要ground truth网格。相反，它依赖于较弱的监督，如三维关节坐标和多视图深度映射等比ground truth网格更容易获得的数据，并且不依赖于网格拓扑。尽管DeepHandMesh是以弱监督的方式训练，但它提供了比全监督手部模型更为真实的手部网格。通过复制手部之间的物理交互，我们新提出的穿透避免损失（penetration avoidance loss）进一步提升了结果。最后，我们证明我们的系统可以成功地应用于一般图像的手部三维网格估计。