Google ECCV2020 可应用于AR/VR的论文汇总

编辑：刘余欣 | 分类：快讯 / 论文 | 2020年8月31日

谷歌在计算机视觉领域的研究

（映维网 2020年08月31日）欧洲计算机视觉国际会议（ECCV）是计算机视觉三大顶级会议之一，每两年举办一次，其目的是促进计算机视觉研究的发展，并加强工业界、学术界的交流。对于今年的大会，来自世界各地的计算机视觉研究者和工程师都会在这里分享最新的进展。

谷歌同样不例外。日前，这家公司公布介绍了在ECCV 2020展示的一系列研究论文。下面映维网整理了部分或可应用于虚拟现实和增强现实领域的论文及其摘要。谷歌人工智能团队的完整论文收录请访问这个页面。

Google ECCV2020 可应用于AR/VR的论文汇总

1. Quaternion Equivariant Capsule Networks for 3D Point Clouds

我们提出了一个用于处理三维旋转和平移相同，并且对输入点的排列不变的点云的三维胶囊模块。所述算子接收由输入点云计算的稀疏局部参考帧集，并通过一种新的四元数动态路由过程建立端到端的变换等方差。另外，我们从理论上将胶囊间的动态路由与著名的Weiszfeld算法相连接。根据我们的算子，我们建立了一个将几何体和姿势分离开来的胶囊网络，从而为更多的信息描述符和结构化的latent space铺平了道路。我们的架构允许联合对象分类和方向估计，无需显式监督旋转。我们在常见的基准数据集上进行了实验验证。

相关论文：Quaternion Equivariant Capsule Networks for 3D Point Clouds

2. SoftpoolNet: Shape Descriptor for Point Cloud Completion and Classification

点云通常是许多应用程序的默认选择，因为它们比体三维数据具有更大的灵活性和效率。然而，它们的无组织性（点以无序的方式存储）使得它们不太适合通过深度学习管道进行处理。本片论文提出了一种基于点云的三维对象完成与分类方法。我们引入了一种新的方法来组织基于激活的特征，而我们称之为soft pooling。在解码阶段，我们提出区域卷积，这是一种以最大化全局激活熵为目标的算子。另外，受Point Completion Network（PCN）局部细化过程的启发，我们同时提出了一种用于模拟点云反褶积操作的patch-deforming 操作。这篇论文证明，我们的区域激活可以与AtlasNet和PCN等许多点云架构相结合，从而获得更好的几何完成性能。我们在不同的三维任务上评估了我们的方法，如对象完成和分类，而结果均达到了最先进的准确性。

相关论文：SoftpoolNet: Shape Descriptor for Point Cloud Completion and Classification

3. Combining Implicit Function Learning and Parametric Models for 3D Human Reconstruction

以深度学习近似表示的隐式函数对于重建三维曲面非常有效。但是，它们只能生成不可控的静态曲面，这使得通过编辑其姿态或形状参数来修改生成模型的能力有限。然而，在为计算机图形学和计算机视觉建立灵活的模型时，这些特性必不可少。在这项研究中，我们提出了一种结合了细节丰富的隐式函数和参数化表示的方法，而它即使在衣服存在的情况下也能保持人体三维模型重建的可控性和精确性。在给定稀疏三维点云采样的情况下，利用隐式局部网络（IP-Net）联合预测穿着者的外三维表面，内表面，以及参数化人体模型的语义对应关系。随后，我们使用对应关系将身体模型拟合到我们的内表面，然后将其非刚性变形到外表面，从而捕捉服装、面部和头发的细节。在对全身数据和手部扫描的定量和定性实验中，我们所提出的方法十分有用，即使在单视点深度图像中采集到不完整的点云时也有效。