谷歌推出高质量360度视频拼接算法：基于视图插值的光流

文章相关引用及参考：映维网

利用了多视图三维重建来渲染影像。

（映维网 2018年04月10日）谷歌在2015年推出了Jump，简化从拍摄到播放的VR视频制作流程。高质量VR相机能够令拍摄变得更加简单，好消息是映维网了解到Jump Assembler则将令自动拼接变得更快，减低投入的成本。借助成熟的计算视觉算法和谷歌数据中心的计算力量，Jump Assembler可以在沉浸式3D 360度视频中实现清晰逼真的图像拼接结果。

1. 拼接

今天谷歌正式为Jump Assembler带来了了一个新的选项，支持系统采用基于多视图三维重建（multi-view stereo）的全新高质量拼接算法。这种算法能够产生与谷歌标准算法一样的无缝3D全景图，但能够通过复杂的图层和重复的图案来减轻场景中的伪影。它同时能够生成有更清晰对象边界的深度图，而这对VFX非常有用。

下面我们先来看看谷歌标准算法的工作原理。它基于光流概念，亦即将一幅图像中的像素与另一幅图像中的像素进行匹配。在匹配时，你可以知道像素是如何从一幅图像“移动”或“流动”至另一幅图像。在匹配每一个像素后，你就可以通过局部地移动像素来插值中间视图。这意味着你可以在拍摄装置上的相机之间“填补空白”，这样在拼接时就能实现一个无缝，连贯的360度全景图。

左：左侧相机的图像；中：在相机之间插值的图像；右：右侧相机的图像

2. 基于视图插值的光流

谷歌最新的高质量拼接算法利用了多视图三维重建来渲染影像。区别何在？即便拍摄装置上的其他相机也有可能看到相同的对象，但标准光流算法一次仅使用一对图像；而谷歌的新方法可以同时在多幅图像中寻找匹配。

这种全新的多视图三维重建算法计算每一个像素的深度（如像素到对象的距离，一个3D点），而且拍摄装置上任何能看到这个3D点的相机都可以帮助建立深度，令拼接过程变得更加可靠。

左边是标准质量拼接：请留意右边杆棍周围的伪影；右边则是高质量拼接：高质量算法消除了伪影。

左边是标准质量深度图：请注意对象边缘十分模糊；右边则是高质量深度图：边缘有着更多的细节，而且更加锐利。

谷歌的新方法还有助于解决所有拼接算法都在面临的关键挑战：遮挡，亦即处理在一幅图像中可见，但在另一幅图像不可见的对象。多视图三维重建拼接在处理遮挡方面的效果更好，因为如果一个对象隐藏在一幅图像中，这种算法可以利用拍摄装置上的附近任意相机图像来确定该点的正确深度。这有助于减少拼接伪影，并生成具有清晰对象边界的深度图。

如果你是一名VR电影拍摄工作者，并且希望尝试这种全新的算法，只需在 Jump Manager的拼接质量下拉栏中图选择“high quality（高质量）”即可。