如何利用深度图来创作6 DoF 360度视频
文章相关引用及参考：映维网
本文来自 JOSH GLADSTONE
（映维网 2018年03月27日）VR电影与摄影在2017年迎来了一轮爆发，一系列的专业和消费者360度相机陆续登陆市场。这种新技术为所有人带来了全新的沉浸式图像捕捉。在数年前受到沉浸式剧场的启发，我的朋友和我开始涉足VR影视，制作了一部交互式恐怖影片。当时《The Presence》这个项目是用消费者级别的相机进行拍摄，一种单视场360度视频.
我们的第二个项目是一部交互式MV，可以根据用户视线进行无缝改变。对于《The Cooties-VR》这个项目，我们能够升级到立体360度拍摄，这样观众在佩戴VR头显时就能获取真正的深度感。立体360度图像给我留下了深刻的印象，而我认为这是视频所能做到的努力。近来我一直在尝试使用一种名为6自由度的新兴技术。6自由度能够为VR影像捕捉带来全新的维度。
1. 什么是6自由度
6自由度（DoF）是指在VR中的运动追踪量。诸如三星Gear VR和谷歌Carboard都是3自由度设备，因为它们只能追踪通过X，Y和Z轴的旋转运动。它们无法追踪位置。
环顾四周
360度图片和视频本质上是围绕球体的图像，而在VR中，你则是置身于球体的中间。想象一下，你身处在一个巨大的球形房间里，其中包含着一个照片级真实感的自然场景。当你站在房间中央环顾四周时，这一切看起来将十分具有说服力。但当你开始走近墙壁时，你会发现平坦的球形墙缺乏深度。
在其中移动
即便是在立体360度之中，你仍然无法移动任何的3D形状，只是两幅影像附加在球形之上，每只眼睛看到的视图稍微有点不同。但通过深度图，这一切都将发生改变。
2. 深度图（Depth Maps）
深度图是通过灰度阴影来表示离相机距离的图像。黑色区域代表最远点，白色区域最接近点。
上为颜色图，下为深度图
诸如Google Jump和Nokia Ozo这样的高端VR相机系统已经可以直接导出深度图。我们通过Google Jump拍摄了我们的第二个项目。当我看到它可以导出的深度图时，我便开始对它们的应用感到十分好奇。我非常熟悉Unity游戏引擎，并且将它用于我们以前的两个项目，因此我开始探索在Unity中深度图的可能性。经过大量的实验后，我编写了一个能够替换球体每个顶点的自定义着色器。
这个着色器起了作用。程序能够将视频信息实时转化为一个纹理化的三维网格，你可以自由行走并环顾四周。当然，这并不完美。所有的距离都取决于深度图的精度，而深度图则是通过使用复杂计算机视觉算法来比较所有原始捕获的视频图像所得出。这种算法在反射和重复模式方面存在问题，因此深度并不总是正确。但现在是早期阶段，相信技术会随着时间而改善。
先四周移动，然后通过深度图进行球形位移
一些6自由度技术不需要360度视频/图片捕捉和深度图，它们是通过多台相机对准一个对象来实现6自由度（外向内）。这种方法通过所有的角度来捕捉对象，并利用摄影制图法来将其转化成3D对象。对于该技术，优势是用户可以环绕对象行走，并从所有方向浏览对象。但由于这没有捕捉环境，所以对于复杂或多个对象的场景而言存在问题，并且需要大型设置和大量的处理。
与之对比，深度图6自由度是是从单个点进行捕捉（内向外）。深度图的优势在于，你可以通过单个360度相机设置来捕捉整个空间。但因为是这种设置，你无法捕捉对象“背后”的信息。例如，一辆车从场景中通过，相机将无法捕捉车辆背后的一切。这将在3D网格中导致一些严重的畸变，当你远离原始点时这将变得十分明显。
所以Adobe的Project Sidewinder和Facebook的Surround360 6DoF演示会限制用户移动，因为离开原点越远，图片将变得越扭曲。通过不同的捕获或处理技术，这种畸变可能会在未来得到改善甚至是解决，但现在问题依然存在。
3. 点云城市
点云是指3D空间中的大量点。每个点都有一个位置和一种颜色，处理数十万甚至数百万个点的情况并不少见。
那么我们如何从照片或视频转向点云呢？如果你拍摄了一张分辨率为2880×1440的等矩形360度图片，你拥有的是超过400万个像素或颜色，因为每个像素代表一种颜色（2880×1440=4147200）。 如果你接下来采用相同分辨率的等矩阵360度深度图，则你拥有空间中单个点的400万个距离。稍后进行一定的数学计算，你将获得400万种颜色和400万个对应的空间位置，这对于表现为点云来说非常合适。
点云不存在与顶点位移技术相同的畸变问题，但它是用空白间隙来替换畸变。点云十分有趣，但现在它们并没有提供比顶点位移技术更多的优点。但在未来，点云有可能成为通往更为有趣的6自由度技术的途径。
4. 6自由度的优势
你可能想知道，对于所有这些畸变和空白，为什么说6自由度比3自由度好呢？在3自由度中观看立体360度视频时，你必须保持直立，不能向前倾斜或靠边倾斜。因为如果你这样做，整个虚拟世界将与你一起倾斜，这会导致恶心。即使你只是将头部向一侧倾斜一点点，这也可能会破坏立体效果，并导致你感到眼花缭乱。但在6自由度中，你可以自由倾斜和移动。你可以自然地坐下和移动，并且保持完全沉浸感，同时可以实现最小的畸变（在有限的范围内）。
