谷歌采访：如何解决挑战，实现可实时传输的动态光场视频
谷歌正在解决一个接一个的关键挑战
（映维网 2020年08月31日）由于能够在模拟环境中实现一种仿如现实般的感觉，沉浸式增强现实和虚拟现实在近年来受到了主流的关注。希望行走在约塞米蒂的红杉林而非单调乏味的客厅？或者在亲临工作室里欣赏艺术家创作雕塑？这一切都可以通过沉浸式增强现实/虚拟现实技术实现。尽管这个领域目前属于新兴发展阶段，但谷歌正在解决一个接一个的关键挑战。
这家公司在SIGGRAPH 2020大会演示“DeepView Immersive Light Field Video”项目日前获评为最佳沉浸式体验奖（Best in Show – Immersive Experience）。团队中的成员保罗·德贝维奇（Paul Debevec）接受了大会的采访，并介绍了这个项目的起源，以及他们在实现可流式传输光场视频方面所取得的进展。下面是映维网的具体整理：
可以给我们介绍一下“DeepView Immersive Light Field Video”项目的开发过程吗，你们的灵感是什么？
我们希望创造最具沉浸感和舒适感的虚拟现实体验，而且我们知道，对于用户而言，能够环顾四周，而且能够左右前后地移动头部，并在场景中看到适当的视角变化至关重要。于20世纪90年代中期在SIGGRAPH大会展示的光场研究提供了一种正确的方法来用摄像头阵列记录场景，但我们需要构思如何将其变成一种实用的沉浸式VR媒体解决方案。我们在SIGGRAPH 2018 Immersive Pavilion展示了我们在这方面的第一个成果，演示了我们的SteamVR应用程序《Welcome to Light Fields》。这项研究可允许你沉浸在诸如盖博别墅（The Gamble House）和发现号航天飞机等令人惊叹的建筑的真实3D版本之中。但是，它只能记录和显示静态场景。为了将动态沉浸式光场内容带到现实世界，我们必须开发新的摄像设备，视图插值算法和压缩技术，从而将逼真的沉浸式内容带到VR头显。
你们是如何开发这个项目的呢？据我们所知，你们同时公布了一篇与项目相关的技术论文，以及一个演示内容。你能介绍一下它们之间的关系吗？
要将可流式传输光场视频变成现实，我们需要解决数个技术挑战。一个是，我们需要能够支持比光场静像更少的视点，从每半球大约500个图像到大约50个图像。如果要处理大量的摄像头，成本会过高，并且会变得不切实际。但我们高兴地发现，我们能够以大约6000美元的价格制作出直径为1米的半球形摄像装置。它搭载46个摄像头，相距约为15厘米。
相关论文：IMMERSIVE LIGHT FIELD VIDEO WITH A LAYERED MESH REPRESENTATION
在间距更大的视图之间平滑地插值需要更先进的计算机视觉技术，所以我们转向了弗林等人在CVPR 2019大会发表的深度视图技术。所述技术主要是使用机器学习来回归到场景的多平面图像表示（一组从后到前渲染的RGB-Alpha纹理堆栈），从而平滑地插值拍摄视点。为了确保这种技术适用于沉浸式内容，我们修改了它的几何体，使其能够处理球面壳而非平面。
我们最大的挑战是，将46个摄像头的视频压缩到一个六自由度的沉浸式体验中，然后在播放视频时允许你无缝地在视图之间穿梭。尽管这是一个巨大的数据量，但我们最终将其减少到每秒1千兆位以下。我们使用的新颖Representation由分层网格组成：通常是16层动态低分辨率多边形网格，每个网格都有半透明的红绿蓝色alpha视频纹理。而且，我们找到了一种可以将Representation压缩到一个时间稳定的纹理图集中的方法，其中所述图集利用了行业标准的视频编解码器，如VP9和h264。
恭喜你们获得SIGGRAPH大会的最佳沉浸式体验奖。这个荣誉对作为创作者的你和整个谷歌家族而言意味着什么呢？
我们非常荣幸能够获得这个大奖，特别是因为今年SIGGRAPH的沉浸式内容作品非常强大。我们在我们的首个光场装置旁边设置了一个架子，并专门用来摆放这个获奖雕像。
你们在上周的一个媒体活动中分享了在SIGGRAPH 2020期间介绍的项目的独家演示。你能分享更多关于这个演示内容的信息，以及我们如何观看它的信息吗？
是的。我们正在制作第一个可下载的光场演示内容，而有兴趣的观众可以通过我们的DeepView Video项目研究项目页面进行下载，网址为：https://augmentedperception.github.io/deepviewvideo/。它能够通过诸如Oculus Rift或HTC Vive等PC VR头显播放我们在论文中演示的光场视频片段。
下一个项目是什么？
和任何媒介一样，它有着自己独特的优势，但同时有着自己独特的挑战。我们希望探索如何为这种新形式的自由视点沉浸式虚拟现实视频制作最引人入胜的内容。
