BBC研发团队分享如何创建可捕获、编辑和渲染的光场系统原型

查看引用/信息源请点击:映维网Nweon

光场系统

映维网Nweon 2022年02月16日)BBC研发团队创建了一个可以捕获、编辑和渲染光场的系统,而成品可以用作逼真的虚拟现实背景,甚至是虚拟电视制作。相关光场易于捕获,只需少量的处理,并且与广播行业建立的工具和工作流程兼容。

日前,BBC的弗洛里安·施威格(Florian Schweiger)撰文介绍了所述系统。下面是映维网的具体整理:

1. 什么是光场?

光场是密集的光线集合,你可以从中重建任意视图。与只捕获进入单个点的光线的360度全景不同,光场包含大量在空间中传播的光线。360度全景只允许你转动头部(三个自由度)来环视周遭,但除了camera所在的确切位置之外,你不能行走移动。这种感觉就像是身体卡在一个固定的地方,你只能活动头部。

然而,光场能够提供六个自由度,允许你看到依赖于视图的细节,包括视差、反射和遮挡。在虚拟现实中,这种额外的自由度会令一切都变得不同。

通常,光场是由一个密集的摄像头阵列所捕获。其中,一系列的摄像头将布置在一个平面并都指向同一个方向。或者等效地,在一台摄像机前面有一个透镜阵列,并将图像分割成多个视图。

然后,平面阵列充当一个虚拟窗口。透过这个窗口,可以通过在实际捕获的光线之间重新组合和插值来查看场景。

只要镜头足够紧密地排列在一起,就可以从源数据中插入穿过所述窗口的任意光线。

2. 单摄像头光场

为了实现一个更简单、符合既定广播工作流程的系统,BBC团队采用了一种稍有不同的方法:用一台摄像机捕获光场。当然,他们使用的是360度摄像机,所以涉及多个摄像头,但记录的全景图像都来自一个视点,只是它们恰好有一个更大的视场。

如图所示,这是一个机动式装置,它可以将摄像机缓慢地绕水平圆移动。一次完整的旋转需要30秒。在这一期间,团队以每秒60帧的速度录制曝光锁定的视频。产生的数据集包含1800帧,即每度5帧。圆的典型直径为1米,这意味着可以有效地捕获相距不到2毫米的视图。然后从这组密集的源视图中,研究人员可以在圈内的任何位置合成虚拟camera位置的视图。

当然,这个简单的设置存在一定的取舍。最明显的限制是,由于摄像机移动,场景本身必须完全静止。否则,伪影将出现在由不一致数据合成的视图中。尽管这排除了特定用例,但对于为虚拟现实创建背景并用动画角色填充的目的来说,这很少是一个问题。实际上,有一种方法可以处理有限的背景运动(在下面描述)。

与六自由度完整光场的另一个区别是,BBC的源视图阵列仅为一维。所有捕获的视点都位于一条线上(尽管这条线是弯的,因为是圆),但数据集中没有任何视点覆盖垂直方向。所以,用户只有五个真正的自由度:头部三个,在圆内移动两个(缺少上下)。但上下移动时,你不会像在现实生活中那样感知到垂直视差。这通常是可以接受的,因为由于我们眼睛的相对位置,水平视差对人类立体视觉更为重要。另外,如果你仔细思考,在大多数日常情况下(尤其是在坐姿VR体验中),以及在电视制作中,人类的主要运动方向通常是水平。

不过,缺少垂直视差会导致渲染视图中的对象显示在稍微不正确的高度。当用户向前移动时,这一点变得最为明显,因为你将理所当然地期望近距离对象比远距离对象更高。但如果没有垂直视差,所有对象的高度都将以相同的速率变化,而与它们在场景中的深度无关,这会导致直线明显弯曲。下面将介绍更多关于这种深度相关的垂直扭曲,以及如何在瞬间缓解它们。

3. 处理和渲染

从捕获的全景视频中,只需几个简单的处理步骤即可获得直接用于渲染的光场数据集。

第一步是调整视频,使其包含一个完整的旋转。这是通过最小化开始帧和结束帧之间的像素差来实现。接下来,将全景视频重新采样为更有效的格式。团队使用的立方体映射表示只包含渲染所需的立方体面:向上,(径向)向外和向下。

BBC已经在Unity游戏引擎中将渲染器实现为一组可以应用于曲面的着色器材质,然后曲面可以显示捕获场景的光场。在最简单的情况下,这个曲面是一个大型球体的内部,而光场则投射到球体(实际上假设场景深度恒定)。尽管这会产生包含视图相关效果的相干图像,但前面提到的垂直视差的缺乏会导致扭曲。这种扭曲会随着场景对象的深度而变化。摄像机附近的对象最为明显,你可以注意到它会出现桶形变形,例如人行道和酒吧窗户上方的檐口。当虚拟camera移向附近的对象时,这一点会变得尤为明显。

为了减轻这种不必要的影响,团队在Unity编辑器中手动添加一个粗略的3D模型,并将光场材质应用于它。这个代理几何体的目的不是捕获环境的细节,而是将较近的结构(如建筑物)与背景区分开来。它同时允许前景对象(例如动画角色)与背景光场交互。在实践中,一个地平面和几个基本体(例如长方体或平面)代表主导结构就已经足够。

渲染过程非常简单,只需从源视图中查找正确的光线即可。对于需要在虚拟camera中渲染的每个像素(如下图蓝色所示),团队选择位于相应光线方向的源视图(橙色)。场景深度确定要在所选源视图中采样的垂直像素位置。

请注意虚拟光线和源光线之间的角度。这意味着,即便代理几何体的深度相当不准确(实际上在几厘米以内),采样位置都不会发生太大变化。

4. 额外的功能:光场编辑

由于系统中的源数据是传统的视频,任何图像或视频处理技术都可以用来改变光场的外观。这包括相对简单的修改,例如colour grading或gamma correction,以及更复杂的操作,比方说通过rotoscoping来隐藏缺陷,甚至是添加场景元素。BBC系统的主要优点是,处理过程可以离线进行。下面的示例说明了应用于源视频的 Neural Style Transfer是如何完全改变渲染场景的外观,并同时保留所有与视图相关的效果,例如反射、遮挡和视差。仅使用视频表示的另一个优点是,可以利用现代视频编码器的高压缩比,从而大大减少必须交付给最终用户的数据量。

5. 特定的动态场景

上面提到,为了防止伪影,BBC的系统通常需要静态场景。但只要满足以下条件,它依然可以支持特定类型的背景运动:

  • 背景运动可以周期性地重复。
  • 在完整的捕获旋转过程中,动态对象保持在(立方体贴图视频的)视图之中。
  • 动态对象可以用平面近似。

可以周期性地重复而不引起怀疑的示例包括人来车往、风中摇摆的树木或流水等等。这种循环既可以是单向(例如汽车一次又一次地驶过);又可以是来回往返的、像溜溜球一样的模式,从而避免不连续性(例如风吹的树梢)。

当动态对象为平面时(例如电视屏幕或河流表面),或者当它在背景中的距离足够远,可以被平面足够精确地近似时,动态对象可以从捕获过程中看到它的每个源视图扭曲到虚拟camera的视图中。

在Unity实现中,团队为动态对象指定了一个恰好满足的着色器材质:根据捕获动态对象的时间对源视图进行采样,而不是像静态场景部分那样对空间上最近的对象进行采样(如上面的处理和渲染中所述)。

6. 下一步

BBC的光场系统目前只是一个原型。它采用标准游戏PC硬件,可以产生适合虚拟现实应用的输出分辨率。

虚拟电视制作的要求非常不同。尽管分辨率必须大大高于广播标准,并且摄像机的运动范围需要大于坐姿VR体验,但在电视演播室设置中,浏览方向的范围通常更为有限。

对于这一点,BBC系统的解决方案包括增加捕获圈的半径,降低捕获速度(以保持密集的源视图间距),同时将捕获范围限制在最终将面对摄影棚和朝向场景的捕获圈部分。一种更灵活但更复杂的方法是使用完整的六自由度光场。随着神经渲染技术的最新进展,源摄像机之间的间距可以显著增加,从而满足运动范围和浏览方向的要求,无需不牺牲视觉质量。

本文链接https://news.nweon.com/94459
转载须知:转载摘编需注明来源映维网并保留本文链接
入行必读:AR/VR——计算机历史第二次大浪潮

更多阅读推荐......

资讯