走进微软混合现实捕捉工作室的幕后：全息图、106台相机及体三维捕捉

文章相关引用及参考：variety

随着虚拟现实的日益普及，以及市场对沉浸式体验的渴求，微软正在加紧推进相关的项目以适应3D asset快速增长的需求。

（映维网 2018年04月26日）在著名的“世界自然纪录片之父”大卫·爱登堡爵士于去年横跨大西洋来到美国，并饰演他的第一部VR影片之前，一支先行团队携带了关键的道具：数件爱登堡的标志性淡蓝色衬衣。

他们必须测试相关的衬衣，因为爱登堡前往的不是一般的VR片场，而是位于微软雷德蒙德园区的Mixed Reality Capture（混合现实捕捉）工作室。这个工作室专注于体三维捕捉，在全3D环境中录制随时可以生成全息图的人像。

微软研究这项技术已将近八年时间，并且最近又在旧金山开设了另一个这样的工作室。微软计划将技术授权给各种运营商，而这种合作可能有朝一日带来未来派的照相亭：只需数美元即可将任何人变成全息图。

微软的混合现实捕捉工作室正在将大卫·爱登堡爵士制作成全息图

就目前而，体三维捕捉仍然是一项前沿技术，存在很多潜在的缺陷。正是出于这个原因，与爱登堡合作英国沉浸式内容工作室Factory 42选择先行测试他的淡蓝色衬衫是否会导致微软工作室中的106台摄影机出现问题。

当爱登堡到达雷德蒙德时，工作人员用胶带固定住他衬衫的领子，并且捣鼓这位91岁老人的头发和妆容。Factory 42的联合创始人兼创意总监丹·史密斯（Dan Smith）回忆道：“我们必须在爱登堡身上喷洒大量的发胶。这项技术仍然处于起步阶段，所以存在一定的限制。”

1. 微软混合现实捕捉之路始于Kinect

体三维捕捉仍然是非常新颖的技术，但也正在快速发展，主要是由于虚拟现实和增强现实对3D asset的需求增加。微软在多年前就已经开始研究体三维捕捉，当时微软研究院的员工尝试通过Xbox原始的Kinect运动传感器来捕获3D与全息图像。

这种尝试并没有取得成效，但微软仍然坚持付出努力，并开始采用现成的摄影机来进行体三维捕获测试。在一开始，这一切的出发点是因为微软希望为HoloLens增强现实头显生产3D内容。现在微软设置了更宏大的目标，认为他们的体三维捕捉工作室可以支持头显，移动和桌面计算端的混合现实。微软混合现实捕捉工作室的总经理史蒂夫·苏利文（Steve Sullivan）表示：“我们希望支持普遍的混合现实。”

微软于四年前开设了雷德蒙德混合现实捕捉工作室（Redmond Mixed Reality Capture Studio），他们最近也在旧金山推出了一个类似的工作室。在那里，25英尺×25英尺的空间中设置了106台摄影机，而绿幕和照明则排列在各个方向。在捕捉空间之外，显示器正实时显示来自四个方向的会话。在隔壁，数十台服务器正在嗡嗡作响，处理着这106台摄影机所捕捉的所有原始视频，每秒处理数据达到10GB。

微软旧金山工作室的捕捉舞台

最终，微软希望令3D全息图看起来与常规视频几乎没有区别。沙利文说：“这是目标，而我们非常接近。” 为了实现这个目标，微软采用了两种不同类型的摄影机：用于从多个不同角度捕捉视频的53个RGB摄影机；以及捕捉投射到主体身上的特殊IR激光点的53个红外摄影机。

后者主要用于创建一种人的表面映射，然后工作人员可以将其与轮廓数据和传统3D视频结合，从而重新创建3D模型。微软同时利用了AI来帮助实现这一过程，利用算法检测人脸，并且着重渲染这一区域。毕竟，观众很可能更关注演员们的脸蛋。

2. 全息图将如何改变虚拟现实

微软并不是唯一一家希望普及体三维捕获的公司。在新西兰和洛杉矶均设有工作室的体三维捕捉初创公司8i在多年来同样在研究类似的技术。另外，英特尔于今年年初在洛杉矶开创了一个更大的体三维捕捉空间。

英特尔专注于高端制作，支持多位演员在更大的空间中移动，而微软则坚持紧凑且易于复制的捕捉空间。微软的捕捉空间比英特尔的洛杉矶工作室要小很多，直径约8英尺，最高为10英尺。但这样微软能够维持设置的便携性，随时可以将其拆卸并重新安置到其他空间。

微软位于旧金山的捕捉空间直径只有大约8英尺

微软还指出，他们只是使用了现成的摄影机和其他易于获取的组件。这是因为微软最终希望向其他公司授权他们的技术，而这样可以帮助第三方更轻松德在全球各地开设自己的捕捉工作室。第一个这样的授权捕捉空间已于最近在英国伦敦开业，目前还有更多计划正在准备之中。

随着虚拟现实的日益普及，以及市场对沉浸式体验的渴求，微软正在加紧推进相关的项目以适应3D asset快速增长的需求。

在几年前，VR体验大致可以分为两种：借助游戏引擎生成的动画内容，允许VR头显用户走进另一个世界，并在其中自由地探索；另一种是包含真实演员的360度视频，但即便是使用3D，这仍然只不是投影在观众周围的球形影像，不能支持用户自由行走。

微软旧金山工作室的控制室

微软混合现实捕捉工作室拍摄的全息图允许电影制作者将两种方法结合起来：通过游戏引擎制作的沉浸式环境和制作成3D全息asset的真人演员。对于Factory 42及其《Hold the World》项目而言，这种方法非常有效（该项目将在未来数周内由英国广播公司Sky发行）。

Factory 42的联合创始人兼执行总监约翰·凯西（John Cassy）说道：“这与普通的VR不同，这是向现实迈进的一大步。”苏利文表示赞同，并认为增加的全息图可以增强VR的关联性。他说：“如果没有人类，这将显得非常空洞。”

3. 变成全息图的感受

在最近一次访问旧金山微软混合现实捕捉工作室的时候，我发现将人类变成全息图的过程，或者说体三维捕捉捕获的过程最终将与常规电影拍摄并没有什么不同。唯一的不同可能只是体三维捕捉环绕布置了106台摄影机，而常规的电影拍摄一般只有一台摄影机对准你。

许多新人都会犯下一个错误：他们希望对准所有的摄影机，我也不例外。幸运的是，一位经理为我提供了一个焦点。对于爱登堡的情况，工作人员置甚至提供了几个倒置的纸杯，好让他明确观众的位置，以及计算机生成的对象将在哪里出现。

和爱登堡一样，我选择了特定的衣服，并且避开了可能会混淆算法的复杂图案。我没有用胶带固定住衣领，但仍然能够在拍摄过程中减少了问题的出现。尽管106个摄影机可以捕捉很多细节，但偶尔也会有一些盲点。摄影机无法捕捉到衣服之间的小缝隙，这时计算机将随机进行填充，导致多余的颜色看起来像是蹼指。

4. 开发者需要全息图来推进移动AR的浪潮

除了VR之外，AR同样推动了体三维捕捉需求的增长。尽管微软HoloLens这样的头显现在或许只能覆盖一小部分用户，但苹果和谷歌在去年夏天把AR技术带到了移动设备上，开启了AR潮流的闸门。

ARKit允许开发者将数字对象添加到iPhone或iPad的摄像头视图中，从而将这项技术带到数以亿计的消费者手上。谷歌随后也采用了类似的技术，Snapchat和Facebook同样在大量投资移动AR。

许多移动AR应用程序都是将全息图添加到摄像头视图之中，允许用户在日常生活中捕捉名人，野生老虎等等。这种需求十分适合微软混合现实捕捉工作室所制作的内容。

大部分消费者暂时都无法触及这种技术。然而，微软的混合现实捕捉团队已经在考虑推进普及计划。在一次测试中，苏利文捕捉了与自己与孩子的场景，这样他们就 拥有了以后在VR头显或其他未来设备中重温过去的体三维3D视频。他说：“这是一次非常有意义的经历。”

苏利文并不认为消费者级别的技术将很快出现。即便不考虑昂贵的设备价格，对一般的卧室而言，设置与校准如此多的摄影机仍然是过于复杂。

但他认为这种技术可以轻松在社区照相馆中找到自己的位置。或者甚至在未来以照相亭的形式出现。苏利文表示，微软正在把现有的混合现实工作室当作未来的试验场，他说：“这正在教导我们如何获得更为轻便的形状参数。”

微软的服务器，其正在将大量的原始视频数据转换成全息图

微软正在致力于优化的其中一个步骤是处理。最终，这家科技巨头希望不再需要依靠于本地服务器，而是能够在云端完成所有的数据处理。苏利文指出：“这位于我们商品化这种捕捉的路线图之中。这家公司已经简化了摄影机校准，并且令设置过程变得更加轻松。他说：”这不再是一个科学项目。”

正如爱登堡和其他所有经历过这一过程的人都可以证明，这并不意味着体三维捕捉之路就会一帆风顺。史密斯说道：“仍然会涉及胶带和咖啡杯，以及大量的发胶。”