谷歌体三维捕捉新突破：实现后期任意照明修改

查看引用/信息源请点击：reality.news

在任意环境下真实地重照明人类

（映维网 2019年11月20日）随着市场对AR体三维视频的需求开始逐渐增长，谷歌研究人员正在探索如何优化相关的实现过程。作为研究努力的一个成果，团队开发了包含330可编程LED灯泡和约100个摄像头的球形设施：“The Relightables”。名为《The relightables: volumetric performance capture of humans with realistic relighting》的论文已经发布在ACM期刊 。

据介绍，Relightables系统实现了三项创新。首先，包含的摄像头是用作深度传感器，能够捕获对象的12.4MP深度图；然后，团队创建了几何和机器学习重建管道，后者能够从捕获的数据中合成视频。最后，系统能够捕获与深度图时间同步的反射比图，从而允许操作员在AR或VR场景中操纵对象的照明，不再是原始工作室的照明条件。这种信息是通过交替闪烁两种不同的颜色渐变图案所获得，而系统会在视频重建期间将其用于推断对象的反射特性。

团队在论文中写道：“尽管行业已经在体三维捕获系统方面取得了重大进展，但其主要是集中在具有高分辨率纹理的3D几何重建，而在恢复重新照明所需的光度特性方面则少有涉猎。相比之下，大量的研究工作探索了基于图像的可重照明获取问题，亦即在一组基本照明条件下拍摄对象，然后重新组合图像，以仿佛是出现在目标照明环境中时的样式来显示对象。但这种方法一直都不适合在高分辨率的体三维捕获系统中使用。我们的方法整合了这种能力，可允许系列在任意环境下真实地重照明人类，并且包含自由视点体三维捕获的优势，以及在动态表现的几何精确度实现了提升。”

体三维视频领域在过去两年间一直在稳步增长。除了微软的Mixed Reality Capture Studios外，英特尔、索尼同样构建了自己的捕获工作室，而Verizon则通过收购Jaunt涉足体三维捕获技术。体三维视频在增强现实体验中的用例十分广泛。与此同时，Magic Leap收购Mimesys及其实时全息视频通讯技术表明，体三维捕获有望在未来改变人们的通讯方式。

另外，谷歌创意实验室和Opera Queensland的合作揭示了另一个用例：虚拟剧院。在SIGGRAPH大会亮相的原型体验包含通过Relightables系统捕获的三位演员表演。在谷歌的大力支持下，基于Relightables体三维捕获系统的3D内容将能为沉浸式体验带来更多的真实感，令我们愈加难以区分虚拟与现实。