如何为AR/VR设计创作3D人物全息图
在AR和VR中创建数字化身是一个需求，但同时是一个技术挑战
（映维网 2020年08月18日）对于沉浸式内容，在AR和VR中创建数字化身是一个需求，但同时是一个技术挑战。对于初学者来说，这或许比在3D中创建对象和环境要困难得多。为什么？首先，人体结构比桌子或椅子更为复杂，所以更难复制；然后，我们已经特别熟悉人类的动作，所以我们的大脑能够轻易发现最微小的差异；最后，对于AR/VR这样的沉浸式媒介而言，人体动画，特别既费时又存在重重的技术困难。当然，市场存在一系列的解决方案。但我们又应如何进行选择呢？
日前，体三维视频捕捉技术开发商Volograms撰文讨论了一系列的解决方案及其优缺点，并希望这可以为大家提供一定的参考借鉴。下面是映维网的具体整理：
1. 可定制虚拟化身
从卡通风格到类人风格，虚拟化身（有时称为合成人类）是我们人类在数字空间中的对应定制角色。对于普通大众而言，我们最为熟悉的例子包括Bitmoji、苹果的Memoji和Facebook Avatars。但实际上，你可以发现一系列的公司都有把虚拟化身用于AR/VR。这种数字角色通常属于高度可定制，允许你轻松改变肤色，头发，衣服，配件，身高等等。
保真度：我们需要区分两种类型：首先，高度程式化的虚拟化身保真度非常低，比如卡通类型的虚拟化身。它们的优点是，你可以变成别人难以通过外表或动作识别你的任何角色。实际上，即便是3D，我们对卡通角色都会感到相当舒适。
其他类型的虚拟化身尝试实现高保真度，并使用非常逼真的特征。挑战在于，我们的大脑会自动地对它们进行深入分析，而过于逼真的类人角色会导致恐怖谷效应。
一个有趣的方面是，行业存在允许你自动定制虚拟化身的解决方案（通常是使用一个人的照片）。
动画性：一般来说，虚拟化身时都会设计成便于定制调整和制作动画。根据虚拟化身解决方案，你将能够实现各种各样的手势和姿态。另外，它们可能会附带一个运动库或允许你导入自己的动作。
沉浸感：在这一方面，低保真度的虚拟化身往往要优于尝试实现高保真度的虚拟化身。在大多数情况下，你不会认为自己是在和一个真实人类分享这个空间，但这对你正在进行的工作而言可能是不重要。
成本：行业存在支持与特定AR/VR平台集成的免费卡通化解决方案。你可以在Unity Asset Store等标准储存库发现功能有限，但成本和操作亲民的虚拟化身解决方案。另一方面，你可以通过专业供应商寻找基于动捕技术，并且由人工智能驱动的高质量虚拟化身。
时间：通常，定制和配置虚拟化身的动画是一个非常快速的过程，但前提是你正在使用的工具提供所需的定制和动画选项。如果需要任何裁剪，这可能会成为一个棘手且漫长的过程，或者根本无法实现，比方说你希望移动虚拟化身的眉毛，但相关工具根本不提供所述选项。
总结：对于不需要高逼真度或沉浸感的内容，虚拟化身是一个出色的解决方案。动画性和所需时间令其成为了交互性内容的强大选择，如训练模拟器或游戏（事实上，传统的游戏角色可以视为虚拟化身）。然而，如果你希望实现真正的沉浸感，或者希望你的内容能够给受众留下深刻的印象，你应该寻找一个替代方案。
2. 3D设计
人类的3D设计是使用专门的软件从零开始创建人类角色的过程。你可以将其当作是绘画人像，但这是在3D中进行。3D美术或专业设计师会创建达到特定细节级别的模型，然后用数字骨架对其进行绑定操纵，从而使其具有动画效果。结果，你将得到一个独特的虚拟化身。当然，要设计一个具有与真人相似的细节特征的3D角色，你将需要难以置信的专业知识量。顶级的3D专家会根据角色的个性为数字人类量身定制视觉外观。为了减少复杂性，设计师通常从一个预先定义的模型，一个三维扫描，一个人体模型库开始，并产生混合技术和结果。3D设计的角色不仅可用于AR和VR，过去的电影中同样有广泛应，如《指环王》中的咕噜、《加勒比海盗》中的戴维·琼斯、和《玩具总动员》中的伍迪等等。
保真度：你可以选择不同的外观风格：卡通、写实、幻想等。只要有合适的美术、工具、时间和预算，你就能实现其他方法难以达到的保真度。
动画性：这取决于3D设计的质量。设计精良的3D角色可以动画化到令人难以置信的细节水平。顶级工作室甚至会用到深度学习引擎来驱动设计，这样角色的一切，甚至肤色都会随着动作而略有变化。在实践中，对于一个普通的沉浸式项目，你可以用标准的工具和合理的动画水平来设计角色，但不要期望太高的真实感。
沉浸感：同样，这取决于你的设计质量。如果技巧高超，三维设计可以带来高水平的沉浸感。低质量的设计可能会导致非常令人毛骨悚然的结果，或者只是给整个沉浸式体验带来一种低端的印象。
成本：根据你的方法，3D设计可能是最昂贵的解决方案。你需要内部人才来创建设计和制作动画，或者是将工作外包。另外，根据选择，3D设计工具和硬件可能需要你支付昂贵的价格。
时间：一个3D设计美术可能需要几个月的时间来开发一个合适质量水平的人类角色。类似地，电影或3A游戏的角色可能需要专业设计师团队花费数个星期的时间来开发。过程可以更快地完成，但这涉及到成本或质量的权衡。
总结：对于高端AR/VR内容所需要的独特角色，而且不是直接从现实中捕捉的真实人物，3D设计可能是最好的解决方案，而你会看到游戏和电影大作常常会用到这种方法。如果你不追求高质量，但又无法通过定制虚拟角色的方法来获得所需的结果，3D设计同样值得你的考虑。但当然，前提是你拥有合适的人才和设备，以及足够的预算。设计的类型必须根据你的用例进行调整。
3. 3D扫描+动画
三维扫描是一种使用专业技术来分析现实世界中的人或物，从而生成其数字三维副本的过程。这通常可称为“数字孪生”或3D扫描。行业存在各种各样的技术，而最常见的是深度传感器和摄影测量。深度传感器计算对象和传感器本身之间的距离，而摄影测量则使用从不同位置和角度拍摄的照片，并使用专门的软件将它们拼合在一起以形成三维模型。就其本身而言，人类的3D扫描就像是一个静止的数字雕塑，它们需要用一个数字骨骼进行绑定操纵，并进行数字“蒙皮”，这样才能动画化。换言之，模型的关节和活动组件需要识别和编程，并且模型的形状在这一过程中不会疯狂地改变。
保真度：根据你能负担的预算，你可以考虑不同的质量等级。好莱坞工作室使用高质量的3D扫描装置，但你可以通过智能手机摄像头来实现基本的3D扫描。保真度问题会在动画化过程中出现：要人为地对三维扫描进行绑定操纵和蒙皮非常困难，这样做通常会导致机器人般或木偶般的不自然效果。只有顶级工作室的合格3D美术团队才能通过静态扫描实现3D的逼真度。目前甚少能够实现出色效果的自动化工具。
动画性：如前所述，这是3D扫描的最大限制。3D扫描本质为静态。绑定操纵和蒙皮是持续不断的技术挑战，若缺乏熟练的美术，标准工具将难以提供令人信服的结果。但如果保真度和沉浸感不是优先考虑事项，行业存在一系列值得考虑的软件解决方案。
沉浸感：如果能以高标准拍摄并制作动画，由3D专家团队完成的3D扫描能够实现令人信服的数字人类，并带来高度沉浸感的体验。对于采用标准的绑定操纵和蒙皮技术，所有质量级别的3D扫描都会有一种恐怖谷般的外观和感觉。
成本：如果你希望自己进行3D扫描，一个3D扫描装置通常需要你购买几十个摄像头，外加一系列的配件。摄影测量软件的成本可以接受，而运行重建过程不是什么高深的科学。另一个选择是雇佣一个3D扫描工作室来完成特定的工作，这甚至可能会降低成本。如果这两个选项都不行，你可以使用一个摄像头并从不同的角度捕捉人像，然后进行重建，但这将是一个耗时的细节向过程。
同样，将3D扫描变成一个可动画化的数字人类，你需要团队拥有优秀的3D专业知识，或甚至不能提供最令人兴奋的结果的昂贵软件解决方案。
时间：如果你有你的三维扫描设备或有权访问一家提供该服务的公司，三维模型的捕获不是一个耗时的过程。就像上面提到的，3D扫描可以用一个摄像机从不同的角度捕捉一个人，但这需要时间和一定的专业水平。
标准动画制作不是一个耗时的过程，但会导致有限的结果。为了达到一个像样的质量水平，你需要更长的时间来完成捕获后过程。你可以参阅这篇关于华纳音乐如何为歌手CARYS的粉丝们制作体验的文章，它说明了从3D扫描创建专业动态3D模型的背后，以及在使用动捕技术创建动作后所产生的效果。
总结：传统上，3D扫描与动画相结合一直是将真人带到AR和VR或其他3D世界（如游戏）的首选方法。当交给合格的3D设计师团队时，这是一个非常强大的工具组合。但在大多数情况下，你的公司可能缺乏这样的团队，所以3D扫描可能不是你的选择。正如上述讨论一样，标准的绑定操纵和蒙皮技术会令模型看起来粗糙，有时甚至会出现恐怖谷效应。在这种情况下，你会牺牲沉浸感。体三维视频（见下文）能够解决这个问题，并你提供了一个更为自然的结果。当然，如果你正在创建一个较长的AR/VR内容或一个具有多个角色的内容，体三维视频意味着比3D动画扫描更大的文件。
4. 2D Billboards
2D Billboards是一个集成到3D空间中的普通视频剪辑，而你会感觉它仿佛是在3D之中。对于无法真正移动的AR/VR体验（所谓的三自由度/3DOF），它是值得考虑的方案。在这种情况下，即使你身体移动，你感知虚拟环境的位置，包括Billboard都不会改变。但在糟糕的实现中，Billboards看起来就像是电影舞台上的一块扁平纸板，它会打破体验的沉浸感。
保真度：作为一段视频，当从单个角度看时，2D Billboards可能能够提供高保真度。但它将局限于一个非常具体的视角，而且它不能与AR/VR体验提供的3D效果和照明相结合，所以它很难描绘深度。
动画性：2D Billboards几乎不可能动画化。你在原始视频中录制的内容就是你捣鼓的对象。诸如Deep Fake等视频编辑技术可能会帮助你稍微调整一下动作，但你无法创建一个交互式片段。
沉浸感：2D Billboards没有沉浸感，对AR/VR而言是一个非自然的解决方案。在非常特殊的情况下（3DOF，特定的照明等），它们可能会实现不错的效果。但即使你一动不动，人眼都会感觉到过于2D的元素。一般来说，在沉浸式应用程序中，当内容不靠近用户位置且深度效果最小时，2D Billboards将能够起效。
成本：这是2D Billboards最大的优势。创建它们意味着制作正常的视频（有或没有绿屏），然后分割背景。硬件一点也不贵，只要有合适的软件或一点时间，你不需要专门的技能就能进行操作。以一种看起来还过得去的方式将内容整合到AR/VR体验中可能是一个更大的挑战。
时间：视频拍摄速度快，绿屏分割时间不应该太长。因此，所需的时间将很大程度上取决于你希望对内容进行集成的程度。
总结：2D Billboards一般不太适合AR/VR体验。一旦用户移动，魔咒就会打破。但我们建议在3种情况下使用2D Billboards：
- 当你的预算非常有限，但你又确实需要把一个特定的人物带到体验中；
- 人物位于远景，在一个用户永远不会靠近的位置；
- 当你确实只是希望在AR或VR空间呈现一种高清视频的外观和感觉时。例如，这可能有助于你非常准确地描述纹理、透明度、头发和其他难以在3D立体视频中重现的元素。
5. 体三维视频
体积视频是一种捕捉人或物并生成一系列三维模型的技术。换言之，体三维视频之于3D扫描就像视频之于摄影一样。一般来说，你可以把体三维视频的每一帧都看作是3D扫描。因为它直接捕捉现实，你可以用它把真实的人类准确地带到AR/VR之中。由于它是三维，你可以从任何角度看到内容。从技术上讲，体三维视频就像3D扫描一样，同样是基于多摄像头装置，其中可以包括深度传感器。事实上，一个体三维捕捉设备非常类似于一个3D扫描设备，只是它设置成记录视频而非图片。
保真度：这是体三维视频的关键优势之一。它的优点是形状和动作不是分开生成，而是直接在3D中捕捉移动的人物。没有一种方法可以在没有高质量美术的监督下达到这种自然逼真度。与其他技术类似，体三维视频将根据你的预算和部署平台提供不同级别的保真度。配备100多个摄像头的精密装置可以提供非常高的质量。但对于大多数目的来说，这可能是用牛刀杀鸡，因为当你使用最先进的体三维视频重建软件时，你可以用15个摄像头获得非常逼真的结果。基于多个深度传感器和摄像头的更简单装置可能会产生具有噪点，低分辨率或根本不是完全三维的低质量内容。
动画性：体三维视频和普通视频一样不需要动画。你可以从现实中捕捉AR/VR体验所需的动作，从而使其具有最大的保真度。反过来，体三维视频在重新设置动画方面受到限制：你可以对其进行绑定操纵并对其进行蒙皮，但有可能会失去原始捕获的真实性和保真度。与3D扫描相比，它有两个主要优势：
- 首先，你有关于人物如何运动的内置信息，因此你可以精准地确定驱动运动的数字骨骼。
- 其次，你可以使用原始的动作并调整它们以更好地匹配你的故事（例如，改变时间、视线、方向），而不是完全重新设置动画。事实上，有公司专门从事这种体三维内容的后期制作。未来，深度学习系统可能会从原始的体三维视频中学习，并用全新的但逼真的动作来实现动画捕捉。
沉浸感：与一个体三维人物共享一个空间将是仅次于现实的交互案例。像视频一样，一般的外表和动作，甚至是情绪都是以原始保真度捕捉，这样的表达和反应最为真实。由于它是全三维，所以可以集成到AR或VR空间之中，并且可以从任何角度进行体验。你同时可以添加一定的效果，例如让体三维角色注视着用户。
成本：如果你想搭建自己的体三维装置，最简单的机器都适合初学者，而且价格合理，只是不能提供专业的结果。最复杂的装置可能要花费过百万美元，但它们可以产生真正高端的结果。事实上，所需的空间可能是最为昂贵的资源，亦即专门的体三维捕捉空间。如果你与一个体三维捕捉工作室合作进行一次性项目合作，成本会高于2D Billboards和标准虚拟化身，但可能会低于3D设计或3D扫描+动画，而且体三维视频提供了更高的质量。一般来说，你不需要专业的人才，除非你想后期制作或重新制作你的捕获动画。
时间：这是体三维视频之于其他方案的优势之一。第一步是捕捉，它所花费的时间和普通的视频拍摄差不多。过去，处理视频是一个漫长的过程，但目前的云解决方案已允许处理过程在几小时，甚至几分钟内完成。另一个优点是，获得的结果可以直接从处理管道集成到体验之中。
总结：如果AR/VR内容的关注点是人，需要以真实方式捕捉人物及相关的情感和动作，体三维视频可能是你的最佳选择。如果你需要在内容中加入一个特定的人物，比如名人、品牌大使、公司高管或艺术家，这一点尤其正确。但需要尤其注意的是：如果你的内容具有高度交互性（如游戏），你将需要结合特定的绑定操纵和蒙皮技术。
6. 如何动画化3D角色？
只有两种方法（2D Billboards和体三维视频）直接捕捉原始人类的动作。你可能会想知道“我如何以数字方式动画化虚拟化身、我自己设计的3D角色或我的3D扫描呢？“从广义上讲，动画可以分为两类：
- 人为动画：由人类设计或编程的动作。
- 动作捕捉（mocap）：从真实人物提取的动作。
运动是一门人类艺术。我们对数字角色中的非自然运动非常敏感。人为动画的成本可以很低，但它通常无法以高保真都描绘人类的运动和情感。从逻辑上讲，动捕解决方案是一个更好的选择，因为我们能够捕捉和叠加真实的运动，但这存在代价：高质量动捕设置的成本要高于体三维捕捉设置。
最重要的是评估你的项目的需求。如果保真度和沉浸感对你的项目而言并不重要，你可以高兴地选择人为动作。另外，3D模型的质量和运动的质量需要齐头并进。尽管卡通般的设计可以很好地配合简单的动作，但为了避免恐怖谷效应，逼真的3D设计需要非常高的运动保真度。
总而言之，如果你的项目能够支持不需要动画的解决方案，如体三维视频，则相关解决方案是确保非常自然和高端的人体运动，并且是获得最具沉浸感效果的最佳方法。如果你依赖动画，而且拥有预算，你可以选择动捕。但最终重要的是，无论选择的方案是什么，要创造令人信服和身临其境的内容，关键都是你自己的创造力。
选择正确的方法来来创建3D人物非常重要，有时这是一个漫长的过程。以上考虑事项可以帮助你在设计下一个AR/VR项目时的决策。你要确保为内容选择正确的方法，因为正确的沉浸式体验有助于建立你的信誉，并带来更多的客户和项目合作。
