步入青年忍者神龟世界，对话《忍者神龟：崛起 VR》
文章相关引用及参考：unrealengine
尼克国际儿童频道（Nickelodeon）在圣迭戈国际动漫展上亮相了“忍者神龟：崛起 VR采访体验”
（映维网 2018年08月01日）尼克国际儿童频道（Nickelodeon）在圣迭戈国际动漫展上亮相了“Rise of the Teenage Mutant Ninja Turtles VR Interview Experience（忍者神龟：崛起 VR采访体验）”，其中用户可以步入青年忍者神龟的世界，并且在虚拟现实中采访《忍者神龟：崛起》的扮演者。这种独一无二的采访允许用户可以与米开朗基罗或多纳泰罗进行对话（分别由系列声优布兰登·史密斯和乔什·布雷纳配音）。Unreal日前采访了尼克国际儿童频道娱乐实验室高级副总裁Chris Young，以下是映维网的具体整理：
是什么启发了你将VR用作“忍者神龟：崛起”动漫展新闻发布会的媒介呢？
这个想法起源于我们在拉斯维加斯NAB展会与Epic Games，Adobe和NewTek举行的会议。我们已经整合了一个管道，利用NewTek的NDI技术来将Adobe Character Animator传输至UE4中，而且我们希望在游戏引擎中进行实时动画制作，VR则是近距离体验它的明显方式。
你是如何在VR中与米开朗基罗和多纳泰罗进行实时双向对话的呢？
我们围绕实时木偶戏进行了大量探索，并将全身和面部表现捕捉传输至Unreal，而当能够结合忍者神龟的机会出现时，令记者直接在实时体验中与我们的角色进行对话似乎是一种创新体验。
现场体验是否集成了动捕呢？
由于《忍者神龟：崛起》是2D设计风格，我们依靠Adobe的Character Animator工具来处理动画，这允许我们在用于角色的模型，艺术上进行创作。我们有一个大型动捕空间，其中我们正在开发几个项目，采用更传统的表演捕捉和一个流式传输至UE4的管道。
请你描述从创建初始CG/环境asset到最终采访的工作流程（硬件和软件，头显，捕捉）。
这款VR体验是通过Unreal引擎进行开发。在游戏引擎中开发这种体验可以支持你创建实时交互和对话。我们使用NewTek NDI技术来体验米开朗基罗和多纳泰罗木偶。NDI允许你通过共享网络流式传输大型视频文件。米开朗基罗和多纳泰罗是由Adobe Character Animator进行实时驱动。MIDI Keyboards则用于触发米开朗基罗和多纳泰罗的各种姿势。这些MIDI Keyboards是在采访中进行实行操作。NDI允许你从Character Animator导出木偶，并由其他各种使用这些实时动画进行体验和合成的机器进行拾取。
当用户站在绿幕前的时候，他们将合成至纽约市的屋顶，并且尼克儿童频道的角色来作为头像。为了保持VR查看器的性能并创建高质量的输出，我们是通过提供网络观众版本的体验来完成合成。这一观众版本将前景层和背景层分开。然后，这些图层将在Resolume中显示，并与实时动作素材进行实时合成。最终合成将通过NDI导出Resolume。
实况录像的最终合成，VR玩家的POV，以及两只忍者神龟的特写镜头和广角镜头都用TriCaster进行录制。TriCaster允许你在采访过程中进行实时编辑，能够在完成采访后通过拇指驱动器将ISO记录和最终节目编辑交给记者。
我们在前景中使用2D平面的组合来作为背景元素和CG网格，从而获取VR查看器的正确视角。为了在3D空间中复制2D外观，我们将Maya中的变形网格对象带到UE4，直到我们认为我们已经为风格化的手绘环境捕捉到正确的视角。回到Maya，我们从VR玩家的POV向背景几何投射平面，并使用实际的Photoshop笔刷在这些平面UV上绘制纹理。这完美地捕捉了手绘的背景画风格。
这款体验是否使用了与为Imax VR中心开发的尼克儿童频道体验类似的技术呢？这款动漫展体验是如何作为该技术的延伸呢？
我们将许多用于处理VR pawns和VoIP的代码，以及我们为SlimeZone VR创建的一些CG角色asset融入至忍者神龟体验。
你们为什么选择在Unreal引擎中开发这种体验呢？
我们曾多次成功在UE4中快速完成了从原型到全功能版本的开发过程。结合在UE4中创建VR而获得的知识，以及在Blueprints中模拟想法的能力，我们能够快速进行迭代并自由专注于创建酷炫的元素。
你们采用了哪个版本的Unreal引擎呢，你们又是否经常使用任何喜爱的Unreal引擎功能呢？
我们用了4.19。由于我们的开发往往是实验性质，而且周期很短，因此我们非常积极地更新至最新版本的游戏引擎。我们在很大程度上依赖于NewTek的NDI插件，以及将视频流式传输到UE4的alpha支持。
“忍者神龟”系列的动画师是否有与动漫展VR体验的创作者进行合作呢？
我们与创作者和动画团队进行了密切合作，共同将节目的外观和动画风格融入至VR体验。将2D外观转换为VR需要花费很多精力。
你们面临的最大挑战是什么？
现场方面，以及同步音频/视频/游戏资源，我们同时需要一个向伯班克工作室和动漫展现场发送和接收数据的机器网络，一切都需要大量的预先计划。
在设计需要动态实时更新的VR体验时，制作考量有何不同？
这需要在一个现场直播环境中整合动画，游戏开发，真人表演，木偶戏，虚拟电影摄影技术。一切都需要融为一体，而我们以前从未做过这样的事情。
