解读GDC三个Unreal作品，照片级真实感，实时图形渲染，下一代游戏和电影
文章相关引用及参考：映维网
三个演示作品
（映维网 2018年03月22日）微软日前发布了DirectX Raytracing，把实时光线追踪带到DirectX 12 API，以此来缩短用于游戏领域的光栅化技术与用于电影和离线渲染场景的CG技术的差距。这为实时环境中从未有过的全新技术打开了大门。
Epics Games和英伟达正在合作为后者最新发布的RTX技术提供支持，把这一系列的功能带到Unreal 4引擎，允许开发者构建使用光栅化渲染和光线追踪技术的游戏。在GDC的“State of Unreal”主题演讲中，Epic Games由此展望了一个照片级真实感的实时图形时代。他们为观众带来了三个演示作品，说明了Unreal引擎是如何通过实时光线追踪来实现逼真的照明与反射。
1. Reflections
工业光魔利用了Unreal 4引擎和《星球大战》角色来展示了实时光线追踪技术，亦即以电影级别的质量来实时渲染和照明一个场景。实时光线追踪被认为是创建高端电影级别影像的圣杯，而这代表着电影与游戏领域融合的一大进步。
在这部名为《Reflections》的短片中，我们看到系统利用Unreal引擎、英伟达RTX技术，以及微软的DirectX Raytracing API来逼真地渲染普拉斯马队长和两名帝国冲锋队。在舞台上，Epic和工业光魔把运行ARKit的iPad作为虚拟相机，向观众说明了场景是如何实时拍摄。
在技术演示作品中，照明能够交互地在场景中移动，因为包含阴影和照片级真实度的反射等光线追踪效果是以实时渲染。对于Unreal引擎来说，这种高反射性表面和柔和阴影的惊艳图像质量从未达到如此高水平的图像保真度。
《Reflections》所展示的下一代渲染技术包括纹理区域光效（Textured area lights），光线追踪区域光影（Ray-traced area light shadows），光线追踪反射（Ray-traced reflections），影视级景深（Cinematic depth of field），以及英伟达GameWorks光线追踪去噪（Nvidia GameWorks ray tracing denoising）。
Epic Games创始人兼执行总监提姆·斯维尼表示：“光线追踪这种渲染过程通常只与高端离线渲染器和数小时的电脑处理时间相联。实时电影质量的光线追踪是Unreal引擎的第一次。对于媒体和娱乐线性内容世界，以及任何需要照片级真实感可视化的市场而言，这是一项令人兴奋的新发展。”
Epic Games表示，对英伟达RTX的支持将于今年下半年对Unreal引擎的开发者开放。
2. 瑟金斯
在Epic Games的“State of Unreal”主题演讲中，我们看到了基于著名演员安迪·瑟金斯的实时数字角色表演。安迪·瑟金斯是著名的动捕演员。他曾饰演《指环王》的咕噜，新《星球大战》三部曲中的斯诺克，以及《猩球崛起》的凯撒等等。在3Lateral和Epic Games的帮助下，瑟金斯现在成为了实时捕捉和渲染的数字人类。
瑟金斯表演了著名莎士比亚剧《麦克白》的一段独白，而工作人员将捕捉到的瑟金斯表演应用于不同的场景之中。在舞台上，Epic和3Lateral展示了动画制作者是如何实时修改瑟金斯的表演，如调整他的眉毛以及他的注视点方向。
这一逼真的数字角色表演是基于Unreal引擎的实时渲染技术，3Lateral的Meta Human Framework体三维捕捉、重建与压缩技术。他们在受控照明条件下通过多个角度捕捉了一系列的高质量、HFR图像，从而生成了安迪·瑟金斯表演的体三维数据。所有的输入都用于生成一个基于安迪·瑟金斯的数字角色，并且提取代表肌肉收缩的通用面部语义来令数字角色的表演变得栩栩如生。
在短片中，高保真度的数字复制品复述了《麦克白》中的台词，而这一切几乎与真人表演别无二致。“麦克白”表演数据同时用在了3Lateral的科幻数字角色Osiris Black身上，用以说明相同的捕捉将如何驱动两个完全不同的角色。瑟金斯是背刺概念验证实验的理想对戏那个，除了他那惊人的表演天分外，瑟金斯在动捕表演领域的经验十分丰富。
为了播放这种巨大的数据集，3Lateral的语义压缩在减少大小的同时保存了数据的完整度，从而能够将表演复刻在数字角色身上，并且轻松调整注视点和微小的表演细节。这种超高保真度的捕捉是对数据的预先离线处理，而数据可以上传至Unreal引擎中以实现实时的体三维表演。
3. Siren
Epic Games同时与3Lateral、Cubic Motion、腾讯和Vicon合作研发了Siren，一个“基于中国演员姜冰洁外貌的高保真度，实时数字角色”，能够以超过每秒90帧的速度追踪超过200个面部特征，并自动将数据实时映射到超高质量的数字角色。
Siren利用了Cubic Motion的面部表情捕捉系统，3Lateral的面部操控技术，Vicon的身体动捕系统，具备逼真的面部和眼部运动，以及与参与者交互的能力，展示了面部表情捕捉系统的全部潜力，支持能够反应人类情感的人脸动画。
这项技术改变了制作过程，使得导演和制作人能够立即看到结果并执行连续拍摄，允许实时创建新内容并直接传输到游戏之中，从而为游戏，电影，电视和虚拟助理开发节省时间和金钱。
Epic Games技术总监Kim Libreri表示，创建可以实时交互和引导的可信数字角色是近年来计算机图形行业最激动人心的事情之一。
尽管这些概念验证十分震撼，但目前只是用于专业视效领域。映维网相信在未来某一天，照片级真实感的数字人将能用于交互式娱乐，模拟、调查、非言语交流、人工智能、虚拟现实及混合现实应用。
4. 下一代数字娱乐
Epic Games技术总监Kim Libreri表示，这一系列的技术可用性使得实时光线追踪、实时数字角色表演成为现实。通过把如此强大的功能带到Unreal 4引擎，Epic Games正在塑造下一代游戏和电影图形。
