Meta和卡内基梅隆大学演示HyperReel，用AI提升六自由度VR视频渲染
查看引用/信息源请点击：mixed-news
以每秒每秒6.5到29帧（具体取决于场景和模型大小）的速度实现百万像素分辨率的渲染
（映维网Nweon 2023年01月25日）体三维场景表示支持静态场景的照片级真实感视图合成，并形成了数种现有六自由度视频技术的基础。然而，相关的体三维渲染过程需要在质量、渲染速度和内存效率方面进行仔细的权衡。特别是，现有方法无法同时实现实时性能、小内存占用和高质量渲染。
为了解决所述问题，Meta和卡内基梅隆大学组成的团队演示基于AI的解决方案HyperReel。这一种新颖的六自由度视频表示。与之前的研究相比，HyperReel最大的优势在于内存和计算效率。例如，HyperReel能够在单枚英伟达RTX 3090显卡，以每秒每秒6.5到29帧（具体取决于场景和模型大小）的速度实现百万像素分辨率的渲染。
随着时间的推移，180度或360度3D视频已经不断成熟。但对于能够自由在场景中自由移动，并任意改变头部位置的六自由度沉浸式视频，我们离成熟依然十分遥远，因为渲染过程需要在质量、渲染速度和内存效率方面进行仔细的权衡。
当然，社区已经开始尝试研发适合大众消费的沉浸式视频，比如谷歌的Lightfields技术，甚至是索尼的Joshua Bell等体三维视频实验。
最近，研究领域越来越关注“视图合成”方法。这是可以在环境中呈现新视角的人工智能方法。神经辐射场（NeRFs）就是这种技术的一个例子。它们可以从视频或众多照片中学习对象或整个场景的3D表示。
尽管在视图合成方面取得了长足的进步，但迄今都没有一种方法能够提供同时快速渲染且内存需求低的高质量表示。例如，即使是使用当前的方法，合成一张百万像素的图像都需要将近一分钟的时间，而动态场景很快就需要TB的内存。另外，捕获反射和折射是一个主要挑战。
......（全文 1136 字，剩余 527 字）
