PICO等中美团队提出4K4DGen框架，用文本提示创建高质量4K全景4D内容
以4K （4096 × 2048）分辨率生成360度全景动态场景
（映维网Nweon 2024年12月24日）虚拟现实和增强现实技术的蓬勃发展推动了对创造高质量、沉浸式和动态环境的不断增长的需求。然而，现有的生成技术要么只关注动态对象，要么只从单一视角绘制图像，无法满足VR/AR应用对自由视点、360度虚拟视角的要求。
在一项研究中，PICO、得克萨斯大学奥斯汀分校、加利福尼亚大学洛杉矶分校和得克萨斯农工大学的研究人员解决了将单个全景提升到身临其境4D体验的挑战性任务，并展示了以4K （4096 × 2048）分辨率生成360度全景动态场景的能力。
团队提出的管道促进了自然场景动画化，并使用高效的飞溅技术优化了一组动态高斯函数以用于实时探索。为了克服缺乏场景尺度的带注释的4D数据和模型，尤其是全景格式，他们提出了一种全新的Panoramic Denoiser，它能适应一般的2D扩散先验，在360度的图像中保持动画化，将它们转换成在目标区域有动态场景的全景视频。
随后，Dynamic Panoramic Lifting将全景视频提升为4D沉浸式环境，同时保持空间和时间的一致性。通过将二维模型的先验从透视域转移到全景域，并进行具有空间外观和几何正则化的四维提升，团队实现了4K分辨率的高质量全景到四维生成。
......（全文 1700 字，剩余 1270 字）
请微信扫码通过小程序阅读完整文章或者登入网站阅读完整文章
映维网会员可直接登入网站阅读
PICO员工可联系映维网免费获取权限
