清华等团队推出Video4DGen框架实现动态4D时序三维内容生成
凭借其在4D与视频生成方面的能力，Video4DGen为虚拟现实等领域提供了一个功能强大的创作工具
（映维网Nweon 2025年07月17日）随着4D（即时序三维）生成技术的发展，人们在各类应用中得以实现更加真实的沉浸式体验，用户可以从任意视角探索动态对象或角色。同时，视频生成模型因其生成真实且富有想象力的画面能力而受到高度关注，这类模型同时展现出良好的三维一致性，具备充当“世界模拟器”的潜力。
在一项研究中，清华大学，生数科技，同济大学和香港科技大学团队提出了Video4DGen，这个全新框架能够从单个或多个生成视频中构建4D表示，同时可以用于生成受4D内容引导的视频。所述框架对于创建在时空维度均保持高度一致性的高保真虚拟内容具有关键意义。
Video4DGen生成的4D输出采用研究人员提出的动态高斯面元（Dynamic Gaussian Surfels, DGS） 表示形式。通过优化时变形变函数，DGS将静态状态下的高斯面元转换为动态变形状态。团队设计了针对变形状态的几何正则化与外观细节优化机制，以保持结构完整性和高质量纹理表现。
为实现多视频驱动的4D生成，并捕获跨空间、时间与姿态维度的一致表示，他们进一步提出了多视频对齐机制、根姿态优化策略以及基于姿态的帧采样方法。通过连续形变场的引入，系统可对每个视频中的姿态、运动与形变实现精细表达。 同时，为了提升从各视角观察下的整体真实感，Video4DGen支持基于4D内容的新视角视频生成，并引入 置信度过滤的DGS（confidence-filtered DGS） 机制来提升合成序列的质量。
......（全文 2302 字，剩余 1771 字）
请微信扫码通过小程序阅读完整文章或者登入网站阅读完整文章
映维网会员可直接登入网站阅读
PICO员工可联系映维网免费获取权限
