清华大学提出3D高斯飞溅OccGaussian,可6分钟完成训练,遮挡下产生160FPS高质量人体渲染

查看引用/信息源请点击:映维网Nweon

将训练和推理速度分别提高了250倍和800倍

映维网Nweon 2024年10月24日)从单目视频中绘制动态3D人物对于虚拟现实和数字娱乐等各种应用至关重要。大多数方法假设人们处于无遮挡的场景中,而在现实场景中,各种物体可能会导致身体部位遮挡。

以前的方法利用NeRF进行表面渲染来恢复遮挡区域,但这需要一天以上的训练时间和一定的渲染时间,无法满足实时交互应用的要求。

为了解决所述问题,清华大学的一支团队提出了基于3D高斯飞溅的OccGaussian。据介绍,它可以在6分钟内完成训练,并在遮挡输入下产生高达160 FPS的高质量人体渲染。

OccGaussian在正则空间中初始化三维高斯分布,在被遮挡区域进行遮挡特征查询,提取聚合的像素对齐特征来补偿缺失的信息。然后,利用高斯特征MLP和遮挡感知损失函数对特征进行进一步处理,以更好地感知遮挡区域。

在模拟和现实世界中进行的大量实验表明,与最先进的方法相比,团队提出的方法实现了相当甚至更好的性能。将训练和推理速度分别提高了250倍和800倍。

......(全文 1426 字,剩余 1051 字)


请微信扫码通过小程序阅读完整文章
或者登入网站阅读完整文章
映维网会员可直接登入网站阅读
PICO员工可联系映维网免费获取权限

本文链接https://news.nweon.com/125350
转载须知:转载摘编需注明来源映维网并保留本文链接
素材版权:除额外说明,文章所用图片、视频均来自文章关联个人、企业实体等提供
QQ交流群苹果Vision  |  Meta Quest  |  微软HoloLens  |  AR/VR开发者  |  映维粉丝读者
资讯