利用NeRF,谷歌研究通过简单文本生成3D图像

查看引用/信息源请点击:映维网Nweon

只需输入简单的文本提示

映维网Nweon 2022年10月09日)对于谷歌日前介绍的Dreamfusion,只需输入简单的文本提示,这个利用2D数据训练出来的模型可以为你生成相应的3D图像。

Dreamfusion是生成性3D人工智能系统Dream Fields的进化。对于Dream Fields,它利用了NeRF生成3D视图的能力,并将其与CLIP评估图像内容的能力相结合。文本输入后,未经训练的NeRF模型从单个视点生成随机视图,并通过CLIP进行评估。反馈用作NeRF模型的校正信号。这个过程从不同的视角重复多达20000次,直到生成与文本描述匹配的三维模型。

DreamFusion与DreamFields之间最大的不同是计算损失的方法。最新的DreamFusion采用了谷歌预训练的2D文本图像扩散模型Imagen来计算损失。

研究人员引入一个新的图像采样方法SDS,它是在参数空间而不是像素空间中进行采样。在生成图像的过程中,里面的参数会经过优化,成为扩散模型的一个训练样本,而经过扩散模型训练之后的参数具备多尺度特性,更利于后续的图像生成。

另外,扩散模型不需要反向传播,这是因为扩散模型能够直接预测更新的方向。所以,三维生成不需要三维数据进行培训。相反,Dreamfusion使用Imagen从不同角度生成的对象的2D图像学习3D表示。

与DreamFields相比,Dreamfusion可以基于文本输入创建更高质量、深度和法线的可重照明3D对象。同时,使用Dreamfusion创建的多个3D模型可以合并到一个场景中。

谷歌研究团队写道:“我们的方法不需要3D训练数据,同时不需要对图像扩散模型进行修改,这证明了预处理图像扩散模型的有效性。”

相关论文DREAMFUSION: TEXT-TO-3D USING 2D DIFFUSION

本文链接https://news.nweon.com/101340
转载须知:转载摘编需注明来源映维网并保留本文链接
入行必读AR/VR——计算机历史第二次大浪潮
素材版权:除额外说明,文章所用图片、视频均来自文章关联个人、企业实体等提供

更多阅读推荐......

资讯