英伟达、高校研究员等提出3D感知注视重定向方法GazeNeRF
3D感知注视重定向方法
（映维网Nweon 2023年09月08日）注视重定向是指在不改变latent参数的情况下，操纵人脸的输入图像，使得输出图像中的人脸看起来是朝着给定的目标方向。注视重定向存在一系列的应用，例如在元宇宙中增强Avatar的真实感。
现有的注视重定向方法将任务表述为二维图像处理问题，要么通过扭曲输入图像的选择像素，要么通过深度生成模型合成新图像。由于无法生成新的像素，图像扭曲方法不能模拟大的变化。另外，尽管2D生成模型可以产生高质量的图像，并允许大的祖师方向变化，但它们没有考虑到任务的3D性质，并可能导致时空或identity不一致。
在名为《GazeNeRF: 3D-Aware Gaze Redirection with Neural Radiance Fields》的论文中，由苏黎世联邦理工学院、荷兰代尔夫特理工大学、英伟达和英国伯明翰大学组成的研究人员提出将注视重定向重新定义为3D任务，并提出了一种新的3D感知注视重定向方法GazeNeRF。
团队的方法利用了基于图像的条件神经辐射场NeRF的最新进展来继承生成高质量图像的能力。人脸和眼睛不是一个整体的3D结构，而是由两个3D结构组成。所以，研究人员使用神经辐射场模型将这两个结构建模为单独的feature volume。
......（全文 1699 字，剩余 1283 字）
请微信扫码通过小程序阅读完整文章或者登入网站阅读完整文章
映维网会员可直接登入网站阅读
PICO员工可联系映维网免费获取权限
