斯坦福大学和Meta提出在倾斜视角单色图像上配准逼真3D Avatar
用于图像真实感Avatar的面部动画快速配准
（映维网Nweon 2024年09月02日）虚拟现实有望实现比其他媒介更具有沉浸感的社交，而其中的关键是能够在穿戴VR头显的同时精确地制作出一个逼真的Avatar。尽管在离线设置中可以实现对头戴式摄像头图像进行高质量的个人特定头像配准，但通用实时模型的性能会显著降低。
在一项研究中，斯坦福大学和Meta团队首先证明了Avatar和头戴式摄像头图像之间的域差是相关困难的主要来源之一。基于transformer的架构在域一致数据方面实现了高精度，但当重新引入域差时，它会降低精度。
基于这一发现，团队开发了一种系统设计，将问题解耦为两个部分：接受域内输入的迭代细化模块，以及基于当前表情和头部姿势估计的通用Avatar引导的图像到图像样式传递模块。
这两个模块相互加强，因为当显示接近ground truth的示例时，图像样式传递变得更容易，并且更好的域间隙去除有助于配准。系统能够有效地产生高质量的结果，并且避免了昂贵的离线配准来生成个性化标签的需要。在商用头显进行的大量实验验证了方法的准确性和效率，证明了直接回归方法和离线配准的显着改进。
......（全文 1524 字，剩余 1100 字）
请微信扫码通过小程序阅读完整文章或者登入网站阅读完整文章
映维网会员可直接登入网站阅读
PICO员工可联系映维网免费获取权限
