苹果XR专利提出个性化虚拟化身的快速建模与实时动画方法

编辑：广东客 | 分类：专利 / 苹果 | 2025年12月9日

加入映维网会员

基于大规模人群数据预训练的通用模型

Vision Pro QQ群交流：653565822

（映维网Nweon 2025年12月09日）传统的3D虚拟化身生成技术高度依赖对特定个人进行大量数据采集与手动建模，过程繁琐且难以实时驱动。在一份专利申请中，苹果提出了一种高效的个性化虚拟化身生成方法，通过基于大规模人群数据预训练的通用模型，结合自编码器分离“身份”与“表情”，并利用少量个人数据（如短视频）进行快速适配，从而能以低成本、低数据需求生成高保真、可实时响应音频/视频驱动的虚拟化身。

在一个实施例中，采用自编码器神经网络来捕获“中性”和“表情”面部模型的潜变量表示。这类模型可以离线开发并存储在单个设备，以供运行时或实时使用。基于特定个人的非常有限的数据样本，可以使用额外的神经网络或统计滤波器来选择性加权第一神经网络模型的潜变量，以提供逼真的中性虚拟化身。反过来，虚拟化身可以与表情神经网络结合使用，并在实时操作期间由音频和/或视觉输入驱动，以生成特定个体的逼真虚拟化身，而化身甚至能够精确捕获细微的面部动作。

在一个实施例中，可以基于训练表情自编码器所产生的数据来估计二维图像中描绘的情绪。具体来说，在训练自编码器时，会获得一组带有潜向量的图像对。潜向量可以表示对应于表情的三维特征。在一个实施例中，可以训练一个神经网络，以便从潜向量中估计情绪。所以，可以将图像输入表情CNN以估计潜向量，并基于潜向量的比较从图像中估计一种或多种情绪。在一个实施例中，估计出的表情可以决定如何修改系统的功能。例如，估计出的表情可以用作系统应用的输入，或者可以通过音频或系统显示呈现给用户。

苹果XR专利提出个性化虚拟化身的快速建模与实时动画方法