苹果专利提出基于机器学习的实时Avatar动态光照着色技术
实时Avatar动态光照着色技术
（映维网Nweon 2026年01月28日）现有Avatar存在渲染中光照与表情表现不够自然的问题。在一份专利申请中，苹果提出了一种基于机器学习的动态着色技术。通过训练编码器与解码器网络，将用户身份纹理与实时光照、表情参数分离处理，可以实现高效且逼真的Avatar生成。这项技术将能够显著提升XR等场景中的视觉真实感，而且通过优化数据传输与渲染流程，可以为实时交互应用提供可行的解决方案，推动Avatar技术在沉浸式通信与娱乐领域的发展。
在一个实施例中，为了生成逼真的Avatar，可以基于特定用户的纹理来生成面部纹理。在一个实施例中，可以在本地设备和远程设备之间发起基于图像的通信会话，其中远程设备与用户相关联。获取用户的一个或多个身份纹理，并且对于通信会话中的一系列帧中的每一帧，获取一组表示图像光照的着色隐变量。
对于系列帧中的每一帧，可以将该组着色隐变量应用于着色解码器，该着色解码器被配置为生成一组神经图谱，并且神经图谱与身份图谱一起用于为每帧生成纹理。然后，生成的纹理用作渲染技术的一部分，以在远程设备处生成远程用户的Avatar表示。
第一阶段涉及基于已知光照下拍摄的人脸图像数据来训练着色编码器和着色解码器。在一个实施例中，可以考虑环境图像数据、表情数据以及头部姿态和摄像头角度。在一个实施例中，可以使用在各种条件下拍摄的人或物体的合成图像，或可以使用在已知或预定光照下拍摄主体的真实图像。另外，着色编码器和/或着色解码器可以利用表情参数，例如，来自训练好的表情自编码器，自编码器配置为将特定表情简化为一组表情隐变量，变量表示表情脸与中性脸不同的几何形状。进一步地，在一个实施例中，着色编码器和/或着色解码器可以考虑可以指示个体独特性的身份值，例如特定表情如何独特地影响面部的纹理或其他特征。
......（全文 5371 字，剩余 4681 字）
请微信扫码通过小程序阅读完整文章或者登入网站阅读完整文章
映维网会员可直接登入网站阅读
PICO员工可联系映维网免费获取权限
