高通专利提出基于NIR图像的头戴设备遮挡面部网格生成方法
基于合成近红外图像的头戴设备遮挡面部网格生成方法
（映维网Nweon 2025年12月31日）在XR系统中，用户面部常被头显遮挡，且设备内置的近红外（NIR）摄像头所获图像与传统用于训练面部网格模型的彩色（RGB）图像存在域差异，导致难以直接基于遮挡下的NIR图像实时生成精确、表情连贯的虚拟化身面部网格。
在一份专利申请中，高通就针对上述问题提出了基于合成近红外图像的头戴设备遮挡面部网格生成方法。
在一个实施例中，发明主要描述了用于训练ML模型以使用头显图像执行网格估计的系统。例如，可以捕获主体的图像并用于生成用于训练的ground truth网格。可以将头显的网格模型拟合到真实网格。可以生成带纹理的真实网格的合成头显用户图像。可以从对应于头显向内摄像头所处位置的位置拍摄合成头显用户图像。可以将合成头显用户图像转换为近红外（NIR）图像以生成合成NIR 头显用户图像。
可以使用合成NIR 头显用户图像来训练ML模型以生成预测的网格模型。可以根据预测的网格模型和真实网格来确定损失。可以应用颜色、几何和判别器空间的增强，以更好地将图像从彩色域转换到NIR域。通过允许ML模型基于头显图像预测面部的内部部分，可以进一步增强网格模型的细节。内部部分可以与静态的外部部分融合。
......（全文 4795 字，剩余 4319 字）
请微信扫码通过小程序阅读完整文章或者登入网站阅读完整文章
映维网会员可直接登入网站阅读
PICO员工可联系映维网免费获取权限
