苹果XR专利分享在低光环境通过Hand Matting追踪识别手部
根据亮度情况禁用或启用Hand Matting,并执行相应的操作。
(映维网Nweon 2024年12月12日)对于XR而言,低光环境是一个挑战性场景,导致难以从图像中提取手部。针对这个问题,苹果提出可以根据亮度情况禁用或启用Hand Matting,亦即从复杂背景中精确分离前景对象,有点类似于抠图。
在一个实施例中,亮度可以通过多种方式确定。例如,可以从物理环境的图像数据确定一个或多个流明值。然后,Hand Matting技术的操作可以根据场景的特征动态改变。例如,如果帧的整体亮度低于临界阈值,则可以禁用Hand Matting。
或者,可以使用用于弱光条件的备选Hand Matting模型,以在低光下执行Hand Matting。
一旦Hand Matting禁用,它可以根据一个或多个亮度指标重新启用。例如,如果确定帧的亮度满足阈值,则可以重新打开Hand Matting。
当禁用Hand Matting时,可以执行替代技术。例如,手部追踪数据可以使用不同的技术来为图像中的手部提供位置数据。例如,手部追踪技术可以为手部的一个或多个点提供三维位置信息,例如关节位置,而所述位置信息可用于在低光下绘制手部周围的几何形状,可以对其施加低alpha值,使得包括手在内的图像数据部分在所得到的合成图像中发光。
另一替代实施例可包括在弱光条件下绘制手的几何形状。手部追踪管道可产生手部网格。网格可以是基于关节位置的手三维几何表示。网格可以基于一般的手部形状,或可以基于用户特定的手部形状。
......(全文 3586 字,剩余 3082 字)