苹果AR/VR专利针对“镜子反射”提出内容替换解决方案
用增强性内容或替换性内容来增强或替换反射
（映维网 2021年03月09日）对于佩戴混合现实头显或握持智能手机的MR用户，如果你正在扮演一位手拿屠龙宝刀的勇者角色，当你走到镜子前面，你看到的会是什么呢？显然，答案是极客味道十足的头显和智能手机，而这会瞬间打破你的幻想RPG沉浸感。
名为“Image-based detection of surfaces that provide specular reflections and reflection modification（提供镜面反射和反射修改的基图表面检测）”的苹果专利申请则主要针对这个问题，其描述了一种检测镜子、玻璃、液体和其他反射表面及其相关反射的方法。在一个实施例中，所述方法包括检测用户或用户设备在反射式表面中的反射，然后用增强性内容或替换性内容来增强或替换反射。
在一个实现中，可以首先通过摄像头确定环境的视图，包括镜子、反光玻璃、液体和其他提供镜面反射的表面。然后，通过语义分析来识别物理环境中的表面或材料，以及确定所述表面或材料的反射特性。
在一个实现中，可以利用计算机视觉来识别反射性表面中的设备、用户或另一对象反射。然后，通过语义分析来识别物理环境中的表面或材料，以及确定所述表面或材料的反射特性。
在一个示例中，可以捕获关于包含对象镜面反射的第一图像，以及关于用户、衣服、电子设备或任何其他对象的直视视图的第二图像。可以将第一图像中的对象镜面反射与第二图像中的直视图进行匹配，从而检测第一图像中的镜面反射。然后，匹配可涉及形状、大小、颜色、纹理或运动。
根据分析出的反射特性，系统可以替换删减显示的反射性内容。
在一个实施例中，当握持智能手机的用户面对镜子、反光玻璃、液体和其他提供镜面反射的表面时，显示屏幕可以用魔杖或光剑来替换镜面反射中的智能手机，不显示任何智能手机的痕迹。
在一个实施例中，当佩戴头显的用户面对镜子、反光玻璃、液体和其他提供镜面反射的表面时，显示屏幕可以对镜面反射中头显进行删减和覆盖修改，并最终呈现出完整的用户面容而不出现头显的痕迹，包括映射用户的眼睛，眉毛和脸颊等等。
在一个实施例中，可以修改调整原被头显/智能手机遮挡的背景内容。例如，可以使用着色技术、孔填充技术、内容幻觉技术、光线投射技术等生成符合情景的背景内容。
名为“Image-based detection of surfaces that provide specular reflections and reflection modification”的苹果专利最初在2020年8月提交，并在日前由美国专利商标局公布。
