苹果AR/VR专利针对“镜子反射”提出内容替换解决方案

查看引用/信息源请点击:映维网

用增强性内容或替换性内容来增强或替换反射

映维网 2021年03月09日)对于佩戴混合现实头显或握持智能手机的MR用户,如果你正在扮演一位手拿屠龙宝刀的勇者角色,当你走到镜子前面,你看到的会是什么呢?显然,答案是极客味道十足的头显和智能手机,而这会瞬间打破你的幻想RPG沉浸感。

名为“Image-based detection of surfaces that provide specular reflections and reflection modification(提供镜面反射和反射修改的基图表面检测)”的苹果专利申请则主要针对这个问题,其描述了一种检测镜子、玻璃、液体和其他反射表面及其相关反射的方法。在一个实施例中,所述方法包括检测用户或用户设备在反射式表面中的反射,然后用增强性内容或替换性内容来增强或替换反射。

在一个实现中,可以首先通过摄像头确定环境的视图,包括镜子、反光玻璃、液体和其他提供镜面反射的表面。然后,通过语义分析来识别物理环境中的表面或材料,以及确定所述表面或材料的反射特性。

在一个实现中,可以利用计算机视觉来识别反射性表面中的设备、用户或另一对象反射。然后,通过语义分析来识别物理环境中的表面或材料,以及确定所述表面或材料的反射特性。

在一个示例中,可以捕获关于包含对象镜面反射的第一图像,以及关于用户、衣服、电子设备或任何其他对象的直视视图的第二图像。可以将第一图像中的对象镜面反射与第二图像中的直视图进行匹配,从而检测第一图像中的镜面反射。然后,匹配可涉及形状、大小、颜色、纹理或运动。

根据分析出的反射特性,系统可以替换删减显示的反射性内容。

在一个实施例中,当握持智能手机的用户面对镜子、反光玻璃、液体和其他提供镜面反射的表面时,显示屏幕可以用魔杖或光剑来替换镜面反射中的智能手机,不显示任何智能手机的痕迹。

在一个实施例中,当佩戴头显的用户面对镜子、反光玻璃、液体和其他提供镜面反射的表面时,显示屏幕可以对镜面反射中头显进行删减和覆盖修改,并最终呈现出完整的用户面容而不出现头显的痕迹,包括映射用户的眼睛,眉毛和脸颊等等。

在一个实施例中,可以修改调整原被头显/智能手机遮挡的背景内容。例如,可以使用着色技术、孔填充技术、内容幻觉技术、光线投射技术等生成符合情景的背景内容。

相关专利Apple Patent | Image-based detection of surfaces that provide specular reflections and reflection modification

名为“Image-based detection of surfaces that provide specular reflections and reflection modification”的苹果专利最初在2020年8月提交,并在日前由美国专利商标局公布。

本文链接https://news.nweon.com/83673
转载须知:转载摘编需注明来源映维网并保留本文链接
入行必读:AR/VR——计算机历史第二次大浪潮

更多阅读推荐......

资讯