沉浸在VR中不闻窗外事?苹果专利为其VR头显构思了特殊提醒系统

查看引用/信息源请点击:映维网

用于提醒用户的方法

映维网 2021年08月23日)头显会用数字内容和空间音频取代用户周遭的现实世界,并允许你沉浸在梦幻的场景之中。但如果你周围的家人或朋友希望与你对话,这时应该如何是好呢。

日前,美国专利商标局公布了苹果在探索所述问题时所构思的一种解决方案。在名为“System and method for user alerts during an immersive computer-generated reality experience”的发明中,这家公司主要介绍了一种在沉浸式计算机生成体验期间提醒用户的系统和方法。

苹果指出,可以通过四种方式来识别周围家人或朋友对头显用户的呼唤,在确认家人或朋友有意识且明确地向头显用户发出呼唤并要求其予以应答反应后,头显可以向用户发出特定的提醒。

专利描述的系统包括头显、配置为捕获头显周遭图像的图像传感器、以及配置为捕获头显周遭声音的麦克风。所述系统同时包括处理组件。

在一个实施例中,处理组件配置为访问使用图像传感器捕获的图像,并至少部分地基于所述图像检测距离头显一定距离内的人;确定该人的视角。处理组件同时配置为访问使用麦克风捕获的音频信号;至少部分地基于音频信号检测语音信号;确定语音信号的到达方向;比较到达方向和视角;根据到达方向和视角的比较来检测和确定呼唤事件;响应呼唤事件,使用头显向用户发出提醒。

在另一个实施例中,处理组件配置为访问使用图像传感器捕获的图像;至少部分地基于所述图像检测距离所述头显一定距离内的人;进一步至少部分地基于图像识别人脸;然后基于人脸识别检测呼唤事件;响应呼唤事件,使用头显向用户发出提醒。

在另一个实施例中,处理组件配置为访问使用麦克风捕获的音频信号;至少部分地基于音频信号检测语音信号;识别语音信号中的音频触发;基于音频触发的识别检测和确认呼唤事件;并响应呼唤事件,使用头显向用户发出提醒。

在另一个实施例中,处理设备可以配置为访问图像传感器捕获的图像;至少部分地基于所述图像检测距离头显一定距离内的人;确定该人的视角;访问使用麦克风捕获的音频信号;至少部分地基于音频信号检测语音信号;确定语音信号的到达方向;检测是否满足呼唤标准,其中呼唤标准包括基于比较到达方向和视角来确定该人正在讲话;以及响应于满足呼唤标准的确定,使用头显向用户提出提醒。处理组件可以进一步配置为确定图像中的人脸,并且呼唤标准可以包括确定图像中的人脸是否与用户指定的已知人员列表相匹配。例如,可以使用机器学习模块(例如,卷积神经网络)来估计匹配概率,其中机器学习模块经过训练以识别一个或多个已知用户的一个或多个面部。

通过以上描述的方法,苹果的头显可以确定周围人员对头显用户的呼唤并要求其予以应答反应,然后系统可以以图示说明或音频通知的方式来提醒用户,甚至提供包含现实世界视图的混合现实视图。例如,在一个实施例中,VR头显可以叠加摄像头视图,这样用户就能看到并正对家人或朋友,然后与其互动。

相关专利Apple Patent | System and method for user alerts during an immersive computer-generated reality experience

名为“System and method for user alerts during an immersive computer-generated reality experience”的专利申请最初在2021年5月提交,并在日前由美国专利商标局公布。

本文链接https://news.nweon.com/88705
转载须知:转载摘编需注明来源映维网并保留本文链接
入行必读:AR/VR——计算机历史第二次大浪潮

更多阅读推荐......

资讯