2021年05月14日美国专利局新申请AR/VR专利摘选
文章相关引用及参考：映维网
一共更新了29篇专利。
（映维网 2021年05月14日）近期美国专利及商标局公布了一批全新的AR/VR专利，以下是映维网的整理（详情请点击专利标题），一共29篇。更多专利披露请访问映维网专利板块https://patent.nweon.com/进行检索，你同时可以加入映维网AR/VR专利交流微信群（详见文末）。
专利描述了一种增强现实/混合现实系统。一些实施例涉及一种在包括物理对象的场景中渲染虚拟对象的方法。所述方法包括用户佩戴的传感器捕获深度信息，所述深度信息说明用户与物理对象之间的距离；根据深度信息生成表面信息，其包括随着场景和视场的变化实时更新表面信息；根据表面信息和虚拟对象的位置信息计算要渲染的虚拟对象的部分。
跨现实系统可以包括基于云的服务。结合定位信息，服务可以提供关于设备位置的信息。基于从服务接收到的信息，设备可以基于用户的位置和虚拟内容的指定位置向多个用户中的每一个渲染或停止渲染虚拟内容。
专利描述了用于增强现实设备的重投影引擎方法和系统。增强现实设备在真实环境中投射虚拟内容。增强现实设备追踪六自由度头部姿势、虚拟内容的深度信息、与虚拟内容移动相对应的运动矢量、以及用于重投影引擎的颜色缓冲区。重投影引擎使用头部姿势、深度信息、运动矢量和颜色表面数据结构生成由第一帧外推定义的虚拟内容的重投影。
多个摄像头耦合至摄像头装置。多个衍射光学元件（DOE）耦合至DOE支撑物。每个摄像头位于DOE的视窗中，并且当摄像头位于相对于DOE的第一位置，第二位置和第三位置时拍摄图像。图像传输到耦合至摄像头装置的处理器。对于每个图像，处理器识别数据对，每个数据对包括强度峰值的像素坐标，以及由衍射光学元件产生的对应于的强度峰值的虚拟光源。利用确定的数据对确定摄像头的外部参数。
5. 《Magic Leap Patent | Pose estimation using electromagnetic tracking（基于电磁追踪的姿态估计）》
头戴式增强现实设备可以追踪佩戴者头部的姿态，以提供物理环境中的对象的三维虚拟表示。电磁（EM）追踪系统可以追踪头部或身体姿势。手持用户输入设备可以包括产生电磁场的EM发射器，并且头戴式AR设备可以包括感测电磁场的EM传感器。可以分析来自传感器的EM信息来确定传感器的位置和/或方向，从而确定佩戴者的姿态。
6. 《Magic Leap Patent | Modes of user interaction（用户交互模式）》
混合现实设备可以允许用户在输入模式之间切换，以允许通过诸如六自由度手持控制器和触控板之类的设备与虚拟环境进行交互。与虚拟内容交互的默认输入模式可能依赖于用户的头部姿态，这可能难以选择很远的虚拟对象。所以，系统可以配置成允许用户使用六自由度光标和从手持控制器延伸到光标的可视光线，以实现精确的目标定位。
7. 《Magic Leap Patent | Virtual and augmented reality systems and methods（虚拟现实系统和方法）》
专利描述了一种用于向用户显示虚拟内容的方法，所述方法包括确定用户眼睛的眼睛调节。所述方法还包括，通过一组波导中的第一波导传送具有至少部分基于所确定眼睛调节的第一波前曲率的光线，其中所述第一波前曲率对应于所确定的眼睛调节的焦距。所述方法同时包括，通过所述波导堆叠的第二波导传送具有第二波前曲率的光线，所述第二波前曲率与所确定的眼睛调节的焦距的预定焦距裕度相关联。
专利描述了用于操作光学系统的技术。在一个实施例中，光学系统接收与世界对象相关联的光。将虚像光投射到光学系统的目镜。基于光学系统检测到的信息，确定光学系统的系统视场中至少部分变暗的部分。可以基于检测到的信息来确定用于系统视场部分的多个空间分辨的调光值。检测到的信息可以包括光信息、注视信息和/或图像信息。可以调整光学系统的调光器，以根据多个调光值降低与系统视场部分中的世界对象相关联光的强度。
显示设备包括具有超表面的波导，如耦入和/或耦出光学元件。超表面可以形成在波导的表面上，并且可以包括多个或亚波长尺度（如纳米尺度）突起的阵列。单个突出物可包括不同材料的水平和/或垂直层，其可具有不同的折射率，从而允许增强对超表面的光重定向特性操纵。
10. 《Magic Leap Patent | Radar head pose localization（雷达头部姿态定位）》
增强现实设备包含一个雷达系统，其可以生成真实世界对象位置的雷达地图。惯性测量单元检测加速度、重力和倾角范围等测量值。测量单位的值随时间漂移。对雷达映射进行处理以确定fingerprint，并将fingerprint与来自测量单元的值相结合以存储姿态估计。比较不同时刻的姿态估计，确定测量单元的漂移。调整测量单位滤波器以校正漂移。
11. 《Apple Patent | Foveated display（注视点显示器）》
诸如头戴式装置的电子装置可以具有显示器。显示器可以具有较低分辨率和较高分辨率的区域，以减少显示器的数据带宽和功耗，同时保持令人满意的图像质量。数据线可以由显示器的较低分辨率和较高分辨率部分共享，或者具有不同分辨率的不同部分可以提供不同数量的数据线。可以在显示器的较低分辨率部分和较高分辨率部分之间的过渡区域中改变数据线长度，以减少较低分辨率部分和较高分辨率部分之间的可见不连续性。显示器的较低分辨率和较高分辨率部分可以使用动态可调栅极驱动器电路和动态可调数据线驱动器电路来进行动态调整。
12. 《Apple Patent | Dynamic foveated pipeline（动态注视点管道）》
在一个实现中，一种方法包括接收表示模拟现实（SR）内容的扭曲图像，所述扭曲图像在扭曲空间中的网格图案中的各个均匀间隔位置处具有多个像素。其中，所述多个像素分别与在SR内容的多个相应位置指示多个相应分辨率的多个相应像素值和多个相应缩放因子相关联。所述方法包括基于多个相应的缩放因子在扭曲空间中处理扭曲图像，从而生成处理后的扭曲图像。然后，发送处理后的扭曲图像。
13. 《Apple Patent | Visual artifact mitigation of dynamic foveated displays（动态注视点显示器的视觉伪影缓解）》
专利描述的实施例涉及包括显示动态注视点内容的显示器的电子设备。例如，内容部分可以基于用户的注视点以不同分辨率显示在显示器的不同区域，所述注视点数据可以利用眼动追踪器进行检测。基于由眼动追踪器收集的眼动追踪数据，电子设备的处理器可以停止或减慢与内容一个或多个帧相关联的像素数据的传输。另外，处理器可以生成像素数据，使得显示器可以从动态注视点方法逐渐过渡到静态注视点方法。
在一个方面，系统包括共享物理存储器和能够访问共享物理存储器的第一处理器。在一个方面，第一处理器在第一时间段期间执行第一渲染处理，以生成人造现实的第一视图的第一图像帧。在一个方面，第一处理器在第二时间段期间执行第二渲染处理，以生成人造现实的第二视图的第二图像帧。在一个方面，系统包括第二处理器，第二处理器包括神经网络并具有对共享物理存储器的访问。在一个方面，第二处理器在与第二时间段的一部分重叠的第三时间段期间对第一图像帧执行图像增强处理。
15. 《Facebook Patent | Sparse image sensing and processing（稀疏图像传感与处理）》
在一个示例中，专利描述的设备包括：包括多个像素单元的图像传感器；帧缓冲器；以及传感器计算电路。传感器计算电路配置为：从帧缓冲器接收包括第一活动像素和第一非活动像素的第一图像帧，第一活动像素由基于第一编程数据选择的像素单元的第一子集生成；对第一图像帧的第一像素子集执行图像处理操作，由此从图像处理操作中排除第一图像帧的第二像素子集，以生成处理输出；基于处理输出，生成第二编程数据；以及将所述第二编程数据发送到图像传感器，以选择所述像素单元的第二子集来生成用于第二图像帧的第二活动像素。
16. 《Facebook Patent | High-index waveguide for conveying images（用于传输图像的高折射率波导）》
专利描述的一种波导显示器包括，用于发射多色图像光的图像光源，以及用于将多色图像光发射到视窗的高折射率材料波导。波导具有输入光栅和偏置输出光栅。所述输出光栅配置成使得由所述输出光栅衍射的环境光引导离开所述视窗，或离开视场的至少一个中心部分，以减少视觉伪影的出现。
17. 《Google Patent | 6-dof tracking using visual cues（使用视觉线索进行六自由度追踪）》
专利描述的方法用于从第一追踪系统获得电子设备相对于由摄像头捕获的图像特征的初始三维位置，以及从第二追踪系统获得与电子设备相关联的方向。响应于检测到电子设备的移动，从第二追踪系统获得与电子设备的移动相关联的更新方向，生成查询并向第一追踪系统提供查询。所述查询对应于图像特征的至少一部分，并且包括更新的方向。针对所接收的位置变化的采样数目，生成所述电子设备的更新3D位置，并且使用所述更新3D位置和所述电子设备的更新方向生成六自由度姿态。
18. 《Google Patent | System And Method Of Identifying Visual Objects（用于识别视觉对象的系统和方法）》
专利描述了一种识别对象的系统和方法。所述系统包括具有显示屏，摄像头和处理器的手持式设备。当摄像头捕获图像并将其显示在显示屏时，处理器比较一个图像检索的信息与后续图像检索的信息。处理器利用这种比较结果来确定用户最感兴趣的对象。显示屏同时显示图像，对象在图像中的位置，以及为对象检索的信息。
19. 《Google Patent | Head mounted display with lightguide and holographic element（带有光波导和全息元件的头戴式显示器）》
头戴式显示器系统在光路中使用全息元件将光引导到用户的眼睛。所述头戴式显示器包括微型显示器、光波导和耦合到光波导的全息元件。全息元件耦合到偏振膜，两者一起以指定的图案反射和透射不同极性的光，以帮助光波导将光引导到用户的眼睛。例如，全息图和偏振膜可以配置成通过R偏振光并反射L偏振光，从而沿着指定路径引导来自波导的光。
智能设备通过允许听者基于特定的声条设置从本地或云下载的一组通用RRTF。一个测试信号从声音条的一个特定的驱动器播放，并且听者识别一个其想要感知的声音所产生的位置。如果驱动位置信号和所需位置不相同，应用程序将调整参数并重放测试信号，直到驱动信号和所需位置相同。
21. 《Sony Patent | Signal processing device and method, and program（信号处理设备和方法，以及程序）》
专利描述的一种信号处理装置包括：旋转操作单元，其通过基于与听者头部旋转相对应的旋转矩阵操作来旋转球谐域中的头部相关传递函数，其中旋转矩阵的顺序受到限制；以及合成单元，其合成通过获得的旋转后头相关传递函数和球谐域的声音信号，以生成耳机驱动信号。
专利描述的音频再现设备包括配置为再现第一音频信号的扬声器。所述音频再现设备接收多个第二音频信号，所述多个第二音频信号指示基于第一音频信号捕获的频率响应，所述多个第二音频信号由位于封闭物理空间内的头部可穿戴设备的多个音频捕获设备捕获。音频再现设备基于捕获的频率响应来确定与扬声器相关联的一个或多个RC滤波器的RC预设。音频再现设备同时基于捕获的频率响应和用户特定信息来确定与用户相关联的HRTF。音频再现设备同时基于所确定的RC预设和所确定的HRTF来控制扬声器的音频再现。
23. 《Sony Patent | Image processing apparatus and image processing method（图像处理设备和图像处理方法）》
图像处理设备获取要显示的图像数据并生成初始图像，以将图像输出到头戴式显示器。另外，设备生成参考图像，参考图像包括用于左眼的图像和用于右眼的图像，并且表示从水平间隔的两个视点观看的对象的图像。在用户头部倾斜角不是0度的情况下，设备使用在屏幕定义的一个点作为公共轴，以与头部倾斜角相反的方向旋转用于左眼的图像和用于右眼的图像。设备将图像数据输出到头戴式显示器，不管是否存在旋转。设备重复上述过程直到显示结束。
24. 《Sony Patent | Terminal device, server device, and information processing system（终端设备、服务器设备和信息处理系统）》
专利描述了一种以可通信方式连接到服务器设备的终端设备。终端设备包括位置识别部分，其识别实际空间中的位置；设置部分，其设置与实际空间中的预定内容相关联的内容相关信息的虚拟空间，设置部分设置占用空间中的虚拟空间，同时将实际空间中的预定范围定义为占用空间；以及性能部分，其从服务器设备接收虚拟空间中的内容相关信息并执行预定信息处理的性能部分。
专利描述了一种信息处理装置，其包括控制单元，所述控制单元配置成感测导致呈现给用户的虚拟对象的显示帧速率降低的状态，并根据感测的结果动态地改变虚拟对象的显示细节级别。
专利描述的信息处理装置包括：通过合成第一对象模型和第二对象模型来生成合成对象模型的控制单元，并且使得生成的合成对象模型与对应于第一对象模型或第二对象模型的图像相关联地显示。控制单元根据输入信息控制合成模式。
专利描述的自位置估计装置包括：位置估计单元。位置估计单元配置成基于由成像单元在恒定周期内捕获的图像帧来估计自身位置，并且基于由至少一个成像单元在恒定周期内不同时间捕获的图像帧来估计自身位置。
28. 《Sony Patent | Program, information processor, and information processing method（程序、信息处理器和信息处理方法）》
专利描述的程序使计算机实现校正功能，所述校正功能参考通过对附接到身体的两个或多个部位的两个或多个运动传感器获取的传感器数据来执行第一处理以获得第一输出，和通过对所述传感器数据执行第二处理以获得第二输出。
29. 《Sony Patent | Image processing apparatus, image processing method, and program（图像处理设备，图像处理方法和程序）》
用户可以直观地操纵虚拟现实空间中的对象，同时抑制实现操纵所需的计算量。图像处理设备获取指示手指弯曲的操纵，检测手指与虚拟空间中的对象之间的接触，在检测到对象与手指之间的接触之后，基于指示手指弯曲的操纵量来选择：是设置约束条件来确定对象与手指所属的手之间的相对位置，还是在对象与手指之间施加摩擦力。根据所述选择计算对象的运动，并绘制计算其运动的对象。
