2021年12月31日美国专利局新申请AR/VR专利摘选
文章相关引用及参考：映维网
一共更新了29篇专利。
（映维网 2021年12月31日）近期美国专利及商标局公布了一批全新的AR/VR专利，以下是映维网的整理（详情请点击专利标题），一共29篇。更多专利披露请访问映维网专利板块https://patent.nweon.com/进行检索，你同时可以加入映维网AR/VR专利交流微信群（详见文末）。
1. 《Magic Leap Patent | Depth based dynamic vision sensor（基于深度的动态视觉传感器）》
专利描述了一种适用于在增强现实系统中使用的图像传感器。所述图像传感器可以具有多个像素单元，每个像素单元包括光检测器，以基于入射到光检测器的光的强度生成电信号。像素单元可以包括多个子集的像素单元，每个像素单元子集包括至少一个到达角-强度转换器，其用于根据入射光的到达角调制到达子集中一个或多个像素单元的入射光。多个像素单元内的每个像素单元可以包括差分读出电路，差分读出电路配置为仅当来自光电检测器的当前电信号的幅度不同于来自光电检测器的先前电信号的幅度时才输出读出信号。
2. 《Magic Leap Patent | Event-based camera with high-resolution frame output（具有高分辨率帧输出的事件摄像头）》
专利描述了一种适用于增强现实系统的高分辨率图像传感器。图像传感器可以接收关于与可移动对象相关联的成像阵列的区域的信息，选择性地输出该区域的成像信息，并且同步地输出高分辨率图像帧。所述区域可以随着图像传感器和/或对象的移动而动态更新。当图像传感器和/或对象移动时，图像传感器输出高分辨率图像帧的频率可以低于正在更新的区域。这样的图像传感器提供少量数据，从中可以开发用于渲染AR场景的对象信息。
3. 《Magic Leap Patent | Patch tracking image sensor（Patch追踪图像传感器）》
专利描述了一种适用于增强现实系统的高分辨率图像传感器。图像传感器可接收关于与可移动物体相关联的成像阵列的区域的信息，并选择性地输出该区域的成像信息。所述区域可以随着图像传感器和/或对象的移动而动态更新。这样的图像传感器提供少量数据，从中可以开发用于渲染增强现实场景的对象信息。通过将图像传感器配置为输出测量的入射光强度改变的像素指示，可以进一步减少数据量。
4. 《Magic Leap Patent | Color uniformity correction of display device（显示设备的颜色均匀性校正）》
使用图像捕获设备捕获显示器的多个图像。在颜色空间中捕获多个图像，每个图像对应于多个颜色通道中的一个。对多个图像执行全局白平衡以获得多个归一化图像。对多个归一化图像执行局部白平衡以获得多个校正矩阵。执行局部白平衡包括基于优值定义一组加权因子，并基于多个归一化图像和加权因子计算多个加权图像。基于多个加权图像计算多个校正矩阵。
5. 《Magic Leap Patent | System and method for mapping（用于映射的系统和方法）》
专利描述的方法包括第一组件在第一状态下对点映射执行第一处理以生成第一改变。所述方法同时包括第二组件，第二组件在第一状态下对点映射执行第二处理以生成第二改变。第二组件将第二改变应用于处于第一状态的点映射，以生成处于第二状态的第一更新点映射。另外，所述方法包括第一组件向第二组件发送第一更改。另外，第二组件在第二状态中将第一更改应用于第一更新点映射，以在第三状态生成第二更新点映射。
专利描述的一种方法包括接收由摄像头捕获的对象的图像。使用对象识别神经网络处理对象图像，对象识别神经网络配置为生成对象识别输出。对象识别输出包括定义对象的预测二维amodal中心的数据。
7. 《Magic Leap Patent | Meta-learning for multi-task learning for neural networks（神经网络多任务学习的元学习）》
专利描述了用于元学习的方法和系统。神经网络学习任务的顺序可以影响网络的性能，元学习方法可以使用任务级训练内容进行多任务训练。可以通过在训练期间监视损失函数的轨迹来学习任务级训练内容。元学习方法可以学习在训练过程中调整任务损失平衡加权。元学习方法的实施例可以用于计算机视觉任务或自然语言处理任务，并且训练的神经网络可以用于增强现实或虚拟现实设备。
专利描述了一种使用可穿戴显示系统显示图像的方法。所述方法包括通过目镜将显示光从显示器指向用户，以在用户视场中投射图像；确定环境光源和目镜之间的相对位置；以及根据环境光源和目镜之间的相对位置，调整来自环境光源的环境光通过目镜的衰减。
专利描述了用于操作光学系统的技术。世界光可以沿第一轴线偏振。当光学系统根据第一状态操作时，世界光的偏振可旋转90度，世界光可沿垂直于第一轴的第二轴线偏振，并且可向世界光施加零净折光率。当光学系统按照第二状态操作时，虚拟图像光可以投射到光学系统的目镜，世界光和虚拟图像光可以沿第二轴线偏振，虚拟图像光的偏振可以旋转90度，并且，可以将非零净折光率应用于虚拟图像光。
10. 《Magic Leap Patent | Eyepiece for head-mounted display and method for making the same（头戴式显示器目镜及其制造方法）》
专利描述的一种方法包括提供晶片，所述晶片包括延伸至晶片表面的第一区域的第一表面光栅和延伸至晶片表面的第二区域的第二表面光栅；在所述第一表面光栅区域和所述第二表面光栅区域中的至少一个中去功能化所述表面光栅的一部分；以及从晶片分离目镜，目镜包括第一表面光栅区域的一部分和第二表面光栅区域的一部分。目镜中的第一表面光栅对应于头戴式显示器的耦入光栅，第二表面光栅对应于头戴式显示器的光瞳扩展器光栅。
11. 《Magic Leap Patent | Fiducial design（基准设计）》
专利描述了与玻璃基板或其他透明或半透明基板上基准标记的基准设计相关的方法和装置。示例基准设计可以通过增强视觉感知中的边缘检测来促进视觉识别。在示例基准设计中，玻璃基板上的光学特征可以重新引导光，从而呈现明亮的图像区域。此类光学特征可包括在玻璃基板表面上的涂层中形成的表面浮雕图案。用于制造基准标记的示例性方法可涉及基准设计在主模具、副主模具以及目标玻璃基板的转移。
12. 《Apple Patent | Stereoscopic Rendering Of Virtual 3d Objects（虚拟3D对象的立体渲染）》
在一个实现中，可通过识别具有3D位置的顶点来细分3D对象的表面。所述方法将3D位置变换为用于左眼视点的第一基于球形投影的位置，以及用于右眼视点的第二基于球形投影的位置。变换顶点的3D位置涉及根据用户方向（即camera位置）和左右眼视点差异（基于两眼视差和会聚角度）来变换顶点。
13. 《Apple Patent | Generating a semantic construction of a physical setting（生成物理环境的语义结构）》
在一个实现中，一种方法包括获取对应于物理环境的环境数据。在一个实现中，所述方法包括基于环境数据确定物理环境的bounding面。在一个实现中，所述方法包括基于环境数据检测位于物理环境内的物理元素。在一个实现中，所述方法包括基于与物理元素对应的环境数据的至少一部分来确定物理元素的语义标签。在一个实现中，所述方法包括基于环境数据生成物理环境的语义构造。在一个实现中，物理环境的语义构造包括bounding面的表示、物理元素的表示和物理元素的语义标签。
专利涉及一种呈现与真实对象相关的数字信息的方法。所述方法包括确定真实对象，提供多个呈现模式，其中多个呈现模式包括增强现实模式，以及虚拟现实模式和音频模式中的至少一个，提供与真实对象相关的数字信息的至少一种表示，在考虑由摄像头捕获的图像的情况下确定摄像头和参考坐标系之间的空间关系，根据空间关系从多个呈现模式中选择呈现模式，以及使用所选择的呈现模式呈现所述数字信息的至少一个表示。
15. 《Apple Patent | Plane Detection Using Semantic Segmentation（利用语义分割进行平面检测）》
专利描述的方法包括获取包括多个像素的场景图像。所述方法包括根据场景的图像获取点云，并根据场景图像生成对象分类集合。对象分类集合的每个元素包括分类为场景中的各个对象的多个像素。所述方法包括根据点云和对象分类集合生成平面假设。
16. 《Apple Patent | Dynamic media item delivery（动态媒体项目交付）》
专利描述了一种用于动态媒体项目交付的方法。所述方法包括：经由显示设备呈现与第一元数据相关联的第一组媒体项；获取由一个或多个输入设备收集的用户反应信息，同时呈现第一组媒体项；基于所述用户反应信息，经由定性反馈分类器获得估计的用户对所述第一组媒体项的反应状态；基于估计的用户反应状态和第一元数据获取一个或多个目标元数据特征；获取与对应于一个或多个目标元数据特征的第二元数据相关联的第二组媒体项；以及经由显示设备呈现与第二元数据相关联的第二组媒体项。
17. 《Apple Patent | Optical systems with resolution-enhancing holographic elements（具有分辨率增强全息元件的光学系统）》
专利描述的电子装置可以包括光学系统，所述光学系统沿着光路将来自显示模块的光重定向到视窗。光路可以包括全息耦合器和分辨率增强全息元件。全息元件可以包括第一组全息图，耦合器可以包括第二组全息图。第一组全息图可具有第一组选择性曲线。第二组全息图可具有第二组选择性曲线。可以配置全息元件，通过将部分光衍射出光路来缩小第二选择性曲线，从而优化提供给图像分辨率。
18. 《Apple Patent | Optical systems with lens-based static foveation（基于透镜的静态注视点系统）》
专利描述的电子装置可包括产生具有图像的光的显示模块、将光引导至波导的透镜和将光引导至视窗的波导。透镜可通过对光线中的图像应用非均匀放大来产生光线中的注视点图像。非均匀放大率可能随透镜视场内角度的变化而变化。这可允许注视点图像在中心区域内具有比在外围区域内更高的分辨率。
19. 《Apple Patent | Optical systems with low resolution peripheral displays（具有低分辨率外围显示器的光学系统）》
专利描述的电子装置可包括具有波导的光学组合器。波管可具有耦出器，耦出器将高分辨率光引导至内视窗。周边光源可以向视场外围提供低分辨率周边光。外围光源可以安装在波导的框架上、安装在框架上并与波导重叠的附加基板上、在向附加基板中的反射结构投射外围光的低分辨率投影仪中、或在产生高分辨率光的显示模块中。光学组合器可以用高分辨率光和低分辨率外围光覆盖真实世界光。
半导体光源包括平面光学元件，平面光学元件将谐振腔中发射的长波（例如红外线）光聚焦到非线性晶体中，然后非线性晶体通过倍频将长波长光转换为具有较短波长的光（例如可见光）。非线性晶体上的波长选择反射层将长波长光反射回谐振腔以形成外腔，并将具有较短波长的光发射出外腔。谐振腔包括以高效率发射长波长光的有源区。平面光学组件包括形成在半导体层中的微透镜或形成在非线性晶体中的梯度折射率透镜。
21. 《Facebook Patent | Adaptive rate control for artificial reality（人造现实的自适应速率控制）》
在一个方面，主机从头戴式设备接收指示第一完成时间的反馈信息。头戴式设备可以在第一完成时间完成第一图像帧的生成。头戴式设备可以显示第一图像帧。在一个方面，主机比较头戴式设备显示第一图像帧的显示时间和第一完成时间。在一个方面，主机根据比较调整图像处理，以调整第二完成时间，在所述时间内，主机完成生成第二图像帧。在一个方面，主机经由经调整的图像处理生成第二图像帧以提供给头戴式设备。
22. 《Facebook Patent | Augmented reality effect resource sharing（增强现实效果资源共享）》
增强现实效果系统可以通过在AR效果之间共享资源来改进AR效果的应用。AR效果系统可以使用AR效果的清单来定义呈现每个AR效果所需的资源。AR效果系统可以将选定AR效果使用的渲染操作组织到管道中，并可以使用AR效果的清单来确定何时需要每个资源。基于管道，AR效果系统可以创建一个缓存顺序，定义一个资源计划，以在释放资源时指定将资源保存到本地缓存还是卸载资源的条件。随着使用AR效果渲染视频的进行，资源计划可以控制是否应卸载或缓存当前未用于渲染AR效果的资源，以便对未来渲染操作进行快速访问。
专利描述的技术主要用于向用户显示人造现实内容，并根据用户执行的手势来操纵所显示的内容项的近眼显示器（NED）系统。用户可以执行手势模拟操作，从而在NED系统显示的人工现实环境中将对象“投射”到目标位置。手势可以包括第一部分和第二部分。在第一部分中，用户手部“抓”/“捏”与内容项相对应的虚拟对象，并相对于其身体向后移动；第二部分，用户手部相对于其身体向前移动并释放虚拟对象。可以根据与第一部分的向后运动相关联的轨迹来识别目标位置。
可以确定物理环境中的物理对象对应于增强现实体验的模拟虚拟对象。基于对应关系，系统可以修改与增强现实体验相对应的虚拟图形、声音或其他特征中的一个或多个，以使用物理对象表示虚拟对象。例如，系统可以修改用于增强现实体验的声音的声学特征，以模拟来自物理对象（或受其影响）的声音。
25. 《Facebook Patent | Integration of artificial reality interaction modes（人工现实交互模式的集成）》
交互模式可以指定交互模式系统如何确定热俺早现实环境中的方向指示和运动，以及用于做出选择或执行其他动作的交互。在一个实现中，交互模式系统可以控制至少四种交互模式。交互模式系统可以利用交互模式情景因素（例如，启用哪些组件、模式设置、照明或其他环境条件、当前身体位置等）到交互模式的映射来控制特定交互模式之间的转换。交互模式系统可以提供用于发信号通知当前交互模式和交互模式转换的启示。
所述方法包括使用布置在一个或多个可穿戴设备的多个自主传感器记录来自用户的多个自主信号，其中多个自主传感器包括配置为记录神经肌肉信号的多个神经肌肉传感器。所述方法同时包括提供多个神经肌肉信号和/或基于多个神经肌肉信号的信息作为训练统计模型的输入。所述方法同时包括基于训练的统计模型的输出，确定描述计算机化肌肉骨骼表示的多个刚体段的两个或多个连接段之间的空间关系的肌肉骨骼位置信息，以及至少部分地基于所述肌肉骨骼位置信息更新所述计算机化肌肉骨骼表示。
27. 《Facebook Patent | Suspend mode feature for artificial reality systems（人造现实系统的挂起模式功能）》
专利描述了在人造现实应用程序的执行期间生成暂停挂起模式环境，以及在暂停挂起模式环境中呈现和控制用户界面元素的系统配置和技术。暂停模式使得用户能够从用户的角度暂停数字环境。在挂起模式环境中，用户可以从数字环境中查看和选择其他用户。例如，用户可以从挂起模式环境中选择另一个用户作为朋友、消息、静音、阻止或报告所述用户。
专利描述了一种包括堆叠sram的soc集成电路组件的人造现实系统。所述集成电路组件包括垂直堆叠排列的系统芯片（SoC）管芯和单独的静态随机存取存储器（SRAM）子组件。这种堆叠的SoC/SRAM集成电路组件可以够成渲染人造现实图像的系统的一部分。
专利描述的系统包括配置成发射红外光以照亮用户眼睛的光源。所述系统包括朝向眼睛布置的光栅，并包括配置有均匀双折射小于或等于0.1的双折射材料膜。光栅配置为对从眼睛反射的红外光进行衍射，并以小于预定阈值的衍射效率从真实世界环境向眼睛发射可见光。所述系统进一步包括光学传感器，其配置为接收衍射红外光并基于衍射红外光生成眼睛图像。
