2021年06月18日美国专利局新申请AR/VR专利摘选
文章相关引用及参考：映维网
一共更新了50篇专利。
（映维网 2021年06月18日）近期美国专利及商标局公布了一批全新的AR/VR专利，以下是映维网的整理（详情请点击专利标题），一共50篇。更多专利披露请访问映维网专利板块https://patent.nweon.com/进行检索，你同时可以加入映维网AR/VR专利交流微信群（详见文末）。
1. 《Magic Leap Patent | Immersive audio platform（沉浸式音频平台）》
专利描述了用于在混合现实环境中呈现音频内容的系统和方法。一种方法可以包括从应用程序接收第一输入；响应于接收第一输入，经由第一服务接收编码音频流；基于所述编码音频流，经由所述第一服务生成解码音频流；经由第二服务接收经解码的音频流；从头显的一个或多个传感器接收第二输入；经由第二服务接收来自应用程序的第三输入，其中第三输入对应于一个或多个虚拟扬声器的位置；基于所述解码音频流、所述第二输入和所述第三输入，经由第二服务生成空间化音频流；经由头显的一个或多个扬声器呈现空间化音频流。
专利描述的图像传感器装置包括排列在像素阵列中的多个像素单元、用于控制图像传感器装置的曝光相位和采样相位的控制电路。多个像素单元中的每一个包括光电二极管、存储二极管和浮动扩散区。控制电路配置成在多个时间窗口中激活光电二极管，以感测作为相应多个发射光脉冲的结果而从目标反射的光。在每个时间窗口和相应的发射光脉冲之间具有预定的延迟时间。可使用多个偏置电压脉冲或多个全局快门信号脉冲来激活光电二极管。
一种示例方法包括获得校准对象的多个图像，所述校准对象具有与校准对象所在的体三维捕获表面相关联的位置信息；基于所述图像生成与校准对象相关联的重构对象，所述重构对象表示所述校准对象的三维表示；确定与重建对象相关联的重建质量信息；输出重建质量信息。
4. 《Magic Leap Patent | Depth sensing systems and methods（深度感知系统和方法）》
深度传感系统包括具有从表面接收光的第一传感器像素和第二传感器像素的传感器。所述系统同时包括滤波器，以允许全光谱光传输到第一传感器像素和可见光传输到第二传感器像素，同时防止红外光传输到第二传感器像素。所述系统同时包括处理器，其用于分析全光谱光和可见光，从而确定表面的深度。滤波器设置在传感器和表面之间。
5. 《Magic Leap Patent | Structure Learning In Convolutional Neural Networks（卷积神经网络中的结构学习）》》
专利描述了一种利用数据/问题中的相关性来实现神经网络的结构学习的改进方法。专利发明涉及计算网络，更具体地讲，专利发明涉及配置为根据数据学习分层表示的神经网络。
专利描述了用神经网络估计眼睛注视向量的系统和方法。眼睛的输入图像可以从摄像头接收。输入图像可提供给神经网络。网络输出数据可以使用神经网络生成。网络输出数据可以包括二维（2D）瞳孔数据、眼分割数据和/或角膜中心数据。可以基于网络输出数据计算注视向量。神经网络的训练可以包括，向神经网络提供训练输入图像、生成训练网络输出数据、接收ground truth（GT）数据、基于训练网络输出数据与GT数据的差异计算误差数据、基于误差数据修改神经网络。
可穿戴设备可包括头戴式显示器，其用于呈现看似位于用户周围环境中的三维虚拟对象。头戴式显示器和用户一个或多个眼睛的相对位置可能不在期望位置。例如，头戴式显示器到眼睛的垂直对齐在左眼和右眼之间可能不同。可穿戴设备可确定头戴式显示器在用户头部是否水平，然后可向用户提供左眼对齐标记和右眼对齐标记。基于用户反馈，可穿戴设备可确定是否存在任何左右垂直失准，并可采取措施来减少或最小化任何失准的影响。
8. 《Magic Leap Patent | Method and system for rgb illuminator（RGB照明器的方法和系统）》
专利描述的光合路器包括旋转镜，所述旋转镜配置成在一定角度位移范围内旋转。在第一时间段期间，旋转镜以第一角位移布置，同时且配置成接收第一入射光束并沿输出光轴提供第一输出光束。在第二时间段期间，旋转镜以第二角位移布置，同时配置成接收第二入射光束并沿输出光轴提供第二输出光束。光合路器配置成沿输出光轴提供时序准直的组合输出光束。在光合路器中，旋转镜可以配置成致使组合输出光束抖动。
专利描述了用于诸如空间计算头显等可穿戴设备的可扩展头带系统，所述可扩展头带系统具有允许用户能够可靠地将所述可穿戴设备固定在适当位置的灵活且一致的形状参数。
10. 《Magic Leap Patent | Content interaction driven by eye metrics（由眼睛指标驱动的内容交互）》
一种用于向用户显示图像内容的头戴式显示系统包括：至少一个配置成由用户佩戴以向用户第一眼和第二眼呈现虚拟内容的显示器、一个或多个内朝向的传感器或摄像头、以及处理电子组件。头戴式显示系统配置成允许虚拟内容活动由眼睛输入发起和/或驱动，例如注视方向、眼睑运动（例如眨眼）和/或其他眼睛姿态。
11. 《Magic Leap Patent | Pixel intensity modulation using modifying gain values（使用修改增益值的像素强度调制）》
视觉感知装置具有存储在激光驱动芯片中的look-up table。look-up table包括相关增益数据，用于补偿激光图案的较亮区域，其中像素的位置比像素相距较远的区域更近，并且在像素的强度由于目镜的设计特性而改变时补偿单个像素的强度差异。
12. 《Magic Leap Patent | Patient viewing system（患者观察系统）》
专利描述了一种用于观察患者的方法。对病人的身体部位进行CT扫描。处理来自CT扫描的原始数据以创建三维图像数据，将图像数据存储在数据存储器中。投影仪以代表图像数据的图案接收产生的光，并且波导将光引导到用户眼睛的视网膜，同时将来自身体外表面的光传输到眼睛的视网膜，从而使得用户看到身体部分的处理数据叠加在身体外表面。
13. 《Apple Patent | Air deflector for cooling system in a head-mounted device（用于头戴式设备散热系统的空气导流板）》
专利描述的头戴式装置包括配置成穿戴在用户头部的壳体。所述壳体包括入口和出口。空气循环装置安装到所述壳体，并且配置成通过气流路径产生气流。显示器组件安装在外壳上，并且在外壳的气流路径中具有表面。空气导流板安装在所述显示器组件的表面上，并且配置成减少通过所述气流路径的气流的湍流。
14. 《Apple Patent | Adaptive coding and streaming of multi-directional video（多向视频流的自适应编码和传输）》
专利描述了一种流式传输处理技术。根据所述技术，可以识别视口所在的图块。可以以第一服务等级请求视口所在图块的图像数据，并且可以以低于第一服务等级的第二服务等级请求无视口的其他图块的图像数据。
15. 《Apple Patent | Point cloud compression（点云压缩）》
专利描述的系统包括：配置为压缩点云的属性信息和/或空间信息的编码器，和/或配置为解压缩点云的压缩属性和/或空间信息的解码器。为了压缩属性和/或空间信息，编码器配置为将点云转换为基于图像的表示。另外，解码器配置为基于图像的表示生成解压缩的点云。在一个实施例中，编码器可以配置为进一步压缩从基于图像的表示中省略的点。在一个实施例中，解码器可以配置为解码在基于图像的表示之外或以基于图像的单独表示形式压缩的点。
16. 《Apple Patent | Method For Representing Virtual Information In A Real Environment（在真实环境中表示虚拟信息的方法）》
专利描述了一种在真实环境中表示虚拟信息的方法。所述方法包括以下步骤：提供真实环境和系统设置的至少一个视图，从而用于混合虚拟信息；确定系统设置的至少一部分相对于真实环境的至少一个组件的位置和方向；将真实环境的至少一部分视图细分为包括第一区域和第二区域的多个区域；当第一区域内的真实环境对象比第二区域内的真实环境对象更靠近系统设置时，并且考虑到相对位置和方向，在真实环境视图的至少一部分中混合至少一项虚拟信息。其中，虚拟信息在第一区域中的显示不同于在第二区域中的显示。
17. 《Apple Patent | Hierarchical point cloud compression with smoothing（带平滑的分层点云压缩）》
系统包括一个编码器，其配置为压缩点云的属性信息和/或配置为解压缩点云的压缩属性的解码器。为了压缩属性信息，基于空间信息生成多层次的细节。另外，属性值根据细节级别进行预测。解码器遵循基于细节级别的类似预测过程。另外，属性校正值可以确定为更正预测的属性值，并且解码器可以使用该值来解压缩点云。在一些实施例中，执行更新操作以平滑属性校正值。
18. 《Apple Patent | Electronic Devices Having Electrically Adjustable Optical Layers（具有电气可调光学层的电子设备）》
专利描述的电子设备具有电气可调光学层。显示器和其他光学组件可以由壳体结构支撑 壳体结构可以形成手持式设备壳体，头戴式壳体或用于电子设备的其他壳体。电子设备中的控制电路可以调节电气可调光学层。控制电路可以减小用于电可调光学层的光透射以隐藏光学组件，并且可以在光组件用于接收光或输出光时增加光透射以露出光学组件。另外，具体取决于电子设备的操作模式，控制电路可以调节电气可调光学层以显露所需的一组光学特性。
19. 《Facebook Patent | Raycast calibration for artificial reality head-mounted displays（头戴式显示器的Raycast校准）》
在一个示例中，系统包括图像捕获组件和执行校准引擎的处理器。校准引擎配置成基于通过光学系统获得的目标图像来确定目标点和camera像素之间的对应关系，所述光学系统包括光学表面和光学组合器。每个光学表面由表面相对侧的光学折射率差来定义。光学系统的至少一个校准参数通过经由光学系统的raycast将光线从每个camera像素映射到每个目标点来确定，raycast基于光学表面相对于一个或多个camera的折射率差、形状和位置。
专利描述了防止边信道攻击（sca）的片上系统（soc）。专利描述的示例SoC包括引擎，其配置成使用配置有第一多项式的加密操作集来加密传输（Tx）信道数据，并且使用配置有与第一多项式不同的第二多项式的解密操作集来解密加密的接收（Rx）信道数据。SoC同时包括安全处理器，所述安全处理器配置成逐轮地用不同的选择输入序列来复用针对解密操作集的加密操作集，以生成加密轮和解密轮的混合序列。控制引擎根据加密轮和解密轮的混合序列在组合数据路径中加密Tx信道数据和解密加密Rx信道数据。
21. 《Facebook Patent | Systems and methods for delivering a plurality of haptic effects（提供多种触觉效果的系统和方法）》
专利描述的触觉装置包括磁体、相对于磁体布置的刚性导电材料。磁体和刚性导电材料之间形成间隙。所述触觉装置配置成致使所述磁体在所述间隙中产生磁场。触觉装置同时包括多个线圈，每个线圈连接到多个突出元件中的相应一个，其中多个线圈中的每个线圈配置成定位在间隙内。多个突出元件中的每一个配置成在相应线圈通电时产生与对象的相应接触。在一个实施例中，所述对象是用户的手。
专利描述的示例性SoC同时操作密钥多样化的加密和解密数据路径，以模糊包括SoC的设备所展示的功率跟踪签名。示例SoC包括配置为使用加密密钥来加密传输（Tx）信道数据的加密引擎和配置为使用不同于加密密钥的解密密钥来解密加密的接收（Rx）信道数据的解密引擎。SoC同时包括调度器，所述调度器配置成在加密和解密引擎之间建立并发数据可用性，并且激活加密引擎和解密引擎，以使得加密引擎与解密引擎同时加密Tx信道数据，而解密引擎使用调度器解密加密的Rx信道数据与加密密钥不同的解密密钥。
专利描述的示例性SoC包括加密引擎、密钥存储和安全处理器。密钥存储配置成存储多个加密密钥。加密引擎配置成使用存储到密钥存储器的多个加密密钥中的任何加密密钥来加密发送（Tx）信道数据。安全处理器配置成基于选择强密钥来加密Tx信道数据的确定来激活SoC的SCA缓解逻辑，以及基于选择弱密钥来加密Tx信道数据的确定操作SCA缓解逻辑。
专利描述的示例性SoC根据加密轮和解密轮的组合序列并发地操作多轮加密和解密数据路径。示例SoC包括配置成使用多轮加密数据路径来加密传输（Tx）信道数据和使用多轮解密数据路径来解密加密的接收（Rx）信道数据的引擎。SoC同时包括安全处理器，其配置成逐轮地将多轮加密数据路径与多轮解密数据路径复用，以生成加密轮和解密轮的混合序列，根据加密轮和解密轮的混合序列，控制引擎对Tx信道数据进行加密，并对加密后的Rx信道数据进行解密。
用于可穿戴设备的音频系统动态地更新声学传递函数。音频系统配置成相对于可穿戴设备的位置来估计由麦克风阵列检测到的每个声源的到达方向（DoA）。音频系统可以跟踪每个声源的移动。音频系统可以在每个声源的方向上形成波束。音频系统可以基于声源特性来识别和分类每个声源。基于DoA估计、运动跟踪和波束形成，音频系统生成或更新声源的声学传递函数。
专利描述的人造现实系统包括头戴式显示器和物理覆盖引擎，物理覆盖引擎生成与三维环境中的物理对象相对应的叠加图像数据。响应于激活条件，人造现实系统的渲染引擎呈现叠加图像数据，从而向用户通知位于三维环境中的物理对象的相对位置。
一种可穿戴式显示器包括左显示透镜系统和右显示透镜系统，每个透镜系统都具有增强现实成像单元。成像单元包括发射器结构、一个或多个光学元件、一个或多个显示光学元件、一个显示光学元件、一个扫描光学元件和一个校准光传感器。发射器结构具有一个或多个配置为发射光的光源。光学元件将光沿着成像单元中的光路引导光。扫描光学元件接收来自光学元件的光，并将其引导至显示光学元件。扫描光学元件在一个或多个维度上扫描，以将光线引导通过成像光学元件并达至显示光学元件。校准光传感器位于沿发射器结构和扫描光学元件之间的光路的一个点，并接收来自其中一个光学元件的一部分光。
28. 《Google Patent | Depth Data Adjustment Based on Non-Visual Pose Data（基于非视觉姿态数据的深度数据调整）》
头显根据检测到的系统运动来调整深度信息。头显包括深度摄像头，其采集本地环境中的对象的深度数据。头显同时包括惯性测量单元（IMU），其包括非视觉运动传感器，如一个或多个加速度计和陀螺仪等。头显根据IMU提供的运动数据调整接收的深度信息，从而提高深度信息的准确度，进而减少可能因深度信息不准确性而引起的视觉伪影。
专利描述的方法可以包括：通过电子设备接收定义AR环境的数据；接收将AR对象放置在AR环境中的参考表面的指示；响应指示，在AR环境中的参考面上显示AR对象；在电子设备的输入装置执行第一手势；响应于第一手势，在AR环境中将AR对象提升到参考面上方一个距离；在电子设备的输入装置上执行第二手势；并且响应第二个手势，在AR环境中移动AR对象。
30. 《Qualcomm Patent | Content stabilization for head-mounted displays（头戴式显示器的内容稳定）》
头戴式装置可包括处理器。处理器配置成从传感器接收指示头戴式装置相对于用户面部基准点位置的信息；以及基于头戴式装置相对于所述面部的位置或位置的改变来调整虚拟内容项目的呈现。传感器可以是距离传感器，并且处理器可以配置为基于所测量的距离或头戴式装置与用户面部参照点之间的距离变化来调整虚拟内容项的呈现。用户面部的参考点可以是用户的一只眼睛或两只眼睛。
用于渲染光场的方法包括：将光线从位于空间光调制器（SLM）第一侧的视点投影到位于SLM相对侧的剪裁平面，以在三维场景中形成基本视锥，并在基本视锥中渲染对象以生成组件第一元素区域的第一元素图像。SLM可以包括非重叠元素区域的平铺阵列，并且非重叠元素区域的第一元素区域的顶边缘和底边缘与射线相交以形成元素视锥。
32. 《Nvidia Patent | Modular prescription augmented reality display（模块化处方增强现实显示）》
专利描述了一种模块化增强现实显示器，其包括可由佩戴者单独使用的处方眼镜。在一个实施例中，图像由附在眼镜的可移动显示器生成，并引导到充当波导的处方透镜边缘。所述图像在处方透镜内进行内反射，并且通过嵌入处方透镜内的图像组合器定向到用户。
单个帧的渲染工作负载可以在头戴式显示器和执行应用程序的主机之间分配。为了分割帧的渲染工作负载，头显可以向主机发送头部追踪数据，并且主机可以使用头部追踪数据来生成与帧相关联的像素数据，以及除了像素数据之外的额外数据。额外数据可以包括但不限于姿势数据、深度数据、运动矢量数据和/或额外像素数据。头显可以接收像素数据和至少一些额外数据，确定头显的更新姿势，并基于更新姿势和接收到的额外数据对像素数据应用再投影调整以获得修改后的像素数据，修改后的像素数据用于在显示面板呈现图像。
34. 《Valve Patent | Continuous Controller Calibration（连续控制器校准）》
专利描述的方法包括确定接近传感器的值范围，从接近传感器接收接近数据，衰减与最大值相关联的限值，衰减与最小值相关的限值，确定由接近传感器检测到的值的范围，以及确定用于接近传感器的更新的比例因子。
35. 《Sony Patent | Multi-spectral volumetric capture（多光谱体三维捕获）》
专利描述的系统包括：第一红外摄像头、第二红外摄像头和彩色摄像头；连接到第一红外摄像头、第二红外相头和彩色相头的柱；至少一个红外光源；以及处理器。所述处理器配置为：使用来自所述第一红外相柱和所述第二红外相柱的数据生成用于所述对象的深度解算数据；通过使用来自彩色照相柱的数据将颜色投影到深度解算数据上来生成投影颜色数据；将深度解算数据与投影颜色数据进行融合，生成最终的捕获数据。
36. 《Sony Patent | Liquid crystal display device and electronic apparatus（液晶显示设备和电子设备）》
专利描述的液晶显示设备包括：包括像素电极、面向像素电极的反电极和密封在像素电极和反电极之间的液晶层的液晶单元；用于在极性周期性变化的视频信号中写入正极性视频信号的第一写入电路；用于在极性周期性变化的视频信号中写入负极性视频信号的第二写入电路。第一写入电路和第二写入电路包括具有彼此不同的导电类型的晶体管。
37. 《Sony Patent | Content generation system and method（内容生成系统和方法）》
一种用于修改表示虚拟环境的数据的系统包括：环境导航单元，其用于控制虚拟环境中的导航以在虚拟环境中生成一个或多个视点；环境识别单元，其用于识别在一个或多个视点中可见的虚拟环境的几何体的一个或多个方面；几何体评估单元，其用于基于每个视点的识别来评估几何体的一个或多个方面的可见性；以及数据修改单元，其用于修改表示虚拟环境的一个或多个数据元素。
38. 《Sony Patent | Reducing volumetric data while retaining visual fidelity（在保留视觉逼真度的同时减少体三维数据）》
管理体三维数据的方法包括：定义空间体积中的视体积，体三维数据在空间体积中具有多个点，并且至少一个点在视体积中，至少一个点不在视体积中；在所述空间体积中定义网格，所述网格具有多个单元并将所述空间体积划分为各个单元，其中所述网格中的每个点具有对应的单元，所述网格中的每个单元具有零个或多个对应点；以及减少网格中位于视图体积外部的单元的点数。
39. 《Sony Patent | Real-time volumetric visualization of 2-d images（二维图像的实时体三维可视化）》
捕获和可视化视频的方法包括：使用多个摄像头捕获视频数据；将捕获的视频数据发送到第一着色器；使用捕获的视频数据计算第一着色器处的深度信息；利用深度信息生成三维点云；利用三维点云绘制可视化图像。
40. 《Sony Patent | Vr real player capture for in-game interaction view（用于游戏内交互视图的VR真人玩家捕获）》
专利描述了一种用于呈现混合现实视频的方法。所述方法包括用于捕捉游戏的操作。所述方法同时包括由计算系统识别在游戏期间观看用户的camera POV的camera坐标位置。所述方法同时包括重放游戏以调整游戏POV，使得其基本上与camera POV对准。所述方法包括在调整游戏POV和来自camera POV的视频之后，通过合成来自游戏的视频来呈现混合现实视频。渲染混合现实视频同时包括从camera POV移除在视频中捕获的背景，使得当在混合现实视频中渲染时，用户部分地出现在游戏的场景中。
41. 《Sony Patent | Display processing device, display processing method, and program（显示处理装置，显示处理方法和程序）》
指示点识别处理单元执行识别处理，以识别指示真实空间上的点的指示点。操作信息获取单元根据进行更改的用户操作来获取操作信息。然后，虚拟绘图数据处理单元生成虚拟绘图数据，其用于绘制根据指示点创建的虚拟绘图图像。虚拟绘图图像显示处理单元执行显示处理，以基于虚拟绘图数据在显示屏实时显示正在创建的虚拟绘图图像。
42. 《Sony Patent | Controller device（控制器设备）》
一种配置为佩戴在用户手部的控制器设备包括多个传感器，在用户佩戴控制器设备的状态下，所述传感器用于检测用户拇指的位置。
专利描述的信息处理装置包括算术处理单元，算术处理单元通过使用眼球模型来执行与估计用户视线有关的算术处理。算术处理单元为每个用户动态地估计与眼球模型相关的单个参数，并且单个参数包括关于构成眼球的结构在三维空间中的相对位置信息。
44. 《Sony Patent | Apparatus and method of mapping a virtual environment（映射虚拟环境的装置和方法）》
一种映射虚拟环境的方法包括获得由游戏输出的视频图像的第一序列；获得在其中创建游戏内虚拟camera位置的对应序列；在创建视频图像的同时获得游戏使用的深度缓冲器的深度缓冲器值的对应序列；以及对于所获得序列的多个视频图像和相应深度缓冲器值中的每一个，获得对应于在相应视频图像区域上的映射点及其相关联的深度值；其中，通过将从视频图像的采样点导出的坐标和相关联的深度值投影回3D游戏世界坐标系来获得各个映射点；从而获得对应于第一视频图像序列的映射点的点云数据集。
信息处理设备的图像获取部分从成像设备获取多个方向的偏振光图像。图像分析部分的偏振度获取部分基于偏振光亮度的方向依赖性来获取偏振度。高偏振度区域评价部分通过在忽略高偏振度区域的状态下评价具有高于阈值的高偏振度区域形状来检测游乐空间的外围边缘。输出数据生成部分生成和输出用于避免向外围边缘移动的输出数据。
专利描述的方法包括提供在客户端设备呈现游戏第一视图的界面，其中第一视图具有第一有利位置并且包括游戏玩家。所述方法包括用于在界面内提供传送门的操作，所述传送门用于呈现游戏对象的第二视图，第二视图具有第二有利位置。所述方法同时包括用于将第二有利位置移向传送门内的游戏对象的操作。另外，所述方法提供了删除传送门的操作。
47. 《Sony Patent | Near Real-Time Augmented Reality Video Gaming System（近实时的增强现实游戏系统）》
一个或多个用户佩戴各自的无线头显，并允许用户看到模拟用户所在的物理空间的三维渲染虚拟现实环境。用户玩游戏时可以在物理空间中自由移动。为ae用户呈现的虚拟现实环境是以用户的物理运动作为基础。为用户呈现的虚拟现实环境显示了相应物理对象所在的虚拟对象，以便当用户在虚拟环境中围绕对象移动时，用户同时是围绕物理空间中的物理对象移动。
48. 《Sony Patent | Scaled vr engagement and views in an e-sports event（电竞活动中的虚拟现实参与和视图）》
与电竞游戏网络相关的功能可用于定制现场电竞事件数据的分发，以促进沉浸式观众体验。所以功能可以为电竞赛事提供额外的信息、不同的视图和不同的评论员，以便观众在观看特定的电子竞技赛事时能够更加投入。
专利描述了用于指示在游戏执行期间跨越边界的系统和方法。所述方法包括通过摄像头捕捉视场内一个或多个图像。所述方法包括由处理器从一个或多个图像识别头显在真实环境中的位置。所述方法包括由处理器确定头显是否已经越过所述边界之一。所述方法包括在确定头显已经越过其中一个边界时生成包括护栏的一个或多个视频帧，并将一个或多个视频帧发送到头显以供显示。
专利描述了一种生成输出图像数据的方法。所述方法包括接收表示输入图像的图像数据，所述输入图像包含至少一个面部图像。所述方法同时包括识别图像数据中的面部图像，以及识别面部图像的面部特征。所述方法同时包括基于所识别的面部特征生成表示化妆图像的数据。
