Snap专利探索AR眼镜动态调光技术
动态调光
（映维网Nweon 2022年12月23日）对于Meta Quest Pro和Magic Leap 2，甚至是传闻中的苹果AR/VR头显（根据专利），动态调光都是一项关键的亮点功能。具体来说，系统可根据情况自动调光环境，以确保特定区域中的数字内容清晰可靠。例如，通过调暗周遭环境视图，设备可以突出全息图。通过这种方式，它可以缓解透明AR光学器件最大的缺点之一：亮度相对较低。
根据名为“Adaptive brightness for augmented reality display”的专利申请，正在积极研发AR设备的Snap同样有在探索动态调光，亦即根据检测的环境光强度来自适应调整增强现实显示器的亮度。Snap表示，用户通过AR可穿戴设备210感知的有效亮度可以针对不同的真实世界环境更有效地设置，这将允许AR可穿戴设备210在更广泛的环境中使用，而不会对整体用户体验产生负面影响。
图3是Snap提出的一个AR可穿戴设备的示例框图。其中，AR可穿戴设备包括传感器302、显示系统304、处理器308和存储设备306。
在一个实施例中，处理器308包括AR应用310、追踪系统312和DLP（数字光投影仪）控制器314。
AR应用310包括亮度控制应用。亮度控制应用从环境光传感器（例如传感器302）接收环境光的测量，并基于环境光的度量来调整投影元件（例如DLP投影仪326）的一个或多个硬件参数。
AR应用310基于环境光的测量来修改投影元件显示的图像的一个或多个颜色值，并使用具有调整的硬件参数的投影元件来投影具有修改的颜色值的图像。
在一个实施例中，AR应用310基于环境光的测量来计算有效亮度值。作为计算有效亮度值的一环，AR应用310在以0% DT50% DT操作DLP投影仪326的投影元件之间进行选择。作为说明，DT是关闭投影仪的时间Dart Time。
DLP控制器314向DLP投影仪326传送数据信号以将虚拟内容投影到屏幕324。DLP控制器314包括将来自AR应用310的信号转换为DLP投影仪326的显示信号的硬件。在一个示例中，DLP控制器312可以是处理器308的一部分。在另一示例中，DL P控制器314可以是DLP投影仪320的一部分。
在一个示例中，DLP控制器314将DLP投影仪326配置为以可预测的颜色序列、每帧的单个RGB颜色周期和更短的像素暂留性来操作。例如，DLP控制器314确定或识别DLP投影仪326的颜色序列图案。DLP控制器312引导DLP投影仪的光源以每帧产生单个颜色周期。DLP控制器314同时指导DLP投影仪326的数字微镜设备（DMD）生成较短的像素暂留性。
DLP配置设置322包括例如有效亮度值、DLP投影仪326的设置和/或由DLP控制器314确定的设置。设置的示例包括RGB位平面循环率、帧速率、颜色序列、亮度值和像素持续时间。
图4示出了DLP投影仪326的框图。DLP控制器314包括光源402、聚光透镜404、定制透镜406、DMD 408和投影透镜410。
DLP控制器314与DLP投影仪326的光源402接口，并控制光源402。在一个示例中，DLP控制器314与光源402连接并识别光源402的颜色序列。例如，DLP处理器314查询DLP投影仪326并识别DLP投影仪的型号。DLP控制器312基于DLP投影仪320的型号识别光源402颜色序列。
聚光透镜404将来自光源402的光聚焦到定制透镜406。定制透镜406将来自光源406的光漫射到DMD 408。DMD 408包括数百个单独的微镜。表示0和1的数字信号驱动微镜旋转到选定的角度，以反射不必要的光，并将所需的光引导到投影透镜410。
通过视觉暂留，不同颜色的光合成为彩色图像。在一个示例中，DLP控制器314控制DMD 408以减少每个像素的暂留性。暂留性可以称为每个像素保持点亮的时间。高暂留性导致图像模糊和模糊。所以，DLP控制器314将每个像素的暂留时间减少到例如小于3ms。
图5示出了一个DLP控制器314。DLP控制器314包括运动颜色伪影补偿模块506和低暂留性模块508。
DLP控制器314可以控制光源402的每个LED的电流，以提供可能的亮度范围。
在一个实施例中，AR设备可以提供最大LED亮度以实现与室外环境亮度相对应的感知亮度的电流范围。然而，这可能导致依然大于室内环境亮度的较低感知亮度界限，并造成在室内设置中投影太亮而用户感到不适。
所以，可以关闭投影仪一段时间（即DT）的过程来在室内设置中实现较低的感知亮度，同时保持在室外设置中实现最大感知亮度的能力，即通过最大电流和0% DT。不过，可以利用其他方法来解决问题。例如，RGB合成器可以改变要显示的任何给定颜色的色调和颜色谱，以便增加或降低颜色的感知亮度。
在一个示例中，DLP控制器314可以在0% DT模式或50% DT模式中操作光源402的LED。在0% DT模式中，DLP控制器314对每个期望颜色执行两次repetition。另外，DLP控制器314可以在0% DT模式下以最大电流量驱动LED，从而实现的最大有效亮度设置。
但在这种实现中，0% DT模式消耗最大功率。为了减少功耗，DLP投影仪326可以在50% DT模式下操作光源402的LED。在50% DT模式中，DLP投影仪326对每个期望颜色执行一次repetition，亦即以0% DT模式的repetition次数的一半驱动LED。为了在50% DT模式下实现与0% DT模式相同的有效或感知亮度水平，用于驱动LED的电流需要加倍。然而，光源402的特定投影元件不能在不损坏组件的情况下以如此高的电流驱动。
在50% DT模式下操作光源402的LED的一个优点是，可以实现比0% DT模式更低的最小感知亮度水平。
在一个实施例中，DLP投影仪326可以根据给定真实世界环境所期望或计算的有效亮度值，并在0% DT模式或50% DT模式下操作光源402的LED之间进行选择。另外，DLP投影仪326可以修改接收用于显示图像的像素的颜色值，以便进一步减少或增加感知到的有效亮度值。
通过使用基于当前环境光测量的修改LED的硬件参数（例如改变DT操作模式和修改用于驱动LED的电流）和修改软件像素值（例如将图像中的白色改变为灰色像素，或者将图像的红、绿、蓝像素值缩放或乘以指定值）的组合，用户通过AR可穿戴设备210感知的有效亮度可以针对不同的真实世界环境更有效地设置。
Snap指出，这将允许AR可穿戴设备210在更广泛的环境中使用，而不会对整体用户体验产生负面影响。
在一个实施例中，DLP控制器314从AR可穿戴设备210的环境光传感器接收环境光的测量值。环境光测量值可以Lux（lx）测量单位接收。DLP控制器314可以自动改变或控制AR可穿戴设备210的有效亮度设置。在一个示例中，DLP控制器314可以基于手动输入控制来改变或控制AR可穿戴设备210的有效亮度设置。
有效亮度设置可以在0（最小亮度值）和255（最大亮度值）之间指定。当当前热温度高于或超过指定阈值时，可以基于AR可穿戴设备的当前热温度来减小最大亮度值。当当前热温度恢复到低于指定阈值时，最大亮度值恢复到默认值，例如255。
在一个示例中，DLP控制器314确定环境光的测量值小于第一阈值，例如10lx。在这种情况下，DLP控制器314将有效亮度设置设置为最大亮度设置的30%的第一值。DLP控制器314可以确定环境光的测量值在第一范围内，例如在10lx和200lx之间。在这种情况下，DLP控制器314可以将有效亮度设置计算为第一值（例如最大亮度设置的30%）和第二值（例如最大亮度设置100%）之间的插值。
作为示例，DLP控制器314可以计算亮度的当前测量值与第一阈值之间的差。然后，DLP控制器314可以通过基于所计算的差值在第一和第二值之间线性插值来计算有效亮度值。例如，DLP控制器314可以确定环境光的当前测量值是50lx，并且DLP处理器314可以将有效亮度值计算为最大亮度设置的39%。
DLP控制器314可以确定环境光的测量值超过第一范围的最大值（例如，大于200lx）。在这种情况下，DLP控制器314可以将有效亮度设置设置为第二值（例如，最大亮度设置的100%）。
在一个实施例中，DLP控制器314可以基于AR可穿戴设备210的透镜是有色还是透明来计算有效亮度值。具体地，DLP控制器314可以确定透镜被着色。在这种情况下，DLP控制器314可以确定环境光的测量值小于第一阈值（例如10lx）。作为响应，DLP控制器314将有效亮度设置设置为特定值，例如最大亮度设置的0%。
DLP控制器314可以确定环境光的测量值在第二范围内，例如在25lx和300lx之间。在这种情况下，DLP控制器314可以将有效亮度设置计算为特定值（例如最大亮度设置的0%）和第二值（例如最大亮度设置100%）之间的插值。
DLP控制器314可以计算亮度的当前测量值与第一阈值之间的差。然后，DLP控制器314可以通过基于所计算的差值在第一和第二值之间线性插值来计算有效亮度值。例如，DLP控制器314可以确定环境光的当前测量值是50lx，并且在这种情况下，DLP处理器314可以将有效亮度值计算为最大亮度设置的39%。DLP控制器314可以确定环境光的测量值超过第二范围的最大值（例如大于200lx或300lx）。在这种情况下，DLP控制器314可以将有效亮度设置设置为第二值（例如最大亮度设置的100%）。
作为另一示例，DLP控制器314可以确定透镜为透明。在这种情况下，DLP控制器314可以确定环境光的测量值小于第二阈值（例如25lx）。响应于选择第二阈值，当环境光测量值小于第二阈值时，DLP控制器314将有效亮度设置设置为特定值，例如最大亮度设置的0%。DLP控制器314可以确定环境光的测量值在第三范围内（例如在10lx和200lx之间）。在这种情况下，DLP控制器314可以将有效亮度设置计算为特定值（例如，最大亮度设置的0%）和第二值（例如最大亮度设置100%）之间的插值。
DLP控制器314可以计算亮度的当前测量值与第二阈值之间的差。然后，DLP控制器314可以通过基于所计算的差值在第一和第二值之间线性插值来计算有效亮度值。例如，DLP控制器314可以确定环境光的当前测量值是50lx，并且在这种情况下，DLP处理器314可以将有效亮度值计算为最大亮度设置的39%。DLP控制器314可以确定环境光的测量值超过第二范围的最大值（例如大于200lx或300lx）。在这种情况下，DLP控制器314可以将有效亮度设置设置为第二值（例如最大亮度设置的100%）。
在一个实施例中，DLP控制器314可以通过屏幕亮度偏移与AR可穿戴设备210的热极限之间的最小值来计算AR可穿戴装置210的有效亮度设置，如果以上述方式计算的屏幕亮度低于与热极限相关联的最大亮度，DLP控制器314将亮度设置设置为基于用户输入或基于从环境光传感器接收的环境光的测量而计算的亮度值。如果以上述方式计算的屏幕亮度大于或超过与热极限相关联的最大亮度，则DLP控制器314将亮度设置设置为热极限值。
DLP控制器314可以访问环境温度测量值以计算有效亮度值，或者可以从设置有效亮度值的用户接收输入。响应于确定有效亮度值被设置为最大亮度设置，DLP控制器314可以以最大电流驱动投影仪的投影元件，并将操作模式设置为0% DT。在这种情况下，DLP控制器314可以使用接收到的RGB值输出图像。
在一个实施例中，DLP控制器314可以确定有效亮度值被设置为在80%和100%之间的亮度量。DLP控制器314可以用相对于最大电流的线性缩放电流驱动投影仪的投影元件，即计算为在80%和100%之间的有效亮度水平越低，则电流线性缩放越低。
DLP控制器314同时可以线性缩放图像的RGB值。DLP控制器312可以通过基于有效亮度相对于80%降低的量缩放RGB值，在显示器显示图像之前修改所接收图像的值。例如，如果有效亮度计算为60%，则RGB值可以按第一值线性缩放，并且如果有效亮度计算为40%，则可以按第二值（低于第一值）线性缩放。通过无电流驱动LED，将工作模式设置为50-DT，并将图像的RGB值缩放0%，可以实现最低亮度。
图7是流程图：
- 在操作701，DLP控制器314指示AR可穿戴设备的投影元件投影图像。
- 在操作702，DLP控制器314从环境光传感器接收环境光的测量。
- 在操作703，DLP控制器314基于环境光的测量来调整AR可穿戴设备的投影元件的一个或多个硬件参数。
- 在操作704，DLP控制器314基于环境光的测量来修改由AR可穿戴设备的投影元件显示的图像的一个或多个颜色值。
- 在操作705，DLP控制器314使用AR可穿戴设备的投影元件和经调整的一个或多个硬件参数来投影具有经修改的颜色值的图像。
通过这种方式，AR可穿戴设备可以实现自适应亮度调整。
相关专利：Snap Patent | Adaptive brightness for augmented reality display
名为“Adaptive brightness for augmented reality display”的Snap专利申请最初在2022年1月提交，并在日前由美国专利商标局公布。
