苹果专利分享在低光条件下的AR/VR手部交互追踪操作方案
在低光条件下操作电子设备
（映维网Nweon 2023年11月13日）低光条件会对XR设备造成影响，例如手势识别和追踪。所以在名为“Electronic device with a display for low light conditions”的专利申请中，苹果就介绍了一种针对低光条件的应对方法。
图5显示了在低光条件下操作电子设备的示例过程。在510，与亮度标准相关联的媒体项可选地显示在朝内显示器。例如，可以在朝内显示器显示电影，并且电影与代表暗阈值亮度的亮度标准相关联。
在520，朝外照明模块接收指示显示设备的环境照明条件的信息。指示环境照明条件530的信息包括指示环境照明条件亮度的亮度信息535和指示环境照明条件颜色的颜色信息540。例如，亮度信息535可包括亮度等级，颜色信息540可包括色温。
在550，朝外照明模块确定环境照明条件是否满足与在510中显示的媒体项目相关联的亮度标准。朝外照明模块可将亮度信息535与亮度判据进行比较，以确定是否满足亮度判据。
确定560中的像素集可以任选地包括块565和/或570。在565，朝外照明模块可以基于来自注视点追踪用户界面的指示器来确定感兴趣的区域。
在570，朝外照明模块可以基于基于手势的用户界面的输入区域确定感兴趣区域。例如，基于手势的用户界面可以提供输入区域的指示器。
在580，朝外照明模块可以以亮度585和颜色540驱动在560中确定的一组像素，以改善环境感兴趣区域的照明。驱动580中的像素集可以任选地包括590，其中，朝外照明模块可以以亮度585驱动在560中确定的像素集，使得满足与在510中显示的媒体项目相关联的亮度标准。
由于环境照明信息530包含颜色信息540，所以朝外照明模块165可以以匹配的颜色540驱动显示器中的像素集，从而使得用户体验到环境更舒服的照明。另外，朝外照明模块可以确定最小亮度585，以使得环境照明的亮度535和显示设备的亮度585的组合满足亮度标准，而不会导致环境中的颜色感知为“褪色”。
图6显示了执行图5示例过程500的电子设备。显示设备210包括朝外显示设备210A和朝内显示设备210B，以及光学传感器220。
所述朝内显示设备210B和所述朝外显示设备210A的定位使得来自所述朝内显示设备210B的投影和来自所述朝外显示设备210A的投影不相交。即朝内显示设备210B和朝外显示设备210A在环境中面向不同的方向。
在示例性操作环境600中，朝内显示设备210B朝向用户250，朝外显示设备210A远离用户250朝向环境。朝内显示设备210B可以显示与特定亮度标准相关联的媒体项目，例如用于黑暗电影院环境的电影媒体项目和相关亮度标准。
尽管与电影媒体项目相关联的亮度标准可以对应于黑暗的电影院，但基于手势的用户界面可以具有代表阈值亮度的相关亮度标准，低于所述阈值亮度则无法识别手势。
朝外照明模块可沿朝外显示设备210A的底部驱动一组像素，以照亮基于手势的用户界面的输入区域660和用户250的手260。作为另一个示例，注视追踪界面可以确定用户250的注视650指向表桌子10之上的感兴趣对象620。
然后，朝外照明模块165可以驱动朝外显示设备210A的一组像素来照亮感兴趣对象620。作为进一步的示例，显示设备210可以包括在头显中。
朝内显示设备210B可用于向用户250显示内容，朝外显示设备210A可用于向用户250附近的人显示信息。
头显同时可以包括眼动追踪系统，以追踪用户250的注视650和位于朝外显示设备210A相同表面的外部摄像头或其他传感器220，以确定朝外显示设备210A的环境照明条件。
朝外照明模块165可根据来自头显内眼动追踪系统的信息确定注视650指向桌子610的感兴趣对象620，并驱动朝外显示设备210A的一组像素照亮感兴趣对象620。
图7示出了在低光条件下操作电子设备中的进一步示例过程。流程图从710开始，其中朝外照明模块接收指示朝外显示设备的环境照明条件的信息。
在710，指示环境照明条件的接收信息可任选地包括715和/720。在715，包含朝外摄像头的光学传感器220捕获环境图像，并且朝外照明模块165可以基于从光学传感器220捕获的图像确定环境照明条件。
或者，环境照明模块170可以根据从光学传感器220捕获的图像确定环境照明条件，并向朝外照明模块165提供指示环境照明条件的信息。
在720，朝外照明模块165接收指示环境的多个区域的环境照明条件的信息。例如，朝外照明模块165可以接收指示环境中四个象限中的每个象限的环境照明条件的信息。
在730，朝外照明模块确定环境照明条件是否满足亮度标准。在包括720的实施例中，步骤730包括确定每个区域是否满足亮度标准。例如，房间一角的一盏灯照亮了环境中四个象限中的三个。四个象限中的三个象限的环境照明条件满足亮度标准，但第四象限不满足。根据一个或多个区域不满足亮度标准的确定，朝外照明模块165可以确定与环境中感兴趣区域相对应的朝外显示设备210中的一组像素。
确定在740的像素集可以任选地包括745和/750-755。在745，朝外照明模块165基于不满足亮度标准的环境的一个或多个特定区域确定感兴趣的区域。例如，当感兴趣的区域不包括在特定区域中时，朝外照明模块165可以确定感兴趣的区域需要更少的额外照明并且在像素集中包括更少的像素。
在750，朝外照明模块165确定显示设备210的位置变化，并根据755中的位置变化确定像素集。例如，包含在传感器145中的加速度计可以确定用户250持有显示设备210已从坐姿移动到站立位置。
然后，朝外照明模块165可以确定感兴趣的区域是地面和预期用户250将沿着的路径。朝外照明模块165确定与感兴趣的区域相对应的像素集，并照亮用户250脚前的地面。
在760，朝外照明模块165驱动一组像素在一个特定的亮度，以提高在感兴趣的区域照明。770，在显示设备210进一步包括向内显示设备的实施例中，媒体项可以基于像素集和确定的位置变化任选地显示在朝内显示设备。
图9显示了确定环境照明条件的示例过程900。在910，朝外照明模块165以颜色序列中的特定颜色驱动朝外显示设备210。
在920，朝外照明模块165使诸如光学传感器220的朝外摄像头捕获与在910驱动的颜色序列中所述颜色相对应的环境图像。在930时，朝外照明模块165确定颜色序列中是否有剩余的颜色。如果颜色序列中有剩余颜色，则朝外照明模块165返回到910，并以颜色序列中的另一种颜色驱动朝外显示设备210。
当捕获到与颜色序列中的每一种颜色相对应的图像时，朝外照明模块165可以根据940中的图像集选择确定感兴趣的环境颜色。例如，朝外照明模块165可确定所述环境中环境照明的色温、所述环境中对象的颜色范围等。
在950，朝外照明模块165确定环境照明条件是否满足亮度标准。根据环境照明条件不满足亮度标准的确定，朝外照明模块165可以确定对应于感兴趣区域的一组像素。然后，朝外照明模块165以特定亮度驱动所述像素集，以改善在感兴趣区域中的照明。
相关专利：Apple Patent | Electronic device with a display for low light conditions
名为“Electronic device with a display for low light conditions”的苹果专利申请最初在2023年3月提交，并在日前由美国专利商标局公布。
