苹果专利介绍注视点显示器应对眼动追踪输入数据丢失的缓冲方法
眼动追踪数据输入丢失时的应对策略
（映维网 2021年09月18日）眼动追踪及相关的注视点渲染越发成为AR/VR头显的标配。简单来说，我们人眼对注视点区域的敏锐度最高，而外围视场则比较模糊。利用这一特点，我们可以追踪用户眼睛的注视点位置，然后集中渲染注视点区域，并降低外围视场的渲染性能。这可以有效提高能效并帮助实现更高的刷新率。
但在使用注视点渲染时，如果眼动追踪失灵并造成眼动追踪数据输入丢失，系统应该如何应对呢？日前美国专利商标局公布了一份名为“Recovery from eye-tracking loss in foveated displays”的苹果专利申请，而这份文件主要介绍了注视点显示器应对眼动追踪输入数据丢失的缓冲方法，尤其是针对动态注视点渲染。
所述发明涉及用于注视点内容（如动态注视点内容）的恢复技术。苹果解释道，对于注视点内容，图像的特定方面（例如细节量、分辨率、图像质量或亮度）可以基于用户眼睛注视点之于显示器的位置进行改变，例如最优化用户注视区域的图像质量，并降低外围区域的图像质量，从而减少电子显示器显示内容的功率量、用于生成内容的计算量以及用于流式显示内容的带宽量。
对于静态注视点渲染，对于向用户显示的每一帧内容，显示器固定地为各个区域分配不同的分辨率。对于动态注视点渲染，显示器将动态地根据用户注视点的变化而而改变不同区域的分辨率。
所以对于动态注视点渲染，在苹果描述的一个实施例中，电子设备可以包括配置成向用户显示内容的显示器系统，配置成追踪用户眼睛注视点的眼动追踪器系统，配置成确定显示器高分辨率区域大小和位置的注视点系统，以及用于改变显示区域图像质量的处理电路。
在一个实施例中，将来自眼动追踪系统的连续输入提供给注视点系统，并用于确定显示器高分辨率区域的大小和位置。这时，处理电路可以响应高分辨率区域的大小和位置致使显示器执行相应操作，亦即在对应于注视点位置的显示器区域以高分辨率显示图像，并且注视点区域以外的外围区域以较低分辨率显示图像。
如果眼动追踪系统不能确定用户眼睛的注视点，或者如果与眼动追踪系统的连接中断，则动态注视点渲染会失灵，亦即高分辨率图像显示区域不能再对应于用户的眼睛注视，从而可能减损用户体验质量。
针对这个问题，处理电路可以改变注视点区域的一个或多个方面（例如大小和分辨率等），以应对眼动追踪数据的丢失，直到满足阈值。随着时间的推移，由于失去了眼动追踪数据，注视点区域向显示器的中心区域移动。换句话说，如果出现眼动追踪数据丢失，系统可以扩大注视点区域，亦即扩大高分辨率显示区域的大小（甚至整个显示器完全采取高分辨率显示），并且同时将高分辨率显示区域向显示器的中心区域移动，以这种方式来暂时应对眼动追踪数据输入的丢失，直至眼动追踪输入的恢复。
图7A是表示利用静态注视点渲染的示例。在静态注视点渲染，电子显示器的各分辨率区域保持固定的大小和位置。如图所示，电子显示器18包括高分辨率区域62、中分辨率区域64和低分辨率区域66。
作为一个示例，低分辨率区域66的分辨率可以是约10像素/度（ppd），中分辨率区域64的分辨率可以是约20 ppd，高分辨率区域62的分辨率可以是约40 ppd。
图7B是动态注视点渲染的示例。图70包括第一框72、第二框74和第三框76，每个框具有高分辨率区域78、中等分辨率区域80和低分辨率区域82。第一框72、第二框74和第三框76各自可以表示单个内容框的不同部分（即单个图像的不同部分），或者各自可以表示连续内容帧的不同内容帧。
框72、74、76基于用户眼睛注视点而移动到电子显示器18的不同位置。在从第一框72到第二框74的转换期间，亦即当用户眼睛注视点从第一框72的位置移动到第二框74的位置时，高分辨率区域78和中分辨率区域80从电子显示器18的左下角附近移动到电子显示器18的上中位置，以此类推。
图10A是具有中等分辨率区域102和高分辨率区域104的电子显示器18。高分辨率区域104和中分辨率区域102位于低分辨率区域100内。高分辨率区域104和中分辨率区域102以用户眼睛注视点106为中心。
图10B是根据用户眼睛注视点106在电子显示器18的移动而移动中分辨率区域102和高分辨率区域104。换句话说，当用户眼睛注视点106远离电子显示器18的中心时，中分辨率区域102和高分辨率区域104各自以箭头108指示的相同速度在相同方向移动。只要眼睛注视点106保持相同的方向和速度，中等和高分辨率区域102、104将保持相同的方向和速度。如果改变方向或速度，则中分辨率区域和高分辨率区域102、104以改变成相同的方向或速度以基本相同。
图10C是针对注视点追踪丢失的一个响应示例。为了指示眼动追踪数据的丢失，图10C中没有示出用户眼睛的注视点106。当发生眼动追踪丢失时，中等分辨率区域102的大小和高分辨率区域104的大小在注视点106的最后已知位置附近增加。中分辨率区域和高分辨率区域102、104的移动可在注视点106的最后已知位置停止，亦即不再移动。在特定情况下，中分辨率区域102和高分辨率区域104的大小成比例地增加，甚至完全覆盖显示器的所有区域。
在另一种情况中，为了减少处理量，当发生眼动追踪丢失时，可以减少高分辨率区域的大小，而转而增加中分辨率区域的大小，甚至将中分辨率区域的大小完全覆盖显示器的所有区域。
图12A是具有布置在低分辨率区域100内的中分辨率区域102和高分辨率区域104的电子显示器18。高分辨率区域104和中分辨率区域102以电子显示器18的用户眼睛注视点106为中心。
在图12B中，眼睛注视点在电子显示器18沿着箭头140移动，而中等分辨率和高分辨率区域102、104同样沿箭头140的方向移动。中分辨率和高分辨率区域102、104的移动速度可以与注视点106的速度相同。
在图12C中，当发生眼动追踪丢失时，中分辨率区域102的大小开始增大，而高分辨率区域104的大小或分辨率则开始减小。对于这种方式，尽管处理能力因中分辨率区域的增加而增加，但同时可以通过高分辨率区域104的大小或分辨率减少而减少。
相关专利：Apple Patent | Recovery from eye-tracking loss in foveated displays
名为“Recovery from eye-tracking loss in foveated displays”的苹果专利申请最初在2021年2月提交，并在日前由美国专利商标局公布。需要注意的是，这只是一份发明，不确定苹果是否会或于何时将其应用于头显产品。另外，不清楚实际的应用效果。
