Meta专利介绍用AR/VR入耳式光学脑成像设备评估用户认知负荷
用于评估用户的认知负荷
（映维网Nweon 2023年12月18日）功能性近红外光谱（Functional Near-Infrared Spectroscopy/fNIRS）是一种光学脑成像技术。它的原理是将光照射到用户的头部，然后通过比尔-朗伯定律原理比较不同波长的光吸收，从而估计大脑皮层的血流动力学变化。
与头部的其他组织不同，神经组织中的氧合血红蛋白（HbO）和脱氧血红蛋白（HbR）的血流动力学变化属于时间反相关。所以，fNIRS可用于从HbO和/或HbR痕迹估计神经脑组织的反应性。
换句话说，由于氧合水平随着大脑区域变得更加活跃而变化，所以可以通过使用fNIRS设备检测血液氧合的变化来实时识别大脑活动。
然而，传统的fNIRS设备体积庞大，不适合用于便携式可穿戴设备设置。所以在名为“In-ear functional near-infrared spectroscopy for cognitive load estimation”的专利申请中，Meta介绍了一种可用于XR的入耳式fNIRS设备，并主要用于评估用户的认知负荷。
系统可以进一步包括与入耳式设备IED。一个或多个IED可以包括一个或多个fNIRS光电器件，每个光电器件包括一个或多个发光光源和一个或多个探测器。fNIRS光电设备可用于捕获代表用户大脑血流动力学变化的fNIRS信号数据。
在一个实施例中，fNIRS光电器件组可以包括一组互反的fNIRS光电器件，相互（双向）而不是单向捕获fNIRS信号，并通过比较双向fNIRS信号数据和从真正的神经信号中减去噪点来纠正测量误差。
在一个实施例中，系统可进一步包括用于测量大脑的电信号的一个或多个电极，并通过从具有神经来源并代表真实大脑活动的fNIRS信号中滤除具有系统来源的信号来校正fNIRS信号数据。
图1是示出一个入耳式fNIRS信号数据测量技术的示意图100。原理图100示出放置在用户耳膜120附近的用户耳道118内的入耳式fNIRS设备的一组fNIRS光电器件106。一组fNIRS光电二极管106可包括可用于产生fNIRS信号数据的至少一个源光电二极管106A和至少一个检测器光电二极管106B。所述设备可以对认知负荷进行连续的、不显眼的监测。
如图1所示，FNIRS光电二极管106的源光电二极管106A和检测器光电二极管106B定义了一条弯曲的光路107，而所述光路107可以从耳道内捕获大脑活动118。
光沿着弯曲光路107，从光源光电器件106A穿过头皮，然后穿过头骨，并进入用户的脑组织。然后，光穿过头骨和头皮返回到检测器光电二极管106B。探测器光电二极管106B对这种光的吸收可以用来估计HbO和HbR，从而可以估计大脑中的神经活动。
更具体地说，根据比尔-朗伯定律原理，HbO和HbR吸收光的方式随波长的变化而不同。当光穿过组织时，饱和和不饱和的血红蛋白吸收不同频率的光。例如，完全去饱和的血红蛋白吸收红光（如630 nm），完全饱和的血红蛋白吸收红外光（如940 nm）。
所以，测量两个或多个波长的光吸收可以用来估计HbO和HbR的浓度。根据估计的HbO和HbR浓度，大脑中的神经活动可以作为NIRS信号数据进行估计。
源光电二极管106A与检测器光电二极管106B之间的间距控制记录深度。即，源光电二极管106A与探测器光电二极管106B的间隔越远，弯曲光路107对脑组织的穿透越深，记录深度越深。相比之下，源光电二极管106A与探测器光电二极管106B的间隔越远，由于更多的光沿着光路散射，在探测器光电二极管106B捕获的fNIRS信号的信号质量就越差。
每个检测器光电器件106B可以是配置为检测近红外光的近红外光检测器。例如，探测器光电二极管106B可以是光电探测器。每个检测器光电器件106B可以配置为在近红外范围内检测一个或多个预定波长的光。例如，探测器光电器件106B可以配置为检测第一波长的光。另外或者作为替代方案，可以将探测器光电器件106B配置为检测第二波长的光。
图2A-2C的透视图示意图显示了嵌入在IED 200中的fNIRS光电器件组的不同示例性配置。
如图2A所示，IED 200A可以包括一组近红外光电器件106。设备可包括两个源光电二极管106A和一个检测器光电二极管106B。IED 200A可单方记录近红外光谱信号数据。即IED 200A可基于从源光电二极管106A延伸至探测器光电二极管106B的弯曲光路记录近红外信号数据。
所述光源光电二极管106A配置为分别发射两种不同波长的近红外光（例如第一波长和第二波长），所述检测器光电二极管106B被配置为检测两种波长的近红外光。
在另一实施例中，IED 200可以包括一组fNIRS光电二极管106，其中包括一个源光电二极管106A和一个检测器光电二极管106B。所述光源光电二极管106A配置为产生一个或多个波长的近红外光，所述检测器光电二极管106B配置为检测一个或多个波长的近红外光。
在图2A的示例配置中，源光电二极管106A可以与探测器光电二极管106B进行时间复用和时间同步。即，可以按顺序上电以发射两个不同波长的光，并且可以将探测器光电二极管时间同步并配置为检测相应波长的光。检测到的光可用于生成近红外光谱信号数据。
如图2B所示，fNIRS信号数据可以双向记录，而不是单方面记录。为了双向捕获fNIRS信号数据，IED 200B可以嵌入一组互反的fNIRS光电二极管106 ‘，光电二极管106 ‘与另一组fNIRS光电二极管106 ‘互反。
即，图2B中的IED 200B包括一组互反的fNIRS光电二极管106 ‘，其中包括源光电二极管106A ‘和检测器光电二极管106B ‘。可将fNIRS光电器件106’的倒数集配置为在与第一组fNIRS光电器件106记录的fNIRS信号数据基本相同的区域捕获倒数fNIRS信号数据。
即，第一组fNIRS光电二极管106的弯曲光路与倒数一组fNIRS光电二极管106的弯曲光路覆盖的面积基本相同，但光沿相反方向流过所述区域。
可将fNIRS光电器件106’的互易组配置为捕获与NIRS光电器件106捕获的数据交织的互易fNIRS信号数据时间，以增加捕获的fNIRS信号数据的信噪比SNR。通过嵌入互反的fNIRS光电二极管组106 ‘，可以实现双反馈，利用入耳模块每侧的双光电二极管组实现最大信噪比。
第一组的源光电二极管106A和检测器光电二极管106B可以进行时间复用或频谱复用，并进行时间同步以生成NIRS信号数据。同样，互反集的源光电二极管106A ‘和检测器光电二极管106B ‘可以进行时间复用或频谱复用，并进行时间同步以产生互反的fNIRS信号数据。所述互反集可捕获与所述第一组光电器件106捕获的所述fNIRS信号数据交织的互反集fNIRS信号数据时间。
在一个实施例中，可以发射和捕获两个以上波长以生成原始的、未过滤的fNIRS信号数据。可使用比用于第一组的原始、未滤波的fNIRS信号数据的波长数更少的波长数来生成fNIRS光电器件106 ‘的互反集的fNIRS信号数据。例如，可以使用两个不同的波长来生成第一组原始的、未滤波的fNIRS信号数据，而用于噪点估计的fNIRS光电器件106 ‘的互反集的互反fNIRS信号数据可以仅使用两个不同波长中的一个来生成。
如图2C所示，IED 200C可包括多组fNIRS光电器件106以产生滤波后的fNIRS信号数据。例如，多组fNIRS光电器件106可以布置为从IED 200C的一个纵向端侧延伸到另一个的源光电器件106A阵列，以及布置为从IED 200C的一个纵向端侧延伸到另一个的探测器光电器件106B阵列。
源光电器件106A和探测器光电器件106B可以沿IED 200C的长度方向交替，并且光电器件可以用时间复用或频谱复用驱动，以生成可具有相同或不同SDS的多组fNIRS光电器件106中的每一组的fNIRS信号数据。
如前所述，如果探测器到源的距离减小，穿透深度就会降低。在一个实施例中，当产生过滤后的fNIRS信号数据时，可以在颞叶皮层的不同深度捕获大脑活动。因此，可以将IED 200C的光电二极管驱动为与多组fNIRS光电二极管106对应的不同组合的虚拟光电二极管，以生成对应于不同穿透深度的各自组的fNIRS信号数据。
图3是认知负荷估计系统300的框图。认知负荷估计系统300可包括IED 301和认知负荷估计设备350。
IED 301安装在靠近鼓膜120的用户耳道118内，并从耳道118内捕获各种类型的数据。
如图3所示，IED 301可以包括音频传感器302、一个或多个EEG电极304、一组包括源光电器件106A和检测器光电器件106B的fNIRS光电器件、声学传感器308、运动传感器310、控制器312、电池314、通信接口316和声学传感器324。
音频换能器302是扬声器，其从音频数据产生声音并将声音输出到耳道118中。音频传感器302可用于向用户呈现音频信号。
一个或多个EEG电极304捕捉使用者大脑中脑细胞活动产生的电荷。一个或多个EEG电极304可以通过记录不同点之间的电压差来使用差分放大原理，其中不同点将一个主动探测电极位置与另一个邻近或远处的参考电极进行比较。
由EEG电极304捕获的电信号可用于产生定义随时间的波形的EEG信号数据，而波形表示在用户的大脑内发生的电活动。
控制器312可以控制一个或多个EEG电极304以接收EEG电极304捕获的电信号。控制器312可以包括差分放大器，以放大在EEG电极304处检测到的电压信号之间的差异。控制器312同时可以包括模拟-数字转换器，其将来自EEG电极304的电信号转换为表示用户的大脑活动的EEG信号数据。
作为另一示例，控制器312可控制所述光电器件组的源光电器件106A和检测器光电器件106B，以接收与所述检测器光电器件106B检测到的光强度相对应的电信号。然后，控制器312的模拟-数字转换器可将与检测器光电器件106B检测到的光的强度相对应的电信号转换为未滤波的fNIRS信号数据。
脑电图和近红外光谱测量技术可以组合以从真正的神经信号中减去噪点。另外，通过使用这种双模式（即fNIRS+EEG）方法，可以将fNIRS信号数据中可能具有神经来源的部分信号从可能具有系统来源的部分中分离出来。
为了实现这种双模方法，控制器312可以配置为使系统300的fNIRS光电器件106的操作以捕获表示fNIRS信号数据的电信号与系统300的脑电图电极304的操作以捕获表示脑电图信号数据的电信号进行时间同步。
认知负荷估计设备350可以估计用户的认知负荷。所述认知负荷估计设备可包括控制器360。在一些实施例中，认知负荷估计设备350还可以包括一个或多个fNIRS光电器件106、一个或多个EEG电极304，或它们的某种组合。
在一个实施例中，认知负荷估计设备350可以通过网络370接收来自IED 301的数据。所述认知负荷估计设备350可进一步过滤所述fNIRS信号数据，基于所述过滤的数据估计所述用户的认知负荷，并基于所述估计的所述用户的认知负荷执行动作。
在一个实施例中，认知负荷估计设备350是头戴式显示器。
图4A是眼镜设备形态的头戴式设备400。所述头显400是所述认知负荷估计设备350的示例。框架410可以包括一个或多个生物识别传感器。所述生物识别传感器可包括一个或多个fNIRS光电电极106、一个或多个EEG电极304，或其某种组合。
在一个实施例中，可以将头显400配置为基于IED 301中EEG电极304捕获的电信号以及基于头显400中EEG电极304捕获的电信号来生成EEG信号数据。头显400的脑电图电极304可以取代IED 301的脑电图电极304来捕获电信号以产生脑电图信号数据。
图4A进一步示出在用户头部两侧的太阳穴尖端的两组fNIRS光电器件106。当用户戴上头戴式耳机400时，每个光电二极管组可以被安装以便与用户的解剖结构接触。
在一个实施例中，可将头显400配置为基于两组fNIRS光电器件106生成额外的fNIRS信号数据，并且可将认知负荷估计设备350配置为基于配置在IED 301上的两组fNIRS光电器件106生成的fNIRS信号数据生成滤波后的fNIRS信号数据。以及基于设置一组fNIRS光电器件106产生的附加fNIRS信号数据。
图4B是头显形态的头戴式设备405。头显包括显示组件、DCA、音频系统、EEG电极、EOG电极和位置传感器490。图4B示出照明器440、多个扬声器460、多个成像设备430、多个声学传感器480和位置传感器490。
相关专利：Meta Patent | In-ear functional near-infrared spectroscopy for cognitive load estimation
名为“In-ear functional near-infrared spectroscopy for cognitive load estimation”的Meta专利申请最初在2022年5月提交，并在日前由美国专利商标局公布。
需要注意的是，一般来说，美国专利申请接收审查后，自申请日或优先权日起18个月自动公布或根据申请人要求在申请日起18个月内进行公开。注意，专利申请公开不代表专利获批。在专利申请后，美国专利商标局需要进行实际审查，时间可能在1年至3年不等。
