Meta研究员提出如何实现简单紧凑的snapshot穆勒矩阵成像系统
穆勒矩阵成像
（映维网Nweon 2022年03月16日）穆勒矩阵成像（MMI）长期以来都是科技界感兴趣的一种技术，因为它有可能获得有关目标物体或材料的丰富信息。穆勒矩阵封装了对象的整个偏振变换特性，可以用来提取重要的物理参数，例如去极化指数、透射率和延迟率。MMI由两部分组成：极化状态发生器（PSG）和极化状态分析仪（PSA）。
在最常见的MMI技术类型时间分割（DoT）MMI中，对象被PSG产生的不同偏振态依次照亮，然后由PSA依次分析。如果PSA由成像系统组成，则可以逐像素计算整个图像的穆勒矩阵，从而得到穆勒矩阵图像。
尽管DoT MMI系统的构思和实现与其他方法相比更简单，但它们不适合需要快速和/或实时响应的应用。另外，DoT MMI系统通常由多个运动部件组成，导致不必要的体积。社区存在其他方法，其中顺序PSA由snapshot PSA取代，从而形成一个提高系统总时间分辨率的混合MMI系统。与DoT和混合MMI系统不同，snapshot MMI系统可以在单个时间点检索目标所有16个空间变化的穆勒矩阵组件，因此适用于对时间敏感的应用。
然而，与DoT和混合MMI解决方案相比，设计完全snapshot MMI系统的解决方案很少。同时，现有的snapshot穆勒矩阵成像解决方案需要多个偏振光栅、波片和偏振器，从而令设备的体积增加，阻碍了紧凑的实现。
除了紧凑性，业界希望减少光学系统中组件的数量，以降低复杂性，避免失调，并最小化像差。在名为《Towards compact and snapshot channeled Mueller matrix imaging》的论文中，Meta Reality Labs和哈佛大学提出了一种进行snapshot穆勒矩阵成像的新方法，它可以得到紧凑snapshot MMI系统，并适用于时间敏感的应用。
我们可以首先考虑MMI系统的一半：成像PSA。成像PSA同时称为斯托克斯相机。最容易获得的紧凑型斯托克斯相机中的一种是焦平面分割（DoFP）斯托克斯相机，其中栅格偏振器直接在传感器顶部形成图案。DoFP相机结构紧凑，适合时间敏感型应用。
另一种snapshot斯托克斯相机称为振幅分割（DoA）斯托克斯相机，但与DoFP相机相比，由于将场分割为至少四个不同的通道或路径，因此其结构不太紧凑（然后用偏振器分别对其进行分析）。尽管普通的DoFP-斯托克斯相机通常只分析线性偏振状态，但光刻技术的最新进展已经允许在像素上直接绘制波片图案，以分析任意椭圆偏振，从而产生紧凑的全斯托克斯成像。
现在考虑一个定制设计的DOFP全斯托克斯相机，其分析器斯托克斯矢量SA是离散像素坐标（m，n）的周期函数。正如等式2中所看到的一样，入射场的不同斯托克斯component正被不同的2D空间场调制。这将入射场的斯托克斯component映射到k-space中的独立空间频率通道，如图1（a）所示。然后可以在傅里叶域中滤波斯托克斯component，并使用single snapshot张力图像I（m，n）进行检索。为了在k-space中可视化所述信道，团队考虑了（非物理）数值例子斯托克斯图像进行分析，并得到图1（b）所示的强度图像I（m，n）。如图1（c）和图1（d）所示，图1（a）所示的离散空间频率通道清晰可见，分布在频谱的实部和虚部。
在团队的研究中，研究人员将这种方法泛化到包括照明和分析，从而允许以snapshot方式检索穆勒矩阵的所有16个空间变化元素。
现在可以考虑剩下的一半的MMI系统：PSG。为了同时以多个偏振状态照亮目标对象，PSG需要产生空间变化的斯托克斯照明。鉴于最近的进展，液晶和超表面等相变平台可以使用紧凑的单元件设备，并以前所未有的分辨率创建所需的结构化偏振照明图案。
团队假设实现结构化偏振照明，使得2D照明的斯托克斯矢量周期性地变化。在等式5中可以看到，由于周期性结构的偏振照明所引入的调制，Mobj（m，n）的米勒component映射到离散的空间频率通道。现在需要对Sout进行分析，以便恢复有关穆勒矩阵组件的信息。
Sout由等式1中的DoFP斯托克斯相机分析，得到的单强度图像I（m，n）可以按照等式2计算。
可以直观地看到，当使用等式1中的DoFP斯托克斯相机分析信号时会发生什么。分析仪将得出的斯托克斯component放到七个不同频率通道中，其中七个通道中的每一个由于结构化照明而进一步拆分为另外七个通道（总共49个）。因此，穆勒矩阵的不同component映射到不同的空间频率信道。
使用表1中所示的简单线性方程。如果Mobj（m，n）的所有component都是ban limited，并且它们的空间光谱位于滤波器半径内，则可以滤波并提取出M穆勒矩阵component，并且理论上可以精确地重建原始Mobj（m，n）。
作为概念证明，研究人员在ban limited穆勒矩阵信号对所述方法进行了数值测试。团队使用参数（aI 113，bI）=（0.2，0.2）进行照明，使用参数（aA，bA）=（0.6，0.6）进行分析，而滤波器半径为0.1（在k-space中）。
然后，令所有穆勒component的ban limit均位于傅里叶域滤波器的半径=0.1范围内。处理产生的single shot强度图像I（m，n）（图3a），并使用表中定义的方程式。团队无缝恢复了所有16个穆勒矩阵component。恢复的穆勒矩阵正好匹配ban limited信号中的原始穆勒矩阵。
研究人员在图4中总结了结果。图4（a）中绘制了实验获得的穆勒矩阵Moriginal的透射率。假设对线性偏振器进行成像，理想情况下应该正好为1。相反，我们可以看到它的范围在0.7-1之间，变化主要归因于speckle。图4（a）中同时存在一定的高阶空间变化，其源于在光束路径中使用有限孔径。在对实验获得的穆勒矩阵图像进行技术模拟后，团队恢复了一个穆勒矩阵图像，并绘制了其透射率，如图4（b）所示。可以看到，图4（b）与图4（a）很好地匹配，并且忠实地再现了图4（a）中所示的低空间频率特征，例如speckle。图4（a）中更高的频率特征在图4（b）中确实缺失，但考虑到所述技术在空间频率信道周围应用的低通滤波器，这可以预期。
团队同时绘制了期望值，以作为穆勒矩阵空间坐标（m，n）的函数。Moriginal和Mrecovered的期望值并列在图4（c）中以进行比较。团队发现，原始和恢复的穆勒矩阵图像之间有很好的对应关系，并且正如预期的那样，保持了较低的频率特征。
当然，研究人员指出技术的可行性将取决于应用要求，因为成像相对高空间频率的component可能会引入严重的混叠，从而导致恢复的穆勒矩阵图像出现错误值。
总的来说，团队的设计提供了一个实用的路径来实现简单、紧凑的snapshot穆勒矩阵成像系统，尤其是在低空间频率成像的背景下。设计选择的实用性方面在分析仪和照明斯托克斯矢量方面同样非常明显。对于空间频率参数aA、bA、aI、bI和空间坐标（m，n）的任何和所有值，分析器和照明向量始终保持偏振度（DOP）为1。目前，用空间变化的DOP创建精确的结构化照明是不切实际的，而在斯托克斯相机的每个像素处分析不同的DOP同样是不切实际的。团队的方法消除了对不同DOP的担忧，从而令采用当前技术的可能实现变成实际可行。
相关论文：Towards compact and snapshot channeled Mueller matrix imaging
设计紧凑snapshot MMI设备的主要优点是在需要实时反馈和响应的MMI应用中。诸如生物和化学传感应用需要对特定细胞或分子进行紧凑、快速和实时的目标检测响应，例如从健康组织中识别癌组织。另外，计算机视觉新出现的应用可能会受益于一个紧凑的snapshot MMI系统。同时，由于其操作时间短和灵活性，一个紧凑的snapshot MMI系统可能有助于生成用于机器学习应用的大型MMI数据集，并开辟令人兴奋的新调查领域。
