斯坦福、港大、英伟达研究员用全息术+先进纳米光子学，实现真正普通尺寸AR眼镜
使用反向设计的全色超表面光栅、紧凑的色散补偿波导几何结构和人工智能驱动的全息算法组合来克服相关挑战
（映维网资讯）斯坦福大学、英伟达和香港大学的研究人员日前介绍了一种有望改变可穿戴技术发展方向的AR系统。由新兴空间计算领域的专家开发的原型AR头显将全息成像引入普通眼镜，并以紧凑舒适的形状参数来为用户提供令人满意的3D体验。
通过利用全息术和先进的纳米光子学，研究人员无需依赖庞大的额外光学器件就能将计算全息图投影到眼镜镜片。
新兴的空间计算系统能够将数字信息无缝叠加在用户的物理视图，从而实现了娱乐、教育、通信和培训等各个领域的变革体验。然而，AR显示器的广泛采用受到了限制，这是由于其光引擎的庞大投影光学系统以及其无法准确描绘虚拟内容的3D深度提示等因素所影响。
针对这个问题，斯坦福大学的研究人员提出了一种全息AR系统，使用反向设计的全色超表面光栅、紧凑的色散补偿波导几何结构和人工智能驱动的全息算法组合来克服相关挑战。元件属于共同设计，以消除空间光调制器和波导之间对庞大准直光学器件的需求，并以紧凑的设备形状参数来呈现充满活力的全彩3D AR内容。
与其他波导相比，团队提出的光学系统在实现全彩3D全息图像的中继方面具有独特性，具有高均匀性和透视效率。这种显著的能力是通过使用反向设计的元表面光栅耦合器实现的。在AR、VR和可穿戴设备等应用中，超表面已证明比传统的折射和衍射光学元件提供更高的衍射效率、光谱选择性、Q因子和透射率。
与所述方法不同，团队的方法不仅优化了设备并展示了超表面的新应用，而且共同设计了整个光学系统，包括高折射率玻璃波导和超表面光栅耦合器的几何形状，以实现与全息AR显示系统的兼容。
波导全息术由于其图像质量差，其应用受到限制。为了应对这一挑战，研究人员结合物理精确建模技术和人工智能，开发了一个描述相干波在波导中传播的数学模型。模型的可学习部分通过使用摄像头反馈进行自动校准。这种方法显著推进了最近的人工智能驱动全息算法，使其适用于透视AR配置中的紧凑波导。利用所述系统，单个OST AR波导获得了高质量、全彩的多平面3D全息图像。与相关的光学设计相比，系统以紧凑的形状参数提供了前所未有的全色图像质量，为真正的3D全息AR眼镜开辟了道路。
反向设计超表面波导
对于OST AR显示器，至关重要的是为用户提供一个无障碍的物理环境视图，同时将数字信息叠加在视图之中。波导图像组合器是薄透明光学系统，并已成为应用的行业规范。团队的超表面波导系统设计优化了紧凑性、色散校正、传输效率和角度均匀性，以满足3D AR应用的高要求。
波导系统中相干波前的精确操作对于全息显示器至关重要，但由于相干光的干涉性质，这非常具有挑战性。研究人员使用具有所有玻璃超表面均匀设计的高折射率玻璃材料来应对这一挑战。
为了使边界反射和干涉最小化，紧凑型波导系统需要单层耦合器。耦合器必须以高衍射角引导宽带可见光通过波导，确保全内反射（TIR）。
数值分析表明，折射率为1.8或更高是通过单个耦合器传输所有红色、绿色和蓝色波长所必需的，更高的折射率扩大了视场。这强调了在系统设计中使用高折射材料的重要性。另外，高折射率玻璃（n > 1.8）可以确保最小的吸收损耗（k ≈ 0）并提供足够的光-物相互作用，而典型的玻璃（n < 1.5）由于弱光-物相互作用而不足以局部操纵电磁波。结果，高折射率玻璃超表面实现了高透过效率和衍射效率之间的平衡，超过了典型玻璃超表面的能力。
尽管高折射率玻璃能够利用TIR传播宽带光，但全色操作同时需要色散校正。作为设备级解决方案，色散工程超表面可能是一种选择，但它们通常没有足够的自由度来满足AR应用所需的系统性能（即高均匀性和透视效率）。
所以，团队通过超表面波导系统的几何设计和输入输出耦合器的k矢量匹配，在系统级校正色散。输入和输出耦合器设计为具有相同的动量，但方向相反，因此它们可以在没有可观察到的色散的情况下将入射光耦入和耦出。
另外，为了在空间上匹配耦合器，研究人员通过精确设计波导厚度以及对称超表面耦合器的尺寸和距离来设计色散补偿波导几何结构。来自耦入器的红色、绿色和蓝色波前分别通过一次、三次和五次内反射传播通过波导，然后在耦出器处相遇，如上图a所示。
为了优化超表面光栅的几何结构，以获得最大的衍射效率和角响应的均匀性，团队采用了严格的耦合波分析求解器。超表面耦合器以横向电偏振模式工作，以提供更均匀的光学响应。优化过程使用梯度下降法，从2D空间域中随机初始化的几何体开始，并利用Adam解算器来细化元表面光栅的轮廓。
优化回路中的损失函数使红色、绿色和蓝色波长的第一衍射级效率之和最大化，同时使这三种波长的不同入射角（从−5°到5°）的效率标准偏差最小化。通过假设x轴对称性将设计过程简化为一维，并通过添加高斯模糊来考虑大面积超表面的制造公差。所得到的设计收敛到双线超表面光栅，如上图c所示。
这种几何形状产生了超表面耦合器，可以将入射波引导到红色、绿色和蓝色波长的高衍射角，如电场分布和叠加的坡印廷矢量所证实的。重要的是，优化的不对称纳米结构不仅提高了一个方向上的衍射效率，而且提高了入射角上的均匀性。
上图e显示了反向设计的超表面耦合器实现的高穿透效率，在可见光谱中达到约78.4%。上图f则包含反向设计的超表面和红色、绿色和蓝色波长的典型光栅的传递函数。
与传统光栅相比，由于纳米结构中优化的电磁共振，无论入射角如何，超表面都表现出均匀的透射率。上图g量化了传递函数的均匀性，传递函数定义为视角范围内最小振幅和最大振幅的比率。反向设计的超表面对红色、绿色和蓝色分别具有61.7%、91.2%和98.3%的高均匀性，而传统光栅只能实现了58.9%、47.7%和88.8%的均匀性。
所述发现证实了反向设计的全玻璃超表面耦合器为全色操作提供了极好的角度均匀性和高透过效率。
全息波导制造的一个关键挑战是对表面不规则性或颗粒污染的高灵敏度，这直接影响观察到的图像质量。所以，研究人员使用电子束光刻技术，在不使用任何其他组成材料的情况下，直接在含铅高折射率玻璃制造超表面系统。
为了避免残留物颗粒污染或剥离工艺的表面损坏或物理蚀刻引入的表面不规则性，团队避免了用于超表面制造的常用光刻工艺，包括带金属剥离的正电子束抗蚀剂或用于制作蚀刻掩模的负电子束抗抗蚀剂。相反，他们提出的方法是基于使用多种干法蚀刻方法用正电子束抗蚀剂反向图案化，从而避免剥离硬掩模。请注意，这种方法同时可以应用于大规模生产的光刻或纳米压印光刻。
波导传播模型
为了模拟相干光通过超表面波导的传播，团队首先推导了一个物理激励模型。然后，他们展示了如何通过神经网络组件对模型进行参数化，而组件可以从摄像头反馈中自动学习。正如实验所示，物理和人工智能组件的独特组合对于准确建模这种波导的物理光学器件并用它合成高质量的全息图至关重要。
尽管诸如fWG之类的物理模型应该准确地描述波导中的波传播，但在实践中，以所需的精度对这种物理光学系统的所有方面进行建模是具有挑战性的。模拟模型与SLM的光学像差、制造误差、源光束或电光效应之间的光波长量级的纳米差异强烈降低了观察到的全息图像质量。
为了解释模拟模型和物理光学之间的这些微小差异，研究人员在模型中添加了卷积神经网络（CNNs）形式的可学习组件。他们建议将参数aIC和aOC学习为复值场、空间变化的衍射效率以及耦合器内和目标平面的CNN，以解释模拟模型和物理光学之间的不匹配。
实验结果
原型AR显示器将制造的超表面波导与HOLOYE LETO-3纯相位SLM相结合。这个SLM的分辨率为1080 × 1920像素，间距6.4 μm。由于我们的照明通过波导的背面，研究人员稍微倾斜SLM和照明，这样数字内容就不会被到达SLM之前耦合到波导中的任何不需要的光遮挡。
团队在上图展示了原型的实验捕获结果。在a中，定性和定量地评估了2D图像质量，并比较了一个简单的自由空间传播模型、一个使用严格耦合波分析模拟传递函数的物理激励波传播模型和所提出的将物理模型与摄像头校准的可学习参数相结合的基于人工智能的变体。
图b验证了系统在所呈现的数字内容的焦内和焦外区域实现的高图像质量。对3D散焦行为的准确描述则可以减轻显示系统用户的视觉调节辐辏冲突和相关的不适。
最后，图c显示了实验性的全彩3D结果，其中物理场景与数字叠加的内容进行光学组合，并使用摄像头的不同焦点设置来捕捉场景。同样，团队提出的方法在很大程度上优于基线模型。
如上图所示，团队将用传统的自由空间传播模型和他们提出的物理波导模型制作的同一场景的视频全息图进行比较。可以看到，上图表明了团队的分析波导模型和人工智能算法的混合对于实现高质量全色全息图至关重要。
通过利用全息术和先进的纳米光子学，研究人员无需依赖庞大的额外光学器件就能将计算全息图投影到眼镜镜片。
电气工程副教授兼空间计算专家戈登·韦茨施泰因（Gordon Wetzstein）表示，“我们的头显在外界看来就像一副日常眼镜，但佩戴者通过镜片看到的是一个丰富的世界，上面叠加着充满活力的全彩3D计算图像。”
当然，团队提出的AR显示器只能在狭窄的视场中叠加图像，只能在用户面前显示大约12度的弧线图像。但科学家们指出，未来的研究可以改善这一视场，例如通过使用一种比目前用于超表面的玻璃更善于弯曲光线的材料。
延伸阅读：Full-colour 3D holographic augmented-reality displays with metasurface waveguides
当然，不要指望很快就能买到上文所述的全息AR眼镜。韦茨施泰因指出，他们开发的技术“尚没有完全准备好投入大规模生产。将这种原理验证技术开发成消费品可能需要数年时间。”
这一突破具有深远的影响，可能影响教育、培训、医疗保健和娱乐等领域。实验结果表明，与传统模型相比，斯坦福大学团队提出的系统具有卓越的图像质量和显著的性能。特别是，人工智能驱动的波传播模型显著优于基线，解决了AR技术中的关键挑战，如3D散焦行为。
