斯坦福大学研究员将全息技术向“真3D”再迈出重要一步，开发普适性计算全息框架
具有普适性的计算全息框架
（映维网Nweon 2022年09月01日）增强现实和虚拟现实系统能够带来前所未有的沉浸式用户体验，但当前AR/VR平台的光引擎在峰值亮度、功率效率、设备形状参数、对感知重要焦点线索的支持、以及校正用户视觉像差能力等方面都受到不同程度的限制。所以，学界和业界正在积极探索各种解决方案，例如全息近眼显示器。
对于这一点，你或许会对由斯坦福大学博士后研究员Yifan Peng和电子工程副教授Gordon Wetzstein等人组成的团队有印象。他们已经就全息显示技术发表了多份研究论文。( 注：Yifan (Evan) Peng 现已加入香港大学任职助理教授，感兴趣可以联络关注。）
延伸阅读：斯坦福大学在Siggraph演示最先进AR/VR全息显示技术
延伸阅读：实现高质量AR/VR全息显示，斯坦福大学提出神经网络参数化平面到多平面波传播模型
在不久前，Yifan Peng和Gordon Wetzstein等人又发表了一份名为《Time-multiplexed Neural Holography: A flexible framework for holographic near-eye displays with fast heavily-quantized spatial light modulators》的论文，而Yifan Peng撰文简要介绍了这一研究：
据介绍，全息近眼显示器为虚拟和增强现实系统提供了前所未有的潜力，包括视觉感知上重要的聚焦提示。近几年，用于CGH的人工智能驱动算法在提高全息图的图像质量和合成效率方面取得了很大进展，但传统CGH算法并不直接适用于部分新兴的器件，例如快速但提供精度有限的相位控制型空间光调制器（SLM）。
这种SLM的高速特性提供了时间复用的巨大潜力，基本上可以实现部分相干的全息显示模式，大大提升了全息显示的信息带宽积。值得注意的是，增加的带宽积和全息编码能力并非传统硅基液晶相位调制器件可以比拟。
针对这个问题，包括Yifan Peng和Gordon Wetzstein等人的斯坦福大学和英伟达团队提出了一种相机校准波传播模型，并且开发了一个具有普适性的计算全息框架。所述框架可以稳健地优化SLM的有限度离散量化相位模式。具体而言，它可以灵活地支持不同类型内容的监督优化，包括 最基本的2D图像，2.5D的RGBD、3D 焦点堆栈，以及4D光场。
上图是团队提出的全息图生成流程。其中，空间光调制器 SLM 的复值字段由若干可学习的项（包括离散查找表等）进行调整，然后交由神经网络 CNN 进行处理。
具体而言，所述研究使用ASM波传播算子将得到的复值波场，结合在傅立叶域的幅度和相位，传播到所有拟定的目标平面。接下来，每个目标平面的复波场由多个较小的CNN进行再次处理。
研究人员指出，这个框架适用于多种输入形式，包括2D 平面图像、2.5D的RGBD图像、3D Focal Stack焦点堆栈、以及4D光场。
实验表明，他们在理论层面和实验效果层面均取得了明显的突破，所述框架可以产生高质量、单像素级别的深度线索，其引入的时间复用自由度和编码能力保留了相位分布随机性（角谱范围带宽足够），可表现出自然的浅景深和离焦模糊行为。
当然，团队坦诚研究目前在实时性优化上依然存在一定的挑战，需要进一步探讨利用平行研究工作HoloNet实现3D时序全息图快速生成的可行性。
但总的来说，相关研究工作在模拟仿真和实验显示中都展示了非常出色的立体全息显示效果，使得全息技术在显示领域的应用从现有诸多“伪3D”或“小部分3D”向“真3D”迈出了又一步。
