研究团队利用可变形相位板实现动态局部像差校正的焦点堆叠成像系统
实现适用于虚拟现实等下游应用的实时注视点渲染视频
（映维网Nweon 2025年09月22日）对更小型化摄像头的追求推动了对计算成像系统的探索，包括降低光学复杂度，例如减少镜片数量。但遗憾的是，这种简化的光学系统通常存在严重的像差，尤其是在离轴区域，仅通过软件难以完全校正。
在一项研究中，沙特阿卜杜拉国王科技大学团队介绍了一种新型成像系统Fovea Stacking。它利用新兴的动态光学元件，即可变形相位板（DPPs），来在图像传感器的任何位置进行局部像差校正。通过可微分光学模型优化 DPP 的形变，可以局部校正离轴像差，从而在注视点（类似于眼睛的中央凹）产生一个具有更高清晰度的焦点图像。将多个这样的焦点图像（每个具有不同的注视点）堆叠起来，就能得到一个无像差的合成图像。
为了在成像预算限制下高效覆盖整个视场，团队提出了 DPP 形变的联合优化方法。鉴于 DPP 器件的非线性行为，引入一个基于神经网络的控制模型，以改善仿真与硬件性能之间的对齐度。
团队进一步证明，在扩展景深成像方面，Fovea Stacking在图像质量上优于传统的焦点堆叠。通过集成物体检测或眼球追踪技术，系统可以动态调整镜头以追踪感兴趣的目标，从而实现适用于虚拟现实等下游应用的实时注视点渲染视频。
为了实现整个视场的高图像质量，传统的成像系统使用复杂的光学镜头系统，经过精心设计以校正轴上和离轴的光学像差。为了小型化此类设计，人们已经取得了巨大进步，从而在小型设备中实现了令人印象深刻的成像效果。遗憾的是，基于现有的设计理念和折射透镜等光学元件，进一步的小型化正接近物理极限。
新型动态可调光学元件的出现带来了新的机遇，它们促成了全新的设计范式。这类元件中最著名的可能是液体可调透镜。所述技术最初笨重且昂贵，但最近已变得足够小巧和经济。一种更新型的动态可调光学元件是可变形相位板（DPP）。
与液体可调透镜类似，DPP 允许动态控制液体表面形状以实现光学目的。然而，DPP 不仅能够控制全局透镜曲率，而且能精细控制局部表面几何形状，从而为自适应光学系统中使用的反射式变形镜提供了一种透射式替代方案。
在这项研究中，沙特阿卜杜拉国王科技大学团队利用 DPP 在紧凑光学系统中动态、局部地塑造光学波前的能力，展示了一种新型的焦点渲染成像系统（参见图 1）。
所述光学设计由一个高度像差的消色差双合透镜和一个可用于像差校正的 DPP 组合而成。这个光学系统缺乏像传统摄像头镜头那样同时校正图像中所有位置的所有像差的复杂性，但是，它能够校正局部感兴趣区域（中央凹）的像差，并在该区域产生具有优异保真度的图像。另外，通过对 DPP 的动态控制，中央凹区域可以放置在图像平面的任何位置，而无需机械运动。堆叠多个这样的焦点图像，可用于重建无像差、高保真度的图像（参见图 1d）。
团队通过实验在三个应用中展示了硬件原型的能力：通过远距离焦点堆栈进行像差校正成像、通过跨不同深度的焦点堆栈进行扩展景深成像，以及在平滑追踪运动过程中的焦点渲染物体跟踪。
对于超焦距以外的成像，通过旋转变焦套筒重新定位传感器平面。随后，在 60 米距离处联合优化五个相位图案并用于图像捕获。为了进行比较，仅使用离焦作为可变的泽尼克多项式项，以优化具有相同图像数量的焦点堆栈。如图 13 所示，单张图像受到显著离轴像差的影响（图 13a）。
尽管焦点堆叠可以部分补偿场曲，但不能完全校正这些像差（图 13b）。Fovea Stacking提供了更好的像差校正，在此比较中，精细结构的分辨率显著提高，文本可读性增强（图 13c）。图 14 比较了基于清晰度的融合（第三列）与使用预优化掩模的融合（最后一列）。真实的硬件缺陷在图像边界处引入了轻微的伪影（在单词“the,” “increasing,” 和 “reducing.” 中最明显）。相比之下，基于清晰度的融合通过在边界处提供更平滑的过渡来减轻伪影。每张图像的清晰度图与其预优化掩模非常吻合，使其成为可靠的融合指标。
为了使用Fovea Stacking实现扩展景深（图 15），在视差空间中介于 535 至 835 毫米之间均匀采样了三个平面，每个平面优化五个相位，总共 15 张图像。四个物体放置在不同深度，其中两个汽车模型以一定角度放置以增强深度变化。为了与焦点堆叠方法进行公平比较，团队优化了 15 个相位，但仅在泽尼克多项式中改变离焦项。
图 16 显示，单次捕获（图 16a）聚焦在大约 652mm 处，受到显著的离轴和离焦像差的影响。尽管焦点堆叠（图 16b）减轻了离焦像差，但离轴像差仍然限制了周边区域的分辨率。Fovea Stacking（图 16c）校正了两种像差，并保留了更精细的细节。对于扩展景深应用，使用预优化掩模进行融合是不合适的，因为物体深度任意变化。
图 17 将融合方法与拉普拉斯金字塔、IFCNN、MGDN和 DEReD进行了比较。像 IFCNN 和 MGDN 这样的成对融合网络在顺序融合整个图像堆栈时会丢失清晰度。尽管 DEReD 同时处理整个堆栈，但可以观察到它过拟合其训练数据，并根据每张图像的聚焦深度产生色调变化。
尽管传统的拉普拉斯金字塔方法实现了相当的清晰度，但在文本可读性和条形码分辨率方面效果较差。他们将基于神经网络的方法质量较低归因于：与它们原本适用的、光学系统通常已良好校正离轴像差的焦点堆叠领域相比，焦点成像引入了不同类型的点扩散函数。相比之下，传统的基于清晰度和基于拉普拉斯金字塔的方法对模糊核较不敏感，从而产生了更好的融合质量。
总的来说，团队提出了一种新颖的成像方法，利用可变形相位板（DPP）在紧凑型光学系统内进行动态、局部的像差校正。所提出方法引入了Fovea Stacking)作为摄像头系统的新范式：通过使用可微分光学模型优化 DPP 波前控制图案，生成跨不同深度的区域校正图像，而这些图像可以堆叠形成高质量、像差大幅减少的合成图像。
为了以最少的扫视运动高效覆盖视场，团队提出了一个 DPP 形变图案的联合优化框架，使得仅需 3-5 张堆叠图像即可实现完全的像差校正。为了解决 DPP 的非线性行为（尤其是对于较大的控制信号），他们开发了一个基于神经网络的控制模型，将所需的波前映射到驱动模式，从而弥合了仿真与实际性能之间的差距。
实验证明了该系统在像差校正成像和扩展景深成像方面的能力。与焦点调整（通过移动镜头或使用液体可调透镜）相比，DPP 的动态自由形状变形为增强各种应用的图像质量提供了卓越的灵活性。分析证明了所提出的基于清晰度的融合方法的鲁棒性，而基于神经网络的方法无法适应焦点堆栈中的模糊核。通过将焦点渲染成像与物体检测或眼球追踪相结合，团队实现了对运动目标的平滑追踪，动态调整成像焦点以将目标保持在中央凹区域内，这为虚拟现实等应用开辟了新的可能性。
相关论文：Fovea Stacking: Imaging with Dynamic Localized Aberration Correction
上述贡献在一个功能齐全的硬件原型上得到了验证：原型足够紧凑，可在受控实验室环境之外使用。随着 DPP 器件向更小型化发展，这种方法可能使其能够集成到移动设备中。团队相信这项研究突出了不断发展的动态可调光学元件如何帮助简化光学系统，并重新定义未来成像设备中光学与计算之间的界限。
