Command Palette
Search for a command to run...
Spatially-Varying Autofocus
Spatially-Varying Autofocus
Yingsi Qin Aswin C. Sankaranarayanan Matthew O'Toole
摘要
A lens brings a single plane into focus on a planar sensor; hence, parts of the scene that are outside this planar focus plane are resolved under defocus. Can we break this precept by enabling a "lens" that can change its depth of field arbitrarily? This work investigates the design and implementation of such a computational lens with spatiallyselective focusing. Our design uses an optical arrangement of a Lohmann lens and a phase-only spatial light modulator to allow each pixel to focus at a different depth. We extend classical autofocusing techniques to the spatially-varying scenario where the depth map is iteratively estimated using contrast and disparity cues, enabling the camera to pro gressively shape its depth-of-field to the scene's depth. By obtaining an all-in-focus image optically, our technique ad vances upon prior work in two key aspects: the ability to bring an entire scene in focus simultaneously, and the abil ity to maintain the highest possible spatial resolution.
一句话总结
卡内基梅隆大学提出了一种计算透镜组合，将洛曼透镜与仅相位空间光调制器结合，使每个像素可在不同深度对焦，并将经典自动对焦扩展为基于对比度和视差线索迭代估计场景深度图，从而在保持最大空间分辨率的同时实现光学全焦成像。
核心贡献
-
提出一种空间选择性计算透镜，使用洛曼透镜和仅相位空间光调制器，使每个传感器像素可在不同深度对焦。该结构可在传感器上光学形成全焦图像。
-
将基于对比度检测和相位检测的被动自动对焦扩展到空间可变成像，通过对比度和视差线索迭代估计场景深度图，使景深与场景几何形状匹配。
-
该方法避免密集焦距堆栈采集，并且无需计算后处理即可形成全焦图像。与以空间分辨率换取角度采样的光场方法相比，它保留了更高的空间分辨率。
引言
在成像系统中，透镜通常只能对场景的一个平面区域对焦，因此该平面上方或下方的点会越来越模糊。这在监控、机器视觉和显微镜等应用中很重要，因为在不同深度对象上获得清晰细节很有价值。现有方法存在权衡：更小的光圈会增加景深，但会减少进光量并引入衍射模糊，而焦距堆栈、编码光圈、光场或基于后处理的重新对焦等方法需要计算重建、大量图像集或空间分辨率损失。作者利用一种由洛曼透镜设计改进而来的可编程计算透镜和仅相位空间光调制器，来塑造空间可变的焦面。其主要贡献是一种光学全焦成像方法，可在无需计算后处理的情况下使非平面场景在传感器上对焦，并辅以空间可变对比度和相位自动对焦技术，这些技术可用最少两张图像恢复深度和焦点。
方法
作者构建了一种 Split-Lohmann 计算透镜，使相机获得空间可变的对焦控制，而不依赖单一全局焦距。其光学核心源自洛曼透镜或阿尔瓦雷兹透镜，由两个三次相位板组成。如果相位板轮廓为 h1(x)=κx3 和 h2(x)=−κx3，则以横向偏移 Δ 叠合二者会产生组合相位调制
h1(x+Δ)+h2(x−Δ)=κ(6Δx2+2Δ3).项 2Δ3 相对于 x 为常数，因此剩余二次相位相当于一个透镜，其焦距与 Δ 成反比。作者将两个相位板之间的相对运动替换为放置在傅里叶平面上的可编程相位斜坡，从而去除机械平移步骤。该相位斜坡的斜率控制有效焦距。对于相机用途，作者通过把 OLED 替换为相机传感器并加入相机镜头来反转显示公式。当传感器与空间光调制器在光学上同位共置时，在不同区域显示不同的相位斜坡斜率可定义不同的局部对焦设置。参考框架图。
为对透镜编程以实现全焦成像，作者求解一个空间可变自动对焦问题。在基于对比度的模块中，每个局部区域被视为一个独立自动对焦任务。使用对比度作为对焦度量，因为一个图像块在接近其正确对焦设置时对比度最大。作者假设完整工作范围为 0 到 W 屈光度。在每次搜索迭代中，在 W/4、W/2 和 3W/4 处采集三个测量值，估计每个图像块的局部对比度，并保留包含最强对比度的半区间。该三分、范围减半搜索在所有图像区域中独立并行进行。图像块划分使用 SLIC 进行超像素分割，因为深度边缘常与纹理边缘对齐，且超像素倾向于避免跨越大深度不连续区域。随着更清晰采集图像改善分割，每次迭代后更新超像素。当更新后的超像素包含在搜索期间被分配到不同深度的像素时，模块分配最常见的对比度最大化深度。如下所示，这会产生逐渐细化的按区域对焦或深度图。
作者还设计了一个基于相位的自动对焦模块，使用双像素传感器。此类传感器在每个微透镜下方包含光电二极管，这些光电二极管通过光圈的不同部分观察光线，形成立体视觉样图对。两个视图之间的视差指示相对于当前焦平面的带符号距离。清晰对焦的点不产生视差，而对焦在传感器前方或后方的点产生方向性视差。作者通过改造基于共轭梯度的光流求解器来估计这一带符号视差。得到的光流大小和方向给出每个区域所需的对焦校正。深度边界带来特殊挑战，因为水平视差与垂直梯度相关，仅使用局部上下文难以将正确偏移分配到边界两侧。为解决这一问题，作者将双像素图像分割为语义有意义的图层，在每个图层内独立计算掩膜光流，并将各图层光流求和形成全局光流图。该光流图随后更新对焦设置并触发下一次采集。参考下图所示的基于相位流程。
实验
实验评估了一个围绕双像素相机、仅相位空间光调制器和定制三次相位板构建的原型空间可变自动对焦系统，并通过点扩散函数测量、全焦成像、自由形状景深控制和空间分辨率分析进行验证。结果表明，该系统能够产生自由形状对焦效果，例如移轴拍摄式成像、对孤立深度区域的选择性对焦，以及光学抑制薄结构。对于全焦结果，基于相位的自动对焦提供最可靠的性能，其次为基于对比度的自动对焦和焦距堆栈方法，而基于调制传递函数比较，焦平面扫描始终表现出更低的空间分辨率。
该比较区分了光学全焦成像与通过小光圈、故意模糊采集或计算重建来实现扩展景深的方法。所提方法在保留大光圈的同时以光学方式形成全焦图像，至少需要一张图像来估计场景几何形状，以及另一张图像用于最终采集。该设计支持动态场景，并可作为副产品提供深度。比较方法通常通过使用小光圈或引入深度不变模糊来降低锐度。焦距堆栈可以产生高质量全焦结果，但需要大量采集而非少量图像。据报道，基于相位的自动对焦是采集结果方法中最强的，而焦平面扫描表现出更低的调制传递函数性能。
实验比较了光学全焦成像与依赖小光圈、人工模糊、计算重建或密集采集的方法。所提方法被证明在保留大光圈并仅使用少量采集的情况下以光学方式产生全焦结果，从而支持动态场景和辅助深度估计。被比较方法要么牺牲锐度，要么需要大量帧，而基于相位的自动对焦在采集结果基线中表现最佳，焦平面扫描则产生较弱的图像质量。