[Paper] Guided Image Filtering(2013)
——本文提出了一种叫做引导滤波器的新型显式图像滤波器。引导滤波器通过考虑引导图像的内容来计算过滤输出，引导图像可以输入图像本身或另一个不同的图像。引导过滤器也是一个比光滑更常见的概念：它可以将引导图像的结构传输到过滤输出，从而实现新的过滤应用，如雾和引导羽毛。此外，无论核心的大小和强度范围如何，引导滤波器自然具有快速和非近似的线性时间算法。目前是边缘保留滤波器最快的滤波器之一。实验表明，引导滤波器在各种计算机视觉和计算机图形应用中既有效又高效，包括边缘感知光滑、细节增强、HDR 压缩、图像抠图/羽化、除雾、联合采样等。
概述
计算机视觉和计算机图形学中的大多数应用都涉及图像过滤来抑制和/或提取图像中的内容。具有显式内核的简单线性平移不变 (LTI) 平均值、高斯、拉普拉斯和滤波器 Sobel 滤波器 [2]已广泛应用于图像恢复、模糊/锐化、边缘检测、特征提取等。或者，LTI 滤波器可以通过求解泊松方程隐式执行，如高动态范围 (HDR) 压缩 [3]、图像拼接 [4]，图像抠图 [5] 操作梯度域 [6]。齐次拉普拉斯矩阵逆隐式定义了滤波内核。
LTI 滤波内核在空间上不变，与图像内容无关。但通常人们可能想考虑来自给定引导图像的额外信息。各向异性扩散的开创性工作 [7] 利用滤波图像本身的梯度来引导扩散过程，避免边缘光滑。最小二乘加权 (WLS) 滤波器 [8] 使用过滤输入(而不是使用过滤输入( [7] 以中间结果为指导，优化二次函数，相当于各向异性扩散，具有非凡稳态。在许多应用中，引导图像也可以是另一个图像，除了过滤输入。例如，着色 [9] 色度通道不得跨亮度边缘渗色；图像抠图 [10] 中，alpha 合成图像中的薄结构应度层应与场景一致。在这种情况下，我们将色度/alpha/深度层作为要过滤的图像，亮度/复合/场景作为引导图像。[9]、[10] 和 [11] 过滤过程是通过优化引导图像加权的二次成本函数来实现的。解决方案是通过寻找一个只依赖指南的大型稀疏矩阵来提供的。平移变量过滤矩阵隐含地定义了平移变量过滤核。尽管这些基于优化的方法 [8]，[9]，[10]，[11] 它通常产生最先进的质量，但它伴随着计算时间的昂贵成本。
另一种引导图像的方法是在过滤器内核中构建其显式。在 [12]、[13] 和 [1] 独立提出并在后面 [14] 双边滤波器可能是这种显式滤波器中最受欢迎的。它在像素上的输出是附近像素的加权平均值，这取决于引导图像中的强度/颜色相似性。引导图像可以输入过滤器本身 [1] 或另一个图像 [14]。双边滤波器在保留边缘的同时，、小波动。尽管此过滤器在许多情况下都有效，但它可能会在边缘附近产生不需要的梯度反转伪影 [15]，[16]，[8] 3.4 节中讨论)。快速实现双边滤波器也是一个具有挑战性的问题。最近的技术 [17]，[18]，[19]，[20]，[21] 依靠量化方法加速可能会牺牲准确性。
本文提出了一种叫做引导过滤器的新型显式图像过滤器。滤波输出是指导图像局部线性变换。一方面，引导滤波器与双边滤波器一样具有良好的边缘保留平滑特性，但不会受到梯度反转伪影的影响。另一方面，引导滤波器可以在平滑之外使用：在引导图像的帮助下，它可以使滤波输出比输入更结构化，平滑度更低。引导滤波器在各种应用中表现良好，包括图像平滑/增强、HDR 压缩、闪光/无闪光成像、抠图/羽化、除雾和联合采样。此外，引导滤波器自然具有灰度和高维图像，无论核心大小和强度范围如何 O（N）时间(以像素数 N）1 非近似算法。通常，我们的 CPU 实现每百万像素的执行 40 ms 灰度过滤：据我们所知，这是保留过滤器最快的边缘之一。
本文的初步版本发表在 ECCV '10 [22] 上。值得一提的是，导向滤波器从此见证了一系列新的应用。引导滤波器实现高质量的实时 O（N） 立体匹配算法 [23]。类似的立体方法是在[24]中独立提出的。引导滤波器也用于光流估计 [23]交互图像分割 显性检测[23] [25] 和照明渲染 [26]。由于其简单、高效、高质量的特点，引导滤波器在计算机视觉和图形上具有巨大的潜力。为了方便未来的研究，我们提供了 [27]。
相关工作
本节将回顾边缘保留过滤技术。我们将其分为显式/隐式加权平均过滤器和非平均过滤器。
平均显式加权滤波器
双边滤波器 [1] 它可能是显式加权平均滤波器中最简单、最直观的滤波器。通过空间和强度距离的高斯加权，将每个像素的滤波输出计算为相邻像素的平均值。在保留边缘的同时，双边滤波器平滑图像。广泛应用于降噪[28]，HDR压缩[15]、多尺度细节分解[29]和图像抽象[30]。它被推广到 [14] 联合双边滤波器的权重从另一个引导图像而不是滤波输入计算。当需要过滤的图像不能可靠地提供边缘信息时，联合双边滤波器尤其流行。例如，当它非常嘈杂或中间结果时，例如闪光/非闪光去噪 [14]图像采样 [ 图像去卷积[32]、立体匹配[33]等。
尽管双边过滤器很受欢迎，但它也有局限性。在 [15]、[16] 和 [8] 双边滤波器可能会受到梯度反转伪影的影响。原因是当一个像素(通常在边缘)周围几乎没有类似的像素时，高斯加权平均值是不稳定的。在这种情况下，结果可能会出现边缘周围不需要的轮廓，通常在细节增强或 HDR 在压缩缩。
双边过滤器的另一个问题是效率。蛮力的实现是 O ( N r 2 ) O(Nr^2) O(Nr2)耗时，内核半径为 r。 Durand 和 Dorsey [15] 基于分段线性模型提出并启用 FFT 的过滤。Paris 和 Durand [17] 将灰度双边滤波器公式化为空间范围 3D 滤波器，如果 Nyquist 如果条件近似为真，则采样该域以加快速度。框架空间内核时，Weiss [34] 基于分布直方图的提出 O ( N l o g r ) O(N log r) O(Nlogr) 时间方法，Porikli [18] 提出了第一个使用积分直方图的人 O ( N ) O(N) O(N) 时间方法。我们指出，构建直方图本质上是在空间范围域中执行 2D 空间过滤器，然后是 1D 范围过滤器。在这种观点下，[34] 和 [18] 都沿距离域对信号进行采样，但不对其进行重构。Yang [19] 提出了另一种 O（N）时间方法，该方法沿范围域进行插值以允许更积极的子采样。以上所有方法都是线性复数 w.r.t. 采样强度的数量（例如，线性块或直方图箱的数量）。它们需要粗略采样才能达到令人满意的速度，但如果奈奎斯特条件严重破坏，则会以质量下降为代价。
空间范围域被推广到更高维度的颜色加权双边滤波 [35]。高维 kd 树 [20]、Permutohedral Lattices [21] 或 Adaptive Manifolds [36] 可以减少由于高维而造成的昂贵成本。但是这些方法的性能与灰度双边滤波器相比没有竞争力，因为它们花费了大量额外的时间来准备数据结构。
鉴于双边滤波器的局限性，人们开始研究快速保边滤波器的新设计。O（N）时间边缘避免小波（EAW）[37]是具有显式图像自适应权重的小波。但是小波的核在图像平面上稀疏分布，核大小受限（到2的幂），这可能会限制应用。最近，Gastal 和 Oliveira [38] 提出了另一种 O（N）时间滤波器，称为域变换滤波器。关键思想是迭代和可分离地应用一维边缘感知滤波器。O（N）时间复杂度是通过积分图像或递归滤波来实现的。 我们将在本文中与此过滤器进行比较。
隐式加权平均滤波器
一系列的方法优化一个二次代价函数，求解一个线性系统，相当于用逆矩阵隐式过滤图像。在图像分割 [39] 和着色 [9] 中，该矩阵的亲和度是颜色相似度的高斯函数。在图像抠图中，抠图拉普拉斯矩阵 [10] 旨在将 alpha 抠图强制为图像颜色的局部线性变换。该矩阵也用于去除雾霾 [11]。[8] 中的加权最小二乘滤波器根据图像梯度调整矩阵亲和度，并产生无晕边缘保留平滑。
尽管这些基于优化的方法通常会产生高质量的结果，但求解线性系统非常耗时。由于需要内存的“填充”问题[40]、[41]，像高斯消元这样的直接求解器并不实用。Jacobi 方法、连续过度松弛 (SOR) 和共轭梯度 [40] 等迭代求解器收敛速度太慢。尽管精心设计的预处理器 [41] 大大减少了迭代次数，但计算成本仍然很高。多重网格方法 [42] 被证明是齐次 Poisson 方程的 O ( N ) O(N) O(N) 时间复数，但是当矩阵变得更加不齐次时，它的质量会下降。根据经验，通过预处理 [41] 或多重网格 [8]，隐式加权平均滤波器至少需要几秒钟来处理 1 百万像素的图像。
已经观察到这些隐式过滤器与显式过滤器密切相关。在[43]中，Elad 表明双边滤波器是求解高斯亲和矩阵的一次 Jacobi 迭代。分层局部自适应预处理器 [41] 和边缘避免小波 [37] 以类似的方式构造。在本文中，我们表明引导滤波器与抠图拉普拉斯矩阵 [10] 密切相关。
非平均滤波器
边缘保留滤波也可以通过非平均滤波器来实现。中值滤波器 [2] 是众所周知的边缘感知算子，是局部直方图滤波器 [44] 的特例。直方图过滤器以双边网格的方式具有 O ( N ) O(N) O(N)时间实现。总变异 (TV) 滤波器 [45] 优化了 L1 正则化成本函数，并且显示为等效于迭代中值滤波 [46]。L1 成本函数也可以通过半二次分裂 [47] 进行优化，在二次模型和软收缩（阈值）之间交替。最近，巴黎等人[48] 提出操纵每个像素周围拉普拉斯金字塔的系数以进行边缘感知滤波。徐等人 [49] 建议优化 L0 正则化成本函数，有利于分段常数解。非平均滤波器通常在计算上很昂贵。
导向过滤器
我们首先定义一个通用的线性平移变量滤波过程，它涉及引导图像 I I I、滤波输入图像 p p p 和输出图像 q q q。 I I I 和 p p p 都是根据应用预先给出的，它们可以是相同的。像素 i i i 处的滤波输出表示为加权平均值： 
其中 i i i和 j j j 是像素索引。 滤波器内核 W i j W_{ij} Wij 是引导图像 I I I 的函数，与 p p p 无关。 该滤波器相对于 p p p 是线性的。
这种滤波器的一个例子是联合双边滤波器 [14]（图 1（左））。双边滤波核 W b f W^{bf} Wbf 由下式给出 其中 x x x 是像素坐标， K i K_i Ki 是标准化参数，以确保 ∑ j W i j b f = 1 \sum_j W^{bf}_{ij}=1 ∑jWijbf=1。参数 σ s \sigma_s σs 和 σ r \sigma_r σr 分别调整空间相似性和范围（强度/颜色）相似性的灵敏度。当 I I I 和 p p p 相同时，联合双边滤波器降级为原始双边滤波器 [1]。 隐式加权平均滤波器（在第 2.2 节中）优化二次函数并以这种形式求解线性系统： 其中 q q q 和 p p p 分别是连接 q i q_i qi 和 $p_i的 N × 1 N×1 N×1 向量， A A A 是仅取决于 I I I 的 N × N N×N N×N 矩阵。(3) 的解，即 q = A − 1 p q=A^{-1}p q=A−1p，与 (1) 具有相同的形式，其中 W i j = ( A − 1 ) i j W_{ij}=(A^{-1})_{ij} Wij=(A−1)ij。
定义
现在我们定义引导过滤器。引导滤波器的关键假设是引导 I I I 和滤波输出 q q q 之间的局部线性模型。我们假设 q q q 是 I I I 在以像素 k k k 为中心的窗口 w k w_k wk 中的线性变换： 其中 ( a k , b k ) (a_k, b_k) (ak,bk)是假设在 窗口 w k w_k wk 中为常数的一些线性系数。我们使用半径为 r r r 的方形窗口。这个局部线性模型确保只有当 I I I 有边时 q q q 才有边，因为 ∇ q = a ∇ I \nabla q = a \nabla I ∇q=a∇I。该模型已被证明可用于图像超分辨率 [50]、图像抠图 [10] 和去雾 [11]。
确定线性系数 ( a k , b k ) (a_k, b_k) (ak,bk)，我们需要来自过滤输入 p p p 的约束。我们将输出 q q q 建模为输入 p p p 减去一些不需要的分量 n n n，如噪声/纹理： 我们寻求一种在保持线性模型 (4) 的同时最小化 q q q 和 p p p 之间差异的解决方案。 具体来说，我们在窗口 w k w_k wk 中最小化以下成本函数： 这里 ϵ \epsilon ϵ，是惩罚大 a k a_k ak 的正则化参数。我们将在 3.2 节研究它的直观含义。方程(6)是线性岭回归模型[51]、[52]，其解由下式给出 这里， μ k \mu_k μk 和 σ k 2 \sigma^2_k σk2 是 w k w_k wk 中 I I I 的均值和方差， ∣ w ∣ \vert w \vert ∣w∣是 w k w_k wk 中像素的数量， p ˉ k = 1 ∣ w ∣ ∑ i ∈ w k p i \bar p_k = \frac{1}{\vert w \vert}\sum_{i \in {w_k}}p_i pˉk=∣w∣1∑i∈wkpi 是 w k w_k wk 中 p p p 的均值 。已获得线性系数 ( a k , b k ) (a_k, b_k) (ak,bk)，我们可以通过（4）计算过滤输出 q i q_i qi。图 1（右）显示了引导过滤过程的图示。
然而，覆盖i的所有重叠窗口 w k w_k wk中都涉及一个像素 i i i，因此在不同窗口计算时，式(4)中 q i q_i qi的值并不相同。一个简单的策略是平均所有可能的 q i q_i qi 值。 所以在计算 ( a k , b k ) (a_k,b_k) (ak,bk) 之后； 对于图像中的所有窗口 w k w_k wk，我们计算过滤输出
注意到 ∑ k ∣ i ∈ w k a k = ∑ k ∈ w i a k \sum_{k\vert i \in w_k