L2UWE: A Framework for the Efficient Enhancement of Low-Light Underwater
Images Using Local Contrast and Multi-Scale Fusion阅读札记
??论文于2020年发表CVPRW。
1 Abstract
??水下图像通常不依赖阳光，，且，这些因素的综合作用导致水下图像暗区域，降低颜色、对比度和清晰度。 ??本文提出了一种新的，通过两个不同的模型生成两个增强图像，一个突出更详细的细节，另一个专注于消除黑暗，最后使用多尺度集成过程来组合这些图像，突出高对比度、显著性和色彩饱和度的最终结果。
2 Previous Works Supporting
2.1 基于暗通道先验的单个图像去雾
（1）成像模型
??下面会有雾图像 I I I形成描述为直接衰减和大气光两个附加分量之和： 
?? J J J：无雾图像 ?? x x x：空间位置 ?? t t t：透射图表示到达光学系统的光量 ?? A ∞ A_∞ A∞：估计大气光 ??：由于介质的特性，场景辐射衰减。 ??：表示由于前向散射光，可能会导致的有雾图像上颜色偏移。 ⭐去雾工作的目标是通过确定 A ∞ A_∞ A∞和 t t t来找到图像 J J J的无雾版本。
（2）暗通道 J d a r k J^{dark} Jdark
何凯明等人提出了暗通道先验（DCP）, 即图像中非天空区域的点在RGB通道上至少有一个通道像素值接近于0。暗通道可描述为： 暗通道 J d a r k J^{dark} Jdark即首先求图像 I I I在像素 y y y处的三个通道最小值，然后对得到的单通道图求patch Ω Ω Ω的最小值。
（3）大气光 A ∞ c A_∞^c A∞c
在前人的研究中，把大气光取值定在图像中雾最不透明的区域，而雾最不透明的区域即雾最浓的区域，也就是暗通道最大值的区域，故可以通过查看暗通道中前 0.1 % 0.1\% 0.1%或 0.2 % 0.2\% 0.2%最亮的像素来推断大气光 A ∞ c ( c ∈ { R , G , B } ) A_∞^c (c∈\{R,G,B\}) A∞c(c∈{ R,G,B})，然后考虑来自输入图像 I I I的相同坐标中最亮的像素。Ancuti等人[1]发现单一的全局值可能无法代表低照度场景的照明，因此提出公式3估计patch Ψ Ψ Ψ内的局部大气光强度 A L ∞ c A_{L∞}^c AL∞c： x x x：局部大气光中的空间坐标 y y y：“最小”图像 I m i n ( z ) = m i n z ∈ Ω ( y ) ( I ( z ) ) I_{min}(z)=min_{z∈Ω(y)}(I(z)) Imin(z)=minz∈Ω(y)(I(z))中的空间坐标 z z z：有雾图像 I I I中的空间坐标 对于每个颜色通道 c ∈ { R , G , B } c∈\{R,G,B\} c∈{ R,G,B}，局部大气光 A L ∞ c A_{L∞}^c AL∞c的计算方法是：首先找到 I m i n c I_{min}^c Iminc（表示在 I c I^c Ic上的patch Ω Ω Ω内的最小强度）；然后计算在 I m i n c I_{min}^c Iminc上的patch Ψ Ψ Ψ内的最大强度。Ancuti等人认为光源的影响超出了patch Ω Ω Ω，使用两倍于 Ω Ω Ω的patch Ψ Ψ Ψ。
（4）透射图 t t t
A ∞ c A_∞^c A∞c： [ 0 , 255 ] [0,255] [0,255]范围内的大气光，得到归一化图像 ( I c ( y ) / A ∞ c ) (I^c (y)/A_∞^c ) (Ic(y)/A∞c)范围为 [ 0 , 1 ] [0,1] [0,1]。 ω ω ω：常数 ω ( 0 ≤ ω ≤ 1 ) ω(0≤ω≤1) ω(0≤ω≤1)保留了一部分雾，产生更真实的输出。 ⭐。
（5）无雾图 J J J
由于当 t ( x ) ≈ 0 t(x)≈0 t(x)≈0时，直接衰减 D ( x ) = J ( x ) t ( x ) D(x)=J(x)t(x) D(x)=J(x)t(x)可以接近于零，因此将 t 0 t_0 t0项作为下限添加到 t ( x ) t(x) t(x)中，有效地保留了 I I I的雾度密集区域中的少量雾度。
2.2 用于增强低光图像的对比度引导方法
Marques等人[2]观察到在整个图像去雾过程中使用单一尺寸patch Ω Ω Ω会带来的三个问题： （1）小尺寸patch将导致恢复场景的辐射过饱和（非自然色）； （2）大尺寸patch更好地估计和消除薄雾，但由于他们认为透射轮廓（即，到达相机的光量）在patch Ω Ω Ω内是恒定的，因此在强度不连续周围可能会出现不需要的光晕； （3）对于不同比例的图像，单个patch尺寸通常不是最佳的。 为了确定图像 I I I中每个像素的正确patch大小，Marques等人[2]引入了对比码图像（ C C I CCI CCI），计算如下： Ω i ( x ) ∈ I Ω_i (x)∈I Ωi(x)∈I：以空间坐标 x x x为中心，大小为 ( 2 i + 1 ) × ( 2 i + 1 ) ( i = { 1 , 2 , … , 7 } ) (2i+1)×(2i+1)_{(i=\{1,2,…,7\})} (2i+1)×(2i+1)(i={ 1,2,…,7})的正方形patch。 σ σ σ：patch Ω i Ω_i Ωi内强度的标准差（考虑三种颜色通道）。 因此， C C I CCI CCI由 i i i填充，表示在每个像素位置 x x x生成最小的 σ σ σ的patch大小。还引入了一个名为公差的变量，通过改变不同 i i i的 σ σ σ值来激励使用更大的patch尺寸。 。对于像素位置 x x x，可以使用大小为 ( 2 c + 1 ) × ( 2 c + 1 ) (2c+1)×(2c+1) (2c+1)×(2c+1)（其中 c = C C I ( x ) c=CCI(x) c=CCI(x)）的patch，而不是固定大小的patch。这种对比引导的方法显著缓解了上述三个问题。
2.3 用于图像增强的多尺度融合
Ancuti 等人[1]提出，首先通过原图计算出两个输入图像 J k ( k = { 1 , 2 } ) J^k (k=\{1,2\}) Jk(k={ 1,2})（白平衡版本+对比度增强版本）来执行去雾，然后计算出每个输入 J k J^k Jk的重要特征的三个权重图： （1）亮度 W L k W_L^k WLk：为具有良好可见性的像素分配高权重值，该权重图是通过观察 J k J^k Jk的R、G和B颜色通道与亮度 L L L（给定位置的像素强度平均值）之间的偏差得到的； （2）色度 W C k W_C^k WCk：控制输出图像的饱和度增益，可以通过测量每个颜色通道与输入图像的标准差来计算； （3）显著性 W S k W_S^k WSk：突出具有更大显著性的区域，通过将输入的平均值减去其高斯平滑后的结果来获得。 为了最小化权重图组合引入的视觉伪影，Ancuti等人[1]使用多尺度融合过程，其中针对每各输入图像的归一化权重图 W ‾ k \overline{W}^k Wk（即所有三个权重的乘积之间以及它们的和之间按像素划分）计算高斯金字塔，而输入图像 J k J^k Jk分解为拉普拉斯金字塔。假设两个金字塔的层数相同，可以使用下式独立融合： l l l：层数（通常为5） L { I } L\{I\} L{ I}： I I I的Lapacian G { W ‾ } G\{\overline{W}\} G{ W}： W ‾ \overline{W} W的高斯平滑版本 在应用适当的上采样算子之后，融合结果是来自不同层的贡献的总和。
3 Method
Marques等人[2]提出的对比度引导方法是建立在光源是白色的假设之上，在阳光下的空中有雾图像中效果很好，但不能正确地表示低光场景，因为低光场景可能呈现不均匀或非白色照明。在低光图像使用这种方法会导致图像中部分区域增强过度，纹理模糊。 针对以上问题，本文提出L2UWE模型，将局部对比度信息视为指导参数，以推导两个不同“透镜”下的照明分布模型： （1） 使用较小的局部区域，捕获原始图像的更精细的细节。 （2） 使用较大的局部区域，创建更明亮的模型。 L2UWE 在图像的反转版本中计算CCI，使用基于对比度的暗通道导出两个考虑局部照明的大气照明模型，两个传输图生成多尺度融合过程的输入，为每个输入计算三个权重图，将其组合以提供框架的输出。L2UWE的pipeline如下图所示：
3.1 用于图像增强的多尺度融合用于低光场景的对比度感知局部大气照明模型
使用暗通道的部分来为水下图像推导单个全局估计 A ∞ A_∞ A∞会产生过亮和褪色的结果，且单个全局估计 A ∞ A_∞ A 标签： gwk40温度传感器