??图像分解是图像处理领域的一个重要课题。它能从源图像中提取显著特征。基于卷积神经网络，我们提出了一种新的图像分解方法。该方法可应用于许多图像处理任务。本文将图像分解网络应用于图像集成任务。我们输入红外图像和可见光图像，分为三个高频特征图像和一个低频特征图像。利用特定的融合策略整合两组特征图像，获得融合特征图像。最后，重构特征图像，获得集成图像。与最先进的融合方法相比，该方法在主观和客观评价方面取得了更好的表现。

关键词：图像融合；图像分解；深度学习；红外图像；可见图像

??图像集成是图像处理中的一项重要任务。它旨在从多模态信号源的图像中提取重要特征，并使用一定的集成策略生成包含多个图像互补信息的集成图像。我们的工作是融合可见光图像和红外图像[1]的常见图像融合任务之一。集成的图像不仅包含被遮挡物体的辐射信息，还保留了足够的纹理细节。目前，安全监控、自动驾驶、目标跟踪、目标识别等领域广泛应用于生产和生活中。

??有许多优秀的集成方法，可以分为两类：传统的和基于深度学习的[2]。大多数传统的方法都是基于信号处理的获取图像的高频和低频，然后合并它们。随着深度学习的发展，基于深度神经网络的方法也显示出巨大的图像集成潜力，因为神经网络可以提取源图像的特征并集成特征。

??传统的方法大致可以分为两类：一类是基于多尺度分解，另一类是基于表示学习的方法。在多尺度域中，将图像分解为多尺度表示特征图，然后通过特定的集成策略集成多尺度特征。最后，通过相应的逆变换获得集成图像。有许多具有代表性的多尺度分解方法，如金字塔[3]、曲波[4]、轮廓波[5]、离散波变换[6]等。

??在表示学习领域。大多数方法都是基于稀疏表示如稀疏表示（SR）梯度直方图（HOG）[7]联合稀疏表示（JSR）[8]、具有多选策略的近似稀疏表示[9]等.

??在低秩领域，李和吴等人。提出了基于低秩的表达（LRR）集成方法[10]。最新方法，如 MDLatLRR [11] 是基于潜在 LRR 图像分解。该方法可提取低秩域的源图像特征。

??虽然基于多尺度分解和表示学习的方法取得了良好的性能。但这些方法仍然存在一些问题。这些方法非常复杂。字典学习是一项耗时的操作，尤其是在线培训。如果源图像非常复杂，这些方法将无法很好地提取特征。

??为了解决这个问题，近年来提出了许多基于深度学习的方法能力，提出了许多基于深度学习的方法[2]。

??小波变换已成功应用于许多图像处理任务。图像融合最常见的小波变换技术是离散小波变换 (DWT) [18] [19]。

??DWT 它是一种可分解为高频信息和低频信息的信号处理工具。一般来说，低频信息包含信号的主要特征，高频信息包含信号的详细信息。二维信息通常用于图像处理领域 DWT 分解图像。图像的小波分解如下: ?? { M L L ( x , y ) = φ ( x ) φ ( y ) M L L ( x , y ) = φ ( x ) φ ( y ) M H L ( x , y ) = ψ ( x ) φ ( y ) M H H ( x , y ) = ψ ( x ) ψ ( y ) (1) \begin{cases}{M_{LL}(x,y)=φ(x)φ(y)}\\{M_{LL}(x,y)=φ(x)φ(y)}\\{M_{HL}(x,y)=ψ(x)φ(y)}\\{M_{HH}(x,y)=ψ(x)ψ(y)}\end{cases}\tag{1} ?????⎪⎪⎪⎧​MLL​(x,y)=φ(x)φ(y)MLL​(x,y)=φ(x)φ(y)MHL​(x,y)=ψ(x)φ(y)MHH​(x,y)=ψ(x)ψ(y)​(1)

  其中 φ ( ⋅ ) φ(·) φ(⋅)是低通滤波器， ψ ( ⋅ ) ψ(·) ψ(⋅)是高通滤波器。输入信号 M ( x , y ) M(x,y) M(x,y)是具有两个方向的信号的图像。沿 x 方向和 y 方向分别进行高通和低通滤波。如图 1 所示，我们可以得到一个近似表示的低频图像和三个高频图像，分别是垂直细节、对角细节和水平细节。

  拉普拉斯算子是具有旋转不变性的简单微分算子。二维图像函数的拉普拉斯变换是各向同性二阶导数，定义为：

▽ 2 f ( x , y ) = ∂ 2 f ( x , y ) ∂ x 2 + ∂ 2 f ( x , y ) ∂ y 2 (2) ▽^2f(x,y)=\frac{∂^2f(x,y)}{∂x^2}+\frac{∂^2f(x,y)}{∂y^2}\tag{2} ▽2f(x,y)=∂x2∂2f(x,y)​+∂y2∂2f(x,y)​(2)

  为了更适合数字图像处理，将方程近似为离散形式：

▽ 2 f ( x , y ) ≈ [ f ( x + 1 , y ) + f ( x − 1 , y ) + f ( x , y + 1 ) f ( x , y − 1 ) ] − 4 f ( x , y ) （ 3 ） ▽^2f(x,y)≈[f(x+1,y)+f(x-1,y)+f(x,y+1)f(x,y-1)]-4f(x,y)\quad\quad（3） ▽2f(x,y)≈[f(x+1,y)+f(x−1,y)+f(x,y+1)f(x,y−1)]−4f(x,y)（3）

  拉普拉斯算子也可以用卷积模板的形式表示，用它作为过滤核： G 1 = [ 0 1 0 1 − 4 1 0 1 0 ] ， G 2 = [ 1 1 1 1 − 8 1 1 1 1 ] (4) G_1=\begin{bmatrix} 0 & 1 & 0 \\ 1 & -4 & 1 \\ 0 & 1 & 0 \end{bmatrix}，G_2=\begin{bmatrix} 1 & 1 & 1 \\ 1 & -8 & 1 \\ 1 & 1 & 1 \end{bmatrix} \tag{4} G1​=⎣⎡​010​1−41​010​⎦⎤​，G2​=⎣⎡​111​1−81​111​⎦⎤​(4)

   G 1 G1 G1和 G 2 G2 G2是离散拉普拉斯算子的模板和扩展模板，可以利用该模板的二阶微分特性来确定边缘的位置。它们常用于图像边缘检测和图像锐化处理，如图2所示。

  我们可以很容易地观察到，传统的边缘滤波通常只是一种高频滤波。在突出边缘的同时，它们也突出了噪点。

  Li和Wu等人提出了一种使用低秩表示[20]分解图像的方法[11]。

  首先，LatLRR[20]可以描述为以下优化问题：

m i n Z , L , E ∣ ∣ Z ∣ ∣ ∗ + ∣ ∣ L ∣ ∣ ∗ + μ ∣ ∣ E ∣ ∣ 1 s t . ， X = X Z + L X + E (5) min_{Z,L,E}||Z||_*+||L||*+μ||E||_1\\ st.，X=XZ+LX+E\tag{5} minZ,L,E​∣∣Z∣∣∗​+∣∣L∣∣∗+μ∣∣E∣∣1​st.，X=XZ+LX+E(5)

  其中 μ μ μ是超参数， ∥ ⋅ ∥ ∗ ∥·∥_∗ ∥⋅∥∗​是核范数， ∥ ⋅ ∥ 1 ∥·∥_1 ∥⋅∥1​是l1范数。 X X X 是观察到的数据矩阵。 Z Z Z 是低秩系数矩阵。 L L L 是一个投影矩阵。 E E E 是一个稀疏噪声矩阵。

  作者使用这种方法将图像分解为细节图像 I d I_d Id​和基础图像 I b I_b Ib​。从图3可以看出， I d I_d Id​是高频图像， I b I_b Ib​是低频图像。

  如图 3 所示，低频图像 I b I_b Ib​ 被连续分解得到几个高频图像 I d 1 、 I d 2 I_{d1}、I_{d2} Id1​、Id2​和 I d 3 I_{d3} Id3​。

  最后，该方法对红外图像和可见光图像进行分解，得到高频图像和低频图像。然后我们进行一定的融合得到融合图像 I f I_f If​ 。

  2017年，刘等人。提出了一种基于神经网络的方法[12]。作者将图片分成许多小块。然后用CNN来预测每个小块是模糊还是清晰。网络构建一个决策激活图来指示原始图像的哪些像素是清晰和聚焦的。一个训练有素的网络可以很好地完成多焦点融合任务。但由于网络设计的限制，该方法仅适用于多焦点图像融合。

  为了使网络能够融合可见光图像和红外图像，Li 和 Wu 等人。提出了一种基于自动编码器的深度神经网络（DenseFuse）[14]。首先，他们训练了一个足够强大的编码器和解码器，可以充分提取原始图像的特征并在不丢失信息的情况下重建图像。然后将红外图像和可见光图像输入编码器得到编码特征，将两组特征具体融合得到融合特征。最后将融合特征输入解码器，得到融合图像。这些方法使用编码器将图像分解为几个潜在特征。然后对这些特征进行融合重构，得到融合图像。

  在过去的几年里，生成对抗网络（GANs）也被应用于许多领域，包括图像融合。在 [16] 中，FusionGan 首先使用 GAN 生成融合图像。发生器输入红外和可见光图像并输出融合图像。为了提高生成图像的质量，作者设计了合适的损失函数。最后，生成器可用于融合任何红外图像和可见光图像。

  鉴于这两种方法的优越性，我们提出了一种基于神经网络的多层图像分解方法。并基于该方法提出了红外图像和可见光图像的图像融合框架。

  在本节中，将详细介绍所提出的基于多尺度分解的融合网络。首先，融合框架在第 III-C 节中介绍。然后，在第 III-A 节中描述了训练阶段的细节。接下来，在第 III-B 节中，我们给出了网络损失函数的设计。最后，我们在第 III-D 节中提出了不同的融合策略。

  在训练阶段，我们丢弃融合策略，训练分解网络。

   我们的训练目标是让分解网络更好地将源图像分解成几张高频和一张低频的图像，用于后续的操作。网络结构如图4所示，详细网络设置见表I。

  在图 4 和表 1 中， I o r i I_{ori} Iori​ 是原始输入图像， I r e I_{re} Ire​ 是重建图像。网络的主干是四个特征提取卷积块 （ C i n 、 C 1 、 C 2 、 C 3 ） （Cin、C1、C2、C3） （Cin、C1、C2、C3）。

   那么下面就是低频特征提取部分，也就是图中的‘语义’块。图 6 所示的“语义”块包括两个步幅为 2 的下采样卷积层 （ S 0 ， S 1 ） （S0，S 1） （S0，S1）