如图2所示。提出基于UDA跨卫星遥感图像云检测框架。GFA该策略通过使用对抗学习策略，有效地减少了网络多个中间层与目标特征分布之间的距离。此外，我们使用对抗训练来增强加权自信息映射I_x一致性。源域采用红色箭头，目标域采用绿色箭头。最佳观赏颜色。

由于区域差异，如图像分辨率、云高动态范围和背景土地覆盖类型，基于源域训练CNN目标域很难概括。本文采用域自适应策略，减少源与目标卫星图像的域差。受Hoffman等人[15]、Tuan Hung等人[16]和Tsai在等人[17]的启发下，我们开发了一种跨卫星图像云检测UDA方法。如图2所示，我们的UDA框架在特征级别和输出级别上实施域对齐，鼓励在源域上训练的语义分割网络很好地推广到目标域。源域和目标域样本在正向传播过程中通过共享分割网络。 具体来说，我们提出了一个GFA实施域自适应的策略。如图2所示，我们将特征图分为不同的组，并根据对抗学习方法将每组特征图应用于域自适应。为了有效地对齐特征，分割网络多个中间层应用GFA域自适应。此外，最先进的方法验证了实施输出级对齐有助于减少域偏移[16]、[26]和[27]进一步促进我们开发有效的输出预测自适应方法，以提高目标图像上的云检测精度。本文介绍了EM对齐源域和目标域输出预测的加权自信息映射方法（I^s_x和I^t_x）为了进一步完善我们模型的泛化。

图3所示。提出云检测GFA和EM域适应：(a)未经训练的模型源和目标域场景结果；(b)和?分别用HFA和GFA自适应训练模型对同一目标域场景的结果；(d)使用GFA和EM在一目标场景中自适应训练模型的结果。

图3中的结果表明，应用域自适应后，预测的准确性显著提高。如图3所示（b）和（c）所示，拟议GFA与传统相比，域自适应HFA域自适应更有效[15]和[21]。然而，检测结果中仍有大量误分类像素。添加输出级EM域自适应后，云检测结果进一步改善，如图3所示（d）所示。 由于目标图像上预测结果的熵图与源图像上的熵图相似，云检测模型对象内部区域产生高预测确定性(低熵)，沿对象边界产生低预测确定性(高熵)。

最近，基于特征对齐的方法在遥感图像分类中取得了巨大的成功[28]和[29]。然而，跨卫星遥感图像语义分割的特征级对齐仍然具有挑战性，因为图像分辨率、频谱差异和较大的外观差距。受分组卷积[30]-[32]和分组注意块[33]的启发GFA以有效最小化源与目标特征域分布之间的距离为策略。如图2所示，我们将中间特征图分为一系列组，并在源数据和目标数据之间使用对抗性学习策略。形式上，给定两个特征映射，源域特征映射F^k_s∈ R^W×H×C与目标域特征映射F^k_t∈ R^×H×C是从分割网络的第k个中间层提取的。

• 特征图分组：为了有效地对齐特征，我们首先沿通道维度将这两个特征图拆分为一系列子特征图 其中R=1，2，4…2ⁿ为特征映射组的数量，f^(k,r)_s∈ R^W×H×(C/R)和f^(k,R)_t∈ R^W×H×(C/R)分别表示从第k个中间层提取的源特征图和目标特征图的第r组子特征图。然后，使用域对抗训练策略将特征对齐应用于这些分组特征图。

• 特征图对齐：基于对抗式学习的UDA已被证明是解决域转移的有效方法[18]。在对抗学习框架下，我们将UDA任务表述为分组特征映射空间中源和目标之间分布距离的最小化。为此，我们设计了一个标准的二进制分类网络作为鉴别器Dfma。形式上，给定两个输入分组子特征映射f^(k,r)_s和f^(k,R)_t，我们最小化交叉熵域分类损失[34]来训练鉴别器D(k,r)_fma。目标函数定义如下： 同时，训练分割网络的对抗目标定义如下 其中，L^adv_D(k,r)fma表示从第k中间层提取的目标特征图的rth分组子特征图的对抗目标。最重要的是，L^adv_D(k,r)fma用于混淆子分类器D(k,r)_fma，以鼓励分割网络G生成域不变特征。第k中间层的GFA损失定义为所有分组子特征图的对抗性损失总和

如图3（c）所示，在多个中间层应用GFA域自适应后，目标图像上模型的预测结果显著改善。然而，在预测的地图中仍然存在许多错误分类的像素。为了进一步提高源训练模型的泛化性能，受到Tuan Hung等人[16]Tsai等人[26]和Pan等人[27]的启发，我们引入EM策略来缓解域差异。

• 加权自信息映射：如图3所示，在没有EM域自适应的情况下，在源域图像上训练的分割网络往往会分别输出源图像和目标图像的过度自信（低熵）和欠自信（高熵）预测。因此，我们使用对抗性训练框架，通过强制执行与源域相似的目标域的熵分布来进行输出级域自适应。与[16]类似，我们在加权自信息图I^s_x，I^t_x∈ R^H×W×C上执行对抗性适应，定义如下： 其中，P^s_x(w,h,c)和P^t_x(w,h,c)是在共通道位置（w，h）处的源图像和目标图像的预测分数。方程（6）和（7）可以被视为香农熵[16]的解纠缠，其定义为：
• 自信息图的对齐：与GFA类似，我们使用对抗训练框架进行输出级域适应。用于加权自信息地图对齐的鉴别器具有与GFAs中使用的鉴别器相同的结构。在域对抗训练中，我们还最小化交叉熵域分类损失[34]，以训练鉴别器D_em。目标函数定义如下： 此外，训练分割网络的对抗目标是

如图2所示，我们对分割网络G有两个输入数据集，即有标记的源域数据集X_s = {(x^s_i, y^s_i)}^Ns_i=1，无标记的目标域数据集X_t = {(x^t_j, y^t_j)}^Nt_j=1，其中x^s_i和x^t_i分别代表源样本和目标样本，y^s_i是x^s_i的关联标签。在训练过程中，分割网络首先使用标记图像x^s_i进行训练，并通过标准的交叉熵损失进行监督 式中p^s_i = G(x^s_i)为预测结果。当我们将未标记的目标图像x^t_i转发到分割网络G时，它由多个GFA损失{L^k_gfa}^K_k=1和一个EM对抗性损失L^adv_Dem监督。因此，分割网络G的最终训练目标L_G定义如下: 其中λ_gfa和λ_em为使目标L_G最小的权值。 此外，目标样本不仅用于训练分割网络G，还用于最小化目标{L_D(k,r)fma}^K,R_k=1,r=1和L_Dem分别训练{D^(k,r)_fma}^K,R_k=1,r=1和D_em，以实现域适应。

• 网络结构

生成模型中，我们使用DeepLabv2[37]作为我们的主云检测框架，采用ResNet-101[38]作为骨干架构，提取包含语义信息的高级特征。DeepLabv2使用了atrous空间金字塔池化(ASPP)模块[37]，该模块融合了多个不同采样率的并行扩展卷积层[39]，以捕获多尺度特征图，用于鲁棒云检测。预测的概率映射为输入图像的1/8 × 1/8 s，并直接上采样到与输入图像相同的大小，从而得到最终的预测结果。 对于判别模型，我们设计了一个标准的二值分类网络作为判别器来对齐源样本和目标样本之间的特征映射和加权自信息映射。所设计的鉴别器的详细结构如图4所示。有4个卷积层，4 × 4核，{256,192,128,64}通道。每个卷积层拥有相同的步幅(步幅= 2)，并同时被一个泄漏纠正线性单元(ReLU)激活(斜率= 0.2)和一个dropout层(dropout rate = 0.5)跟随。通过卷积运算，设计一个全局平均池化层和一个全连接层来获得置信度得分。

• 训练细节

我们提出的UDA框架是在搭载NVIDIA GTX 1080 Ti GPU的Ubuntu 14.04操作系统下的Pytorch框架上训练的。采用随机梯度下降(SGD)算法[40]对发电机网络进行优化。生成器网络和鉴别器网络的学习率分别为2.5 × 10−4和1.0 × 10−4。所有网络的训练衰减策略都是“poly”[41]。小批量大小、动量和重量衰减数分别为4、0.9和5 × 10−4。为了提高性能，我们使用在ImageNet数据集[42]上预训练的模型来微调骨干网(ResNet-101)的参数。 在训练过程中，我们对“Landsat-8→ZY -3”域适应任务设置λ_gfa = 0.001， λ_em = 0.01, R = 4，而对“Gf-1→ZY -3”域适应任务设置λ_gfa = 0.0005， λ_em = 0.01, R = 2。对于所有的域适应任务，即K = 2，我们分别在RestNet-101的Conv4_x层和Conv5_x层的末端特征映射上应用GFA域适应。在“Landsat8→ZY -3”和“GF-1→ZY -3”域适应任务上分别进行60k和40k迭代训练。