文章来源：智能实验室计算高性能空间
中国地质大学(武汉)高性能空间计算智能实验室（HPSCIL@CUG），研究方向包括：时空大数据分析与挖掘、时空动态模拟、高性能地理空间计算、空间计算智能与机器学习，以及在城市空间、土地覆盖与利用、生态环境等领域的应用。
Q. Zhu, Y. Sun, Q. Guan, L. Wang, and W. Lin*,IEEE Transactions on Geoscience and Remote Sensing, DOI: 10.1109/TGRS.2022.3170335. （SCI TOP, IF: 5.855）
，中国地质大学（武汉）地理与信息工程学院博士、副教授、硕士导师。主要从事遥感大数据智能提取分析和应用研究。
联系方式：zhuqq@cug.edu.cn；个人主页：http://grzy.cug.edu.cn/zhuqiqi
，中国地质大学(武汉)地理与信息工程学院硕士学位。研究兴趣包括高分遥感图像解译、场景分类和域自适应。
，中国地质大学（武汉）地理与信息工程学院博士、教授、博士导师。主要从事高性能空间计算、空间计算智能、时空大数据挖掘和模拟。
，中国地质大学（武汉）计算机学院博士、教授、博士导师。主要从事数字地球理论、遥感信息工程和地质信息应用。
，博士，中国地质大学（武汉）地理与信息工程学院副教授、硕士导师。主要从事地理计算与空间分析、空间信息应用工程、地理信息系统等方面的研究。
论文下载链接：https://doi.org/10.1109/TGRS.2022.3170335
01
高空间分辨率（HSR）遥感图像场景分类是土地利用解译的重要方法。然而，目前大多数场景分类方法都假设遥感图像训练集和测试集遵循相同的特征分布。这种假设在实际应用中很难保证。域自适应（DA）机器学习范式能有效缓解这类问题。然而，过去的研究大多集中在源域（SD）和目标域（TD）在整体分布上，这将失去两个域域之间的上下文关系，忽略特征冗余。然而，大多数DA该方法通常只使用手动设计的测量标准来建立SD和TD之间的关系，这是不充分而且复杂的。本文提出了一种用途HSR对跨域土地利用分类的弱伪进行监督，以适应相关子领域（WPS-DSA）框架。在WPS-DSA基于子领域自适应网络的特征提取器用于提取两个域的子领域间特征。引入自适应白化，以减弱遥感图像特征冗余的影响（SW）模块。此外，还设计了域分级采样（DHS）以简单的方式加强机制SD和TD之间的关系。最后，本文构建了武汉-上海（WH-SH）DA数据集来自武汉和上海两个具有代表性的中国城市，以验证框架的泛化性。三个公开HSR数据集和WH-SH DA数据集中的跨域实验结果表明，WPS-DSA具有良好的性能和泛化能力。
02
近几十年来，随着卫星传感器技术的快速发展，特别是高空间分辨率的高质量遥感图像数量图像正在迅速增加（HSR）遥感图像为从细节层面提取土地利用信息提供了新的机会。土地利用信息是规划师、地理学家和研究人员了解地球表面性质的基础。作为解释土地利用信息的重要手段，HSR场景分类已成为热门研究领域。场景分类是根据预定义的语义类别指定语义标签的过程，可广泛应用于智能城市、环境监测和城市规划。
HSR从基于低级特征到现在基于高级特征的图像场景分类方法可以概括为分类方法。基于底层特征的最早遥感图像场景分类方法是通过提取颜色、纹理和结构特征直接描述场景，并借助传统分类器对图像进行分类。例如，Lowe提出了尺度不变特征的变化（SIFT）提取遥感图像的独特不变特征。Swain和Ballard可用于区分场景图像个稳定的对象，可以用来区分场景图像。但低层特征过于简单明了，直接应用于复杂多变的空间分布HSR影像场景效果差。基于中间层特征的方法主要是将图像的局部特征映射到字典空间或参数空间。例如，Olshausen和Field为了更有效地表达场景特征，设计了一种稀疏的编码方法。Yang和Newsam提出了视觉词带（BOVW）该方法将低级特征映射到适当的参数空间，以获得中级特征。基于中层特征的方法在一定程度上解决了底层特征的局限性。然而，这种方法仍然依赖于人工设计的特点，难以处理跨分辨率和跨区域场景分类。最近，以卷积神经网络（CNN）上述传统的场景分类方法是以强大的高级特征提取能力为代表的深度学习方法。深度学习技术可以自动学习HSR基于大样本数据的图像特征训练接近目标函数，实现了从多维信息互补到高层次特征的映射。
大多数以前的方法都是默认的HSR训练集和场景图像测试集遵循相同的特征分布。在实际应用中，训练集和测试集在区域、分辨率、规模和风格上可能会有所不同，从而导致不同的特征分布。这种现象被称为数据偏移。在这里，我们将标签训练集定义为源域（SD），无标签的测试集被定义为目标域（TD）。如果将面对上述情况，SD直接应用数据集上训练的模型TD在数据集中，模型的性能将显著下降。如果对TD用于模型再训练的数据集人工标记，将消耗大量的人力和财力资源。
为解决上述问题，提出了域自适应（DA）方法。DA通过同时学习，它是一种机器学习范式SD数据和TD减少特征分布差异的数据特征。为解决遥感图像场景分类数据偏移问题，Othman等人提出了一DA该网络采用预训练网络，结合交叉熵损失和最大平均差异（MMD）用目标数据的几何结构训练网络。Teng等人提出了分类器约束的深度对抗DA该方法用于对跨域场景分类。Liu和Su通过生成对抗网络，提出了一种对抗域自适应方法（GAN）构建了在TD迁移分类器性能较好。
然而，这些方法只会SD和TD的HSR图像的整体特征分布对齐，可能会丢失不同子域的细粒度信息。最近，将SD和TD对齐分布的子域自适应引起了广泛关注。子领域自适应可以解决SD和TD数据混淆，特别是DA混淆网络提取的识别特征。然而，当子领域的自适应直接应用时HSR场景分类必须考虑HSR复杂的空间光谱特征和细节导致图像像素之间的高度相关性和冗余。在处理HSR图像迁移任务时，SD和TD强特征的相关性将极大地影响SD和TD对齐特征分布。此外，以往的工作通常只通过手动设计的测量标准或堆叠多个目标函数来建立SD和TD关系。由于SD和TD迁移任务中的数据特征分布不同，关系薄弱，不够直接，限制了网络TD中的性能。
提出了一种解决上述问题的方法HSR对跨域土地利用分类的弱伪进行监督，以适应相关子领域（WPS-DSA）框架。WPS-DSA域自适应框架可以协调来自不同领域的两个高分遥感图像数据集。我们介绍了自适应白化（SW）减少模块HSR图像特征之间的相关性。另外，域分级采样（DHS）机制旨在从TD选择代表性样本集成SD在数据训练中。
本研究的主要贡献总结如下。
1）WPS-DSA旨在解决HSR跨域土地利用分类困难，将进行分类SD和TD子域间的上下文关系是对齐的，而不是整体特征。具体来说，我们的框架分为三部分：基于SW学习低相关特征，基于的低相关特征学习（LMMD）子域相似度计算和DHS机制引导的域匹配。与以往的DA不同的方法，我们的框架将具有代表性的伪标记TD数据和真实标记SD训练模型的数据组合称为弱监督学习。
2）为了消除遥感图像像素之间的强相关性，第一次SW引入到HSR DA方法中。SW根据不同的情况，可以提供统一各种白化和标准化方法的通用技术HSR选择适当的标准化和白化方法及其比例进行跨域任务。通过有效降低特征之间的相关性，保持关键HSR图像特征表示适应子领域。
3）DHS机制旨在减少SD和TD基于特征差异。DHS机制，从TD选择具有代表性的样品和相应的伪标签，并将其合并到SD从而加强SD和TD关系。DHS为弱伪监督学习框架建模提供了途径，使框架更有利于提取TD数据分类的特征。
03
本文实验部分使用了三个公共数据集的五个公共类别和一个自制数据集：三个公共数据集UC Merced Land-Use数据集、AID数据集、RSSCN7.河流、密集住宅区、停车场、农田和森林是五大公共类别。自制数据集来自武汉和上海，中国的两个代表性城市。
UCM数据集：UCM是一个遥感场景分类数据集，包括21类：农业、飞机、棒球场、海滩、建筑、小教堂、密集住宅、森林、高速公路、高尔夫球场、港口、十字路口、中型住宅、移动家庭公园、立交桥、停车场、河流、跑道、稀疏住宅、储罐和网球场。所有图像均取自美国地质调查局国家地图城市区域图像系列，用于全国城市。公共域图像的像素分辨率为1英尺，像素大小为256×256。场景图像共2100幅，分为21类，每类100幅。
AID数据集：AID华中科技大学和武汉大学于2017年发布的公共遥感场景数据集。数据集包括机场、裸地、棒球场、海滩、桥梁、中心、教堂、商业、密集住宅、沙漠、农田、森林、工业、草原、中型住宅、山地、公园、停车场、操场、池塘、港口、火车站、度假村、河流、学校、稀疏住宅、广场、体育场、储罐和高架桥。每个场景类别的像素分辨率范围为8-0.图像像素大小为600米×600。共有1万幅场景图像分为30个类别，每个类别有220个–420幅图像。
RSSN7数据集：RSSCN7数据集是武汉大学于2015年发布的用于研究的公共遥感场景数据集。RSSCN7数据集包括七个类别，如草地、森林、农田、停车场、住宅、工业和河流。该数据集中每幅图像的像素大小为400×400，共有2800幅场景图像，分为七类，其中每类400幅。该数据集中场景图像的多样性使其更具挑战性。这些图像以不同的数量进行采样，并源自不同的季节和天气变化。
公共数据集部分如图1所示。
图1. 公共数据集的部分样本展示
04
为了提升HSR跨域土地利用分类的精度，提出了WPS-DSA框架。WPS-DSA框架如图2所示，WPS-DSA框架包括三个主要部分：1）基于SW的低相关特征学习；2） 基于LMMD的子领域相似度计算；3）DHS机制。
图2. WPS-DSA框架图
A．基于SW的低相关特征学习
SW是一个统一的体系结构，它结合了不同的白化方法和标准化方法。白化方法可以降低遥感影像的像素间相关性，有利于跨域HSR场景分类的特征对齐。SW可以针对不同的任务自适应地选择适当的白化或标准化方法。
B．基于LMMD的子领域相似度计算
作为一种核学习方法，MMD主要计算再生核希尔伯特空间（RKHS）中两个分布之间的差异，传统的DA方法用于对齐SD和TD的全局特征，忽略了它们的子领域之间的关系。在WPS-DSA框架中，考虑了SD和TD相关子域之间的上下文关系。在第一步中，我们通过CNN提取SD和TD中遥感影像的特征，并输出相应的预测标签。然后将提取的特征、SD的真实标签和TD影像的预测标签输入到LMMD中。SD和TD之间的差异将由LMMD模块计算。
C．DHS机制
DA方法在大多数迁移任务中的性能受到SD数据的限制，这导致模型在TD上的测试精度降低。为了在传输任务中减弱源数据的影响并加强两个域之间的连接，我们设计了一种DHS机制。我们的方法是根据TD数据集中全连接层和SoftMax层的输出分数，选择TD数据测试结果中每个类别得分排名前十的样本。然后，我们将从TD中选择的样本和相应的预测标签集成到源数据中，以重新训练网络。DHS的伪代码如图3所示。
图3. DHS伪代码
05
为了定性和定量地分析所提出模型的分类性能，将其与一些最先进的HSR场景分类方法进行比较，包括深度自适应网络(DAN)、多表示自适应网络(MRAN)、TJM、CS-DDA、DSAN等。在UCM、AID和RSSCN7三个公开数据集上进行实验。在这些数据集上进行实验的目的是为了验证所提出方法在不同样本情况下的有效性。所有实验均在GeForce RTX 2080 Ti显卡上进行，并使用PyTorch深度学习框架。
06
如表1所示，在UCM→RSSCN7任务中，与其他方法相比，WPS-DSA的准确率最高，OA为85.90%，比原始DSAN高6.15%，比仅用源域的ResNet50高21.76%。Kappa分别提高了0.09和0.27。这证明了我们方法的有效性。
表1
图4可视化了ResNet50和WPS-DSA在UCM→RSSCN7迁移任务上的混淆矩阵图。在图4（a）中，我们发现ResNet50在停车场和密集住宅场景中的性能非常差，准确率分别只有23.00%和51.00%。这种现象首先是因为RSSCN7数据集中的停车场和密集住宅区这两种场景类别更具挑战性。其次，这两个类别之间有很大的相似性，有些场景即使用肉眼也很难区分。然而，我们的方法在这两个场景中取得了有竞争力的结果，分别达到85.50%和67.00%。这也证明了当面对复杂场景时，该方法可以很好地对齐子域间的上下文关系。
图4. UCM→RSSCN7混淆矩阵图。（a）为基于ResNet50的结果。（b）为基于WPS-DSA的结果。F、 Fo、P、D和R分别表示农田、森林、停车场、密集住宅和河流。
如表2所示，在AID→RSSCN7迁移任务中，WPS-DSA实现了93.12%的最高OA，与原始DSAN和ResNet50相比，分别提高了1.90%和7.78%。WPS-DSA的Kappa也比DSAN和ResNet50分别提高了0.02和0.09。
表2
在图5中，我们提供了WPS-DSA网络和Resnet50在AID→RSSCN7迁移任务中的混淆矩阵。与UCM→RSSCN7的迁移任务类似，我们的方法主要在停车场和密集住宅两类中表现优异，尤其在停车场的场景中，性能得到了显著的提高。此外，与迁移任务UCM→RSSCN7相比，我们发现当SD中的数据量远小于TD中的数据量时，WPS-DSA显示出更强的迁移能力。
图5. AID→RSSCN7混淆矩阵图。（a）为基于ResNet50的结果。（b）为基于WPS-DSA的结果。F、 Fo、P、D和R分别表示农田、森林、停车场、密集住宅和河流。
07
1. 消融实验
为了更好理解WPS-DSA框架中每个成分的有效性，我们使用消融实验来验证所提出框架的关键模块的有效性。我们在两个迁移任务上进行了实验：UCM→RSSCN7和AID→RSSCN7。采用ResNet50作为基准模型，逐步融入LMMD、SW和DHS三个模块。从表3可以看出，加入LMMD后，模型的精度提高了14.61%，这证明了LMMD在对齐SD和TD的特征分布时，可以有效地捕获子域之间相同类的细粒度信息。在加入SW后，模型的精度进一步提高了1.65%。这意味着SW模块有效地降低了特征之间的相关性，并进一步保留了关键的HSR图像特征表示，以实现更好的子领域自适应。最后融入DHS机制后，模型的精度提高了5.50%。这是因为SW和LMMD模块的本质是提取更精确的域不变特征，这在SD和TD的特征分布差异很大的情况下仍然很难处理。因此，我们采用DHS机制将TD数据与高置信度伪标签集成到SD数据的训练中，提取出更有利于TD数据分类的特征。表4是 在AID→RSSCN7上的结果，与UCM→RSSCN7上的结果相似。
表3
表4
2. 结论
在本文中，我们提出了WPS-DSA框架来解决高分遥感影像场景级土地利用分类的跨域问题。在WPS-DSA中，低相关特征学习模块降低了遥感影像的像素间的高度相关性。基于LMMD的子领域相似度计算考虑了SD和TD之间的子领域上下文关系。DHS机制用于选择TD数据集中得分较高的样本用于模型的再训练。UCM→RSSCN7和AID→RSSCN7的两组实验结果证明了该方法的有效性。可以注意到一个有趣的现象，当SD数据量远小于TD数据量时，WPS-DSA的优势将更加突出。此外，武汉市→上海市的迁移结果也验证了该方法的泛化能力。
基于Fragstats的土地利用景观格局分析应用--点击查看