Deep Feature Alignment Neural Networks for Domain Adaptation of Hyperspectral Data对齐神经网络
- 0.摘要
- 1.概述
- 2.方法
-
- 2.1.CRNN
- 2.2.DATL
- 2.3.FANN
- 3.实验设置及结果
-
- 3.1.数据集
- 3.2.实验设置
- 3.3.结果
- 4.结论
- 参考文献
0.摘要
深度神经网络已被证明是对高光谱图像的有用分类，特别是当大量标记数据可用时。然而，我们可能没有足够的参考像分析应用中，我们可能没有足够的参考数据来训练深度神经网络。为了解决这个问题，在本文中，我们建议结合神经网络使用深特性进行域适应，在有限领域可以使用标记辅助数据源的数据来提高分类性能，否则可以使用带有安全标签的数据。该模型首先利用深度卷积递归神经网络提取源和目标域的识别特征，然后将每一层特征映射到转换后的每一层公共子空间，逐层对齐。给出了两个数据集的实验结果。其中一个数据集代表了不同时间获取的图像之间的域适应，另一个数据集代表了一个非常独特和具有挑战性的域适应问题，使用不同的高光谱成像仪获取的源和目标图像(近距离获取的地面前的街景和航空高光谱图像)。我们已经证明，提出的深度学习框架可以利用源领域的信息稳步分类目标领域的数据。
1.概述
随着数据量和计算能力的快速增长，深度学习[1]在图像分类、自然语言处理、语音识别等各种机器学习任务中取得了巨大的成功。卷积神经网络(CNNs)由于其提取局部特征和信息特征的能力，已广泛应用于图像相关应用[2]-[4]。另一方面，递归神经网络(rnn)能够学习时间模式，建立良好的顺序数据模型[5]-[7]。卷积RNN (CRNN)[8]是CNN和RNN它使用它的组合CNN提取局部和识别特征，并使用它RNN学习数据中的上下文信息。因此，CRNN越来越多的人关注[9]分类和[10]识别任务。 近年来，遥感技术的发展使得高光谱图像不仅能覆盖大面积前所未有的细节，还能捕捉到各种物体光谱特征[11]的细微差异。高光谱图像分类基于如此丰富的空间和光谱信息，引起了遥感界的广泛关注。近年来，人们提出了各种用于高光谱分类的深度神经网络，包括堆叠式自编码器[13]、深度置信网络[14]和14-D/2-D CNN[15] -[17]和CRNN[18]。然而，训练有监督的深度神经网络，如CNN和CRNN，成为高光谱图像深度学习分类的主要障碍之一，需要大量的标记数据。为了解决这个问题，一种方法是通过智能选择样本来降低贴标成本，另一种方法是使用未贴标数据。此外，领域适应技术还提供了一种独特的解决方案，使我们能够享受补充数据源的标记数据。为了实现这一目标，领域适应方法通过创建领域不变特征或调整分类模型将知识从源领域转移到目标领域。 在过去的几年里，针对高光谱图像[19]，提出了许多领域的自适应分类方法。基于支持向量机的[20]提出了一种(SVM)域适应变体，将分类模型调整到目标域，并逐步用目标训练数据替换源训练数据。在[21]中，从目标域中选择具有代表性的样本，从而为目标数据培养可靠的分类器。与上述模型调整方法不同，[22]提出了半监督传输分量分析(SSTCA)该方法在可再生核希尔伯特空间中最小化区域差异。类似地，[23]通过学习相关的转换，引入了减少域引起的变化的方法。引用[24]-[26]通过调整源数据和目标数据的流形来实现域适应。然而，现有的工作主要集中在传统的非深度学习方法上。唯一的例外是[27]，其中堆叠去噪自编码器用于生成域不变特征 本文提出了适应不同高光谱图像的新神经网络模型。该模型被命名为，因为。首先，由卷积层和循环层组成的两个训练数据分别使用源域和目标域crnn进行训练。CRNN特征被认为对于高光谱数据的分类是有效的，因为卷积层可以提取局部不变特征，随后的循环层可以从输入的光谱数据中提取上下文信息。然而，为了利用源训练数据，希望源领域和目标领域具有相似的特征。为了产生领域不变的特征，。综合优化了特征的可分辨性和跨域不变性，提高了分类性能。 本文的其余部分组织如下。第二节描述了拟议FANN基本组成部分和框架。然后，我们评估了两个真实的高光谱数据集中提出的方法，并在第三节显示了分类结果。结论的注释在第四节提供
2.方法
2.1.CRNN
研究表明，对[15]-[17]高光谱图像，cnn可以提供比传统分类方法更好的分类结果。根据不同的实现策略(1-D或2-D)， cnn可用于提取高光谱图像。一个普通的一维CNN如图1所示，输入向量通过几个卷积层和池化层传播。在高光谱图像分类的情况下，光谱特征直接馈入一维CNN。每个卷积层由多个1组成-D滤波器的数量和长度是需要根据数据调整的超参数。表示输入向量x∈Rd。在卷积层中，有一个包含p滤波器的集合，滤波器长度为l{φ1， φ2，…，φp}卷积输入向量，获得特征映射M 
式中m1∈Rp, f非线性激活函数。本文选择f作为修正后的线性单位函数(RELU)定义为[28]f(x)= max(0, x)。为了增加特征的平移不变性，减轻计算负担，每个卷积层后面都有一个池化层[2]，这是一种降采样的形式。最常见的执行池选择是使用长度为2的过滤器小为2的过滤器。 在最后一层，将提取的特性作为矢量平摊，然后连接到输出层，应用于输出层softmax计算每个样本的类概率。softmax函数将特征向量转换为分类概率logistic函数推广。给定样本向量xk类的预测概率是 其中K为类的个数，ωk和bk分别是权向量和偏置向量。 训练卷积层和全连接层中的参数使CNN预测与地面真实值一致。交叉熵函数是测量网络损失最常用的方法。该网络采用随机梯度下降法进行训练，梯度通过反向传播(BP)算法[30]计算。与计算整个训练集的梯度不同，在训练过程中采用了小批量策略，将训练数据集分成小块，用于计算模型误差和更新模型系数。小批量梯度下降的计算效率高于随机梯度下降[31]。同时，与批处理梯度下降法相比，小批处理梯度下降法具有更强的鲁棒收敛性，批处理梯度下降法只有在评估所有培训样本后才能更新模型。在损失函数收敛之前，调整参数。 由于卷积仅在相邻像素或光谱波段之间进行，cnn上下文相关性通常无法从不同的图像区域或光谱块中获得。另一方面，rnn它是为序列建模而设计的，因此可以编码这些相关性，以便更好地表示。将cnn特征被视为序列数据，即特征的每一维都被视为一个时间步长，然后实现一个递归层，如图2所示。递归层的输入是一种特征x = [x1, x2，…， xT]，特征维数取决于以前CNN层。隐藏状态ht根据前一个隐藏状态ht?1和当前步长xt计算输入 当前步的输出是 非线性激活函数g是本文中的双曲正切函数，U、V、n、W是所有步骤共享的权重矩阵，隐藏到隐藏，隐藏到输出和输入到隐藏连接。利用softmax函数计算当前步骤的类别概率为(2)。以递归层的隐藏状态作为下一递归层的输入，可以提取上一递归层的深层特征作为隐藏状态。与CNN类似，使用softmax计算输出的函数，用交叉熵来测量损失。RNN采用小批量梯度下降法训练梯度BP通过时间(BPTT)[32]计算。 通过结合CNN和RNN, CRNN不仅可以提取局部特征，还可以捕获不同图像区域或光谱块之间的上下文相关性。在领域自适应问题中，源和目标领域的数据采集通常在不同的采集条件下进行，包括研究区域和传感器视角，有时使用不同的传感器。这两个域的空间上下文可能与这两个视图无关，特别是当视点和物体到传感器的范围发生巨大变化时。一维crnn沿波长波段应用的目的是找到一个潜在的表示，其中来自不同传感器/视点/时间点的光谱可以在源和目标域的统一意义上有效地表示。 一种典型的CRNN如图3所示，由三部分组成:1)CNN(卷积层和池化层)从输入向量中提取特征序列；2) RNN层，从以前的CNN在层生成的特征序列中获得上下文相关性；3) softmax层，从上一个循环层收集隐藏状态，并使用softmax函数连接它们。为了训练CRNN，我们可以使用和使用CNN和RNN同样的规则，使用小批量梯度下降来找到最佳参数。卷积层和递归层的梯度分别使用BP算法和BPTT算法计算。
2.2.DATL
为了生成域不变的特征，采用DATL技术将源域与目标域之间的技术CRNN层连接。我们最近提出了[33]DTL转换。在DATL中，学习了单独的转换，。每个领域的变换都是在中学习的，它直接优化了潜在空间中的分类性能。DATL的目标函数包含一个“域匹配”项和一个“类分离”项，分别旨在对齐两个域的类分布，增强特征的可分辨性。 让我们将源域表示为带有样本特征的DS {x1，…， xn}∈Rds，对应的类标签{lx1，…, lxn}。类似地，目标域表示为DT，带标签的数据点{y1，…， ym}∈Rdt，对应的类标签{ly1，…, lym}。两个样本特征x和y之间的距离可以表示为 其中B∈Rds×dt是目标域样本特征y的初始变换，A∈Rd×ds是源域样本特征x的变换矩阵。来自两个域的样本通常被投影到一个，d<< min (ds, dt)。领域适应的目标是找到这两种变换，。在最近邻分类设置中，目标域样本yj将继承其邻域的类标签。在此邻域确定规则下，： 同样的策略也可以用来定义一个目标域样本选择另一个目标域样本作为其邻域的概率。为了完成域适应过程，DATL的目标是最大化来自源域和目标域的正确预测的预期数量 其中集合Ssj = {xi| lxi = lyj}和集合Stj = {yi | lyi = lyj}分别包含。DATL的目标函数可以表示为 其中δ为权衡参数。注意到s(A, B)是来自源域的目标样本yj的正确预测的期望数，因此，可以认为是一个对齐源数据和目标数据的函数。相反，d(A, B)只考虑目标域预测，这最终会导致更好的类分离。因此，可以以一种直观的方式调整权衡参数，当两个域中的类分离良好但分布非常不同时，较大的δ值是首选。相反，如果两个域的数据难以分类但分布相似，则应使用较小的δ值 一般交替最大化方法[34]可用于解决优化问题(8)。在每一次迭代,因为s (A, B)和d (A, B)是可微的变换矩阵A和B,一个标准的共轭梯度法可用于更新或B同时保持另一个固定的。由于DATL的目标函数是非凸的，对a和B进行适当的初始化可以帮助优化算法更快地收敛，避免训练过程中出现局部极大值。关于优化算法的更多细节可以在[33]中找到。
2.3.FANN
本文提出的FANN结构如图4所示，由源域CRNN、目标域CRNN、FA层和全连接输出层四部分组成。在提出的FANN中，两个CRNN分别针对源域和目标域进行训练。在CRNN的每一层，输出特征通过FA层连接，FA层由DATL及其权值估计器组成。值得注意的是，由于训练数据量有限，来自目标域的CRNN特征不太可能具有鉴别性。另一方面，我们希望借助丰富的训练数据从源域提取特征。然后通过DATL将两个域的CRNN特征在潜在空间中对齐，将属于同一类的样本拉到一起，将属于不同类的样本推开。为了更好地匹配来自两个域的特征，我们建议根据域差异调整DATL中的权衡参数。[35]的理论表明，一个好的域适应表示是一个算法不能学习区分输入样本的域的起源。a -距离是域散度的度量，是域适应上泛化界[36]的重要组成部分。在实践中，计算精确的a -距离是困难的，然后一个代理被定义为:ˆdA = 2(1−2?)，w he ?∈[0,2]是经过训练用于区分两个域的线性SVM分类器的泛化误差。较大的代理A-距离(PAD)表示源和目标域差异很大，因此需要在域对齐上获得更多权重。然后可以定义一种调整权衡参数的系统方法为 根据[37]，随着层的进展，特征对训练过的数据变得更具辨别性和专门化。然而，从领域适应的角度来看，领域不可区分的特征通常是首选的。为了提高早期层的概括性和后期层的可鉴别性，每个FA层的输出随后被连接并提供给输出层，在输出层中使用softmax函数产生最终的预测。FANN特征还可以用于训练任何通用分类器。
3.实验设置及结果
在本节中，我们将在两个真实世界的高光谱数据集(c.f图5和图6)上评估所提出的FANN的有效性，这两个数据集代表了跨多个传感器和跨多时间点的域自适应
3.1.数据集
图5所示。鸟瞰图(目标域)和街景(源域)湿地数据的真彩色图像。研究地点的位置由谷歌地球截图中的红框表示
图7所示。(a)街景(源域)湿地数据和(b)鸟瞰图(目标域)湿地数据的平均光谱特征。
表一航拍和街景湿地数据的分类名称和标记样本个数
研究地点是一个沿海湿地，位于美国德克萨斯州加尔维斯顿。湿地植被作为湿地生态系统的重要组成部分，在覆盖度和物种分布方面都发生了巨大的变化。因此，绘制湿地物种分布图有助于我们分析这些变化，从而更好地管理湿地生态系统。米森-阿兰萨斯河口的沼泽，过去主要是光滑的网茅，现在主要被黑色红树林覆盖。沿海植被的这种转变可能会影响沿海湿地供养虾、鱼和鸟类的质量，并改变沿海生境缓冲风能和波浪能的能力。因此，绘制湿地物种分布图有助于我们分析这些变化，从而更好地管理湿地生态系统。目标域空中高光谱数据是利用ProSpecTIR VS传感器于2015年8月14日在研究区域采集的。 目标域数据的真彩色图像如图5所示。使用prospectir系统进行数据采集，其结果在360个波段，跨越可见光和近红外(VNIR)和短波红外光谱范围400至2450 nm, 5 nm光谱分辨率。在用ATCOR 4软件将辐亮度数据转换为反射率数据之前，对辐亮度数据进行辐射和光谱校准。最终将多条航线的输出反射率数据进行地理校正并拼接成1 m空间分辨率下空间覆盖3462 × 5037像素的图像。 由于在此类应用中，通过照片判读对样品进行标记比较困难，因此于2016年9月16日进行了实地调查。图7显示了12种/类的平均光谱特征。标注数据的详细情况如表一所示。源域数据采用Headwall Nano-Hyperspec sensor于2016年10月7日在同一区域采集。与机载数据不同，源域数据是在近距离从街景中获得的，即从地面侧面看，类似于商业和个人傻瓜相机的使用方式。为每个感兴趣的物种收集了一幅单独的高光谱图像。图5为源域数据的真彩色图像。本文所使用的辐射数据有274个波段，分布在400 ~ 1000 nm的VNIR光谱范围内，光谱分辨率为3 nm。自从张图片来自侧视看来,空间分辨率和覆盖范围随距离传感器对象和扫描角度,分别——不管怎样,空间分辨率是订单大小细比空中的形象,给我们每树冠成千上万的像素/物种 由于地面成像装置是侧视的，广泛的高质量的训练数据可以很容易地通过领域专家照片判读的海洋生物学家表II类名称和标记的样本的数量博茨瓦纳多瞬时高光谱数据集表III训练和测试样本汇总天线和街景湿地数据集(湿地)的视图博茨瓦纳多时间数据集(博茨瓦纳5-7)。在本例中，验证样本的数目列在括号中。平均光谱特征和标记样本的数量,分别显示在图8和表。
图6所示。博茨瓦纳多时间高光谱数据集。5月(a)和7月©的真彩图像。(b) 5月和(d) 7月的地面真实数据。
图8所示。(a)博茨瓦纳5月(源域)数据和(b)博茨瓦纳7月(目标域)数据的平均光谱特征。
表二博茨瓦纳多时间高光谱数据集的类名和标记样本数量
:博茨瓦纳多瞬时高光谱数据集包含两个亥伯龙神图片收集奥卡万戈三角洲,博茨瓦纳,在2001年的5月和7月。本文使用的反射率数据在400 ~ 2500 nm的波长范围内有145个波段，空间分辨率为30 m。图6为5月和7月数据的真彩色图像和地面真数据。表二列出了9个被识别类的类名和标记样本数。
3.2.实验设置
表三空中和街景湿地数据集(a-s视图湿地)和博茨瓦纳多时间数据集(博茨瓦纳5-7)的训练和测试样本汇总。验证样本的数量列在括号中
表四航拍和街景湿地高光谱数据集(a-s视图湿地)和博茨瓦纳多时空高光谱数据集(博茨瓦纳5-7)的网络配置摘要
表v为鸟瞰图和街景湿地数据集的线序层和线序层特征
在实际的域适应问题中，目标域标记样本的数量通常不足以学习一个可靠的分类器，而源域标记数据的数量比较大。当我们处理覆盖大空间区域的遥感数据时，这种情况尤其真实。在某些极端情况下，目标域中可能只有少数标记过的样品。为了对这个场景建模，我们从目标域中随机选择一小部分标记样本作为训练数据。对于源域数据，我们随机选取大量标记样本进行训练。在该FANN中，来自源域和目标域的训练数据分别用于训练两个crnn。在训练过程中，使用训练数据的子集作为验证集，调整CRNN的超参数，包括层数、层大小、滤波器长度、池跨距和大小、学习速率和小批量大小。表三列出了我们实验中训练样本和测试样本的数量，包括四部分:1)源域训练样本(Ds-tr);2)源域测试样本(Ds-ts);3)来自目标域的训练样本(Dt-tr);4)来自目标域的测试样本(Dt-ts)。验证样本的数量列在括号中。 由于源域和目标域的CRNN需要分别优化，我们有来自两个域的验证数据来优化CRNN的超参数。来自目标域的测试数据(Dt-ts)作为整个FANN的最终测试数据。对于两个数据集，我们每个类只有15个来自目标域的样本进行训练，考虑到特征的高维性，这是非常有限的。 我们在实验中使用的网络配置总结在表4中，其中卷积层表示为“conv-<滤波器长度>-<滤波器数量>，循环层记为“recur-<特征维度>”最大池在每个卷积层之后应用。对于每个FA层，用随机权初始化变换矩阵A和B，根据输入特征设置它们的维数。所有对齐层的输出特征的尺寸设置为100，这样它们就可以连接在一起。除了将所有FA层的特征拼接起来之外，我们还研究了各对齐特征的分类性能。表V显示了鸟瞰图和街景湿地数据集所有FA层(FA-1 - FA-6)和拼接特征(FANN)的总体精度(OAs)。可以看出，从第一层到第五层，分类精度下降。这是因为功能变得更加专门的训练数据在后面的层，这使FA比在早期的层更难。RNN能够在高光谱数据的光谱方向上捕捉上下文信息，而来自最后一层的特征是最具分辨力的。通过将各层的特征串联起来，所提出的FANN作为一种集成方法，其精度高于每一层。值得一提的是，通过将这些层与一个合理的加权模式组合，而不是连接，可以获得更好的结果。我们把这个留给未来的研究。 由于DATL的目标函数不是凸的，对A和B进行良好的初始化，有助于优化更快地收敛，避免局部极大值。然而，没有一种系统的方法来选择它们，根据我们的经验，随机初始化对我们所有的数据集都有效。 提出的fann是在Keras[38]框架中实现的，TensorFlow[39]作为后台。实验在3.0 ghz Inter® Core i7-5960X CPU和NVIDIA® GeForce Titan X GPU的工作站上进行。网络的权值都是随机初始化的。我们以10−4的初始学习速率训练网络100个epoch，所有实验的小批量大小都选择为128。
3.3.结果
表vi航测和街景湿地高光谱数据集的oas(带标准偏差)、aas和kappa (%)
表vii博茨瓦纳多时间高光谱数据集的oas(带有标准偏差)、aas和kappa (%)
表viii不同δ值对航拍和街景湿地高光谱数据集域适应的总体分类精度(%)说明
表ix基于不同δ值的博茨瓦纳多时相高光谱数据集的域适应总体分类精度(%)
图9所示。航拍和街景湿地高光谱数据的t-SNE特征可视化。(a)源域数据的原始光谱特征。(b)源域数据的CRNN特征。©目标域数据的原始光谱特征。(d)目标域数据的CRNN特征。(e)潜在空间中两个域的FANN特征。
图10所示。博茨瓦纳多时相高光谱数据的t-SNE特征可视化。(a)源域数据的原始光谱特征。(b)源域数据的CRNN特征。©目标域数据的原始光谱特征。(d)目标域数据的CRNN特征。(e)潜在空间中两个域的FANN特征。
实现了几种传统和前沿的基线域适应方法，包括SSTCA[22]、内核流形对齐[26]、深度域适应相关对齐(D-CORAL)[40]和DA TL[33]。根据Sun和Saenko[40]的建议，我们将CORAL loss应用到我们的CRNN中，并在接下来的实验中将该网络引用到D-CORAL。由于所提出的FANN需要来自源域和目标域的标记数据，我们不与无监督域适应方法进行比较，其中不需要来自目标域的标记数据。仅使用来自目标领域的标记数据训练分类器，即不进行领域适应，也包括作为基准方法(NonDA-Dt)。我们还将FANN与它自己的变体进行了比较，其中去掉了最后一个递归层，使得针对单个域的网络成为CNN (CNN- datl)。在表三中进行分割后，所有参赛选手的训练和测试数据保持一致。所有特征都用三个分类器进行测试，包括k近邻(KNN)，线性支持向量机和softmax。报告的结果平均超过10次。如表VI和表VII所示，在大多数情况下，所提出的FANN实现了最佳的OAs、平均准确率(AA)和Cohen’s Kappa[41]。在博茨瓦纳数据集上，D-CORAL比采用KNN分类器的方法获得了更高的精度。这可能是因为它能够在没有任何监督的情况下很好地对齐源和目标数据，这弥补了当两个领域来自同一个传感器和位置时很好地移动的领域。在异构域适应问题(a - s视图湿地数据集)上，所提出的FANN能够超越所有基线，因为它具有在监督方式下创建域不变但具有区别性特征的独特能力。 我们还在表VIII和表IX中显示了域适应层的权衡参数δ的影响。相同的网络体系结构,δ= 0.5 作为baseline,这意味着域对齐s (a, b)和类分离d (a, b)同样的目标函数加权DATL(见(8))。通过调整δ和PAD，可以进一步提高相同结构网络的性能。为了更好地理解域适应过程，我们使用t-分布式随机邻域嵌入(t-SNE)算法[42]来可视化FANN不同阶段的特征。图9显示了Aerial and Street view湿地高光谱数据集从原始光谱特征到最终FANN特征的t-SNE可视化。从图9(a)可以看出，源域数据的原始光谱特征具有分离良好的簇结构。这是因为街景湿地数据是在侧视图中收集的，可以很容易地为感兴趣的对象获得足够高质量的标记样本。相比之下，鸟瞰图湿地数据标记数据非常有限，这些标记数据是通过照片判读进行标记的;因此，类的混合不可避免地会在一定层次上发生，如图9©所示。当使用原始光谱数据训练crnn时，特征的可鉴别性明显增加，如图9(a) vs . 9(b)和9© vs . 9(d)所示。相比之下，源域的可识别性的提高要比目标域的明显，这是因为在使用深度神经网络，如CRNN时，标记数据越多，通常特征越好。然而，类在两个域中的分布[见图9(b)和(d)]是非常不同的。用源域CRNN特征训练的分类器在目标域的性能不佳。这个问题由DATL解决，其中来自同一类的样本被拉到一起，而来自不同类的样本被分开。将两个域的数据投影到潜在空间后，特征就成为域不变的，然后可以通过softmax层或训练其他分类器来产生最终的预测。在图10中，博茨瓦纳的多时相高光谱数据也可以观察到类似的趋势
4.结论
在本文中，我们提出了一种新的基于领域自适应的高光谱图像分类方法，该方法从源和目标领域数据中提取鉴别特征，并通过深度神经网络层对齐。为了创建高光谱数据的高阶和代表性特征，本文提出的方法沿着光谱波段利用CRNN，不仅可以捕获局部结构，还可以通过RNN建模相邻光谱块之间的上下文相关性。然后，使用基于转换学习的领域适应算法对来自两个领域的特征进行对齐，其中来自同一类的样本被聚集在一起，来自不同类的样本被推开。与其他先进的方法相比，由神经网络产生的鉴别性和领域不变特征已被证明在提高真实高光谱数据集的分类性能方面是有效的。
参考文献
[1] Y . LeCun, Y . Bengio, and G. Hinton, “Deep learning,” Nature, vol. 521, pp. 436–444, May 2015. [2] A. Krizhevsky, I. Sutskever, and G. E. Hinton, “ImageNet classification with deep convolutional neural networks,” in Proc. Adv. Neural Inf. Process. Syst., 2012, pp. 1097–1105. [3] K. Simonyan and A. Zisserman. (2014). “V ery deep convolutional networks for large-scale image recognition.” [Online]. Available: https://arxiv.org/abs/1409.1556 [4] Y . Jia et al., “Caffe: Convolutional architecture for fast feature embedding,” in Proc. 22nd ACM Int. Conf. Multimedia, 2014, pp. 675–678. [5] T. Mikolov, M. Karafiát, L. Burget, J. Cernock`y, and S. Khudanpur, “Recurrent neural network based language model,” in Proc. Interspeech, vol. 2. 2010, p. 3. [6] A. Graves, A.-R. Mohamed, and G. Hinton, “Speech recognition with deep recurrent neural networks,” in Proc. IEEE Int. Conf. Acoust., Speech Signal Process. (ICASSP), May 2013, pp. 6645–6649. [7] I. Sutskever, O. Vinyals, and Q. V . Le, “Sequence to sequence learning with neural networks,” in Proc. Adv. Neural Inf. Process. Syst., 2014, pp. 3104–3112. [8] Z. Zuo et al., “Convolutional recurrent neural networks: Learning spatial dependencies for image representation,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit. Workshops, Jun. 2015, pp. 18–26. [9] K. Choi, G. Fazekas, M. Sandler, and K. Cho. (2016). “Convolutional recurrent neural networks for music classification.” [Online]. Available: https://arxiv.org/abs/1609.04243 [10] B. Shi, X. Bai, and C. Yao, “An end-to-end trainable neural network for image-based sequence recognition and its application to scene text recognition,” IEEE Trans. Pattern Anal. Mach. Intell., vol. 39, no. 11, pp. 2298–2304, Nov. 2016. [11] A. Plaza et al., “Recent advances in techniques for hyperspectral image processing,” Remote Sens. Environ., vol. 113, no. 1, pp. S110–S122, 2009. [12] G. Camps-V alls, D. Tuia, L. Bruzzone, and J. A. Benediktsson, “Advances in hyperspectral image classification: Earth monitoring with statistical learning methods,” IEEE Signal Process. Mag., vol. 31, no. 1, pp. 45–54, Jan. 2014. [13] Y . Chen, Z. Lin, X. Zhao, G. Wang, and Y . Gu, “Deep learning-based classification of hyperspectral data,” IEEE J. Sel. Topics Appl. Earth Observ. Remote Sens., vol. 7, no. 6, pp. 2094–2107, Jun. 2014. [14] Y . Chen, X. Zhao, and X. Jia, “Spectral–spatial classification of hyperspectral data based on deep belief network,” IEEE J. Sel. Topics Appl. Earth Observ. Remote Sens., vol. 8, no. 6, pp. 2381–2392, 2015. [15] W. Hu, Y . Huang, L. Wei, F. Zhang, and H. Li, “Deep convolutional neural networks for hyperspectral image classification,” J. Sensors, vol. 2015, Jan. 2015, Art. no. 258619. [16] W. Zhao and S. Du, “Spectral–spatial feature extraction for hyperspectral image classification: A dimension reduction and deep learning approach,” IEEE Trans. Geosci. Remote Sens., vol. 54, no. 8, pp. 4544–4554, Aug. 2016. [17] Y . Chen, H. Jiang, C. Li, X. Jia, and P. Ghamisi, “Deep feature extraction and classification of hyperspectral images based on convolutional neural networks,” IEEE Trans. Geosci. Remote Sens., vol. 54, no. 10, pp. 6232–6251, Oct. 2016. [18] H. Wu and S. Prasad, “Convolutional recurrent neural networks for hyperspectral data classification,” Remote Sens., vol. 9, no. 3, p. 298, 2017. [19] D. Tuia, C. Persello, and L. Bruzzone, “Domain adaptation for the classification of remote sensing data: An overview of recent advances,” IEEE Geosci. Remote Sens. Mag., vol. 4, no. 2, pp. 41–57, Jun. 2016. [20] L. Bruzzone and M. Marconcini, “Domain adaptation problems: A DASVM classification technique and a circular validation strategy,” IEEE Trans. Pattern Anal. Mach. Intell., vol. 32, no. 5, pp. 770–787, May 2010. [21] C. Persello and L. Bruzzone, “Active learning for domain adaptation in the supervised classification of remote sensing images,” IEEE Trans. Geosci. Remote Sens., vol. 50, no. 11, pp. 4468–4483, Nov. 2012. [22] G. Matasci, M. V olpi, M. Kanevski, L. Bruzzone, and D. Tuia, “Semisupervised transfer component analysis for domain adaptation in remote sensing image classification,” IEEE Trans. Geosci. Remote Sens., vol. 53, no. 7, pp. 3550–3564, Jul. 2015 [23] Q. Shi, B. Du, and L. Zhang, “Domain adaptation for remote sensing image classification: A low-rank reconstruction and instance weighting label propagation inspired algorithm,” IEEE Trans. Geosci. Remote Sens., vol. 53, no. 10, pp. 5677–5689, Oct. 2015. [24] D. Tuia, M. V olpi, M. Trolliet, and G. Camps-Valls, “Semisupervised manifold alignment of multimodal remote sensing images,” IEEE Trans. Geosci. Remote Sens., vol. 52, no. 12, pp. 7708–7720, Dec. 2014. [25] H. L. Y ang and M. M. Crawford, “Spectral and spatial proximity-based manifold alignment for multitemporal hyperspectral image classification,” IEEE Trans. Geosci. Remote Sens., vol. 54, no. 1, pp. 51–64, Jan. 2016. [26] D. Tuia and G. Camps-V alls, “Kernel manifold alignment for domain adaptation,” PLoS ONE, vol. 11, no. 2, p. e0148655, 2016. [27] E. Riz, B. Demir, and L. Bruzzone, “Domain adaptation based on deep denoising auto-encoders for classification of remote sensing images,” Proc. SPIE, vol. 10004, p. 100040K, Oct. 2016. [28] V . Nair and G. E. Hinton, “Rectified linear units improve restricted Boltzmann machines,” in Proc. 27th Int. Conf. Mach. Learn. (ICML), 2010, pp. 807–814. [29] C. M. Bishop, Pattern Recognition and Machine Learning. N e w Y o r k , NY , USA: Springer, 2006. [30] R. Hecht-Nielsen, “Theory of the backpropagation neural network,” in Proc. Int. Joint Conf. Neural Netw., vol. 1. Washington, DC, USA, 1989, pp. 593–605. [31] L. Bottou, “Large-scale machine learning with stochastic gradient descent,” in Proc. COMPSTAT, 2010, pp. 177–186. [32] P. J. Werbos, “Backpropagation through time: What it does and how to do it,” Proc. IEEE, vol. 78, no. 10, pp. 1550–1560, Oct. 1990. [33] X. Zhou and S. Prasad, “Transformation learning based domain adaptation for robust classification of disparate hyperspectral data,” in Proc. IEEE Int. Geosci. Remote Sens. Symp., Fort Worth, TX, USA, Jul. 2017, pp. 3640–3643. [34] I. Csisz et al., “Information geometry and alternating minimization procedures,” Stat. Decisions, 1984. [35] S. Ben-David, J. Blitzer, K. Crammer, A. Kulesza, F. Pereira, and J. W. V aughan, “A theory of learning from different domains,” Mach. Learn., vol. 79, nos. 1–2, pp. 151–175, May 2010. [36] S. Ben-David, J. Blitzer, K. Crammer, and F. Pereira, “Analysis of representations for domain adaptation,” in Proc. Adv. Neural Inf. Process. Syst., vol. 19. 2007, pp. 137–144. [37] J. Y osinski, J. Clune, Y . Bengio, and H. Lipson, “How transferable are features in deep neural networks?” in Proc. Adv. Neural Inf. Process. Syst., 2014, pp. 3320–3328. [38] F. Chollet et al. (2015). Keras. [Online]. Available: https://github.com/ fchollet/keras [39] (2015). TensorFlow: Large-Scale Machine Learning on Heterogeneous Systems. [Online]. Available: http://tensorflow.org/ [40] B. Sun and K. Saenko, “Deep coral: Correlation alignment for deep domain adaptation,” in Proc. Comput. Vis.–ECCV Workshops, 2016, pp. 443–450. [41] T. Byrt, J. Bishop, and J. B. Carlin, “Bias, prevalence and kappa,” J. Clin. Epidemiol., vol. 46, no. 5, pp. 423–429, 1993. [42] L. van der Maaten and G. Hinton, “Visualizing data using t-SNE,” J. Mach. Learn. Res., vol. 9, pp. 2579–2605, Nov. 2008.