图像在采集过程中会出现各种退化。降级过程可通过四种操作[4]、[5]和[6]进行建模。

超分辨率重建方法是指从低分辨率（LR）在图像序列中生成高分辨率（HR）图像技术。如本文所述，遥感器中使用的技术SR图像重建技术可分为四类。

• (i)基于学习方法
• (ii)插值法
• (iii)基于频域的方法
• (iv)基于概率论的方法

目前基于学习的方法是SR重建的重要研究方向。其目的是通过训练数据库LR和HR图像之间的对应块（patch）提前学习映射知识。映射模型可以是一组学习的插值核，也可以是LR图像块的搜索表或LR图像块和HR图像块之间的映射系数。 稀疏表达法是基于学习的SR方法之一。它最早是由Yang其他人在[8]中提出的可分为三个步骤。首先，从训练补丁中学习一个超完整的字典，训练集中简单随机采样。然后，每个测试补丁都用一个具有稀疏系数的完整字典表示。最后，用加权系数重建HR图像。

在[9]中，[9]中重建遥感图像。完整字典可分为原始字典对和残差字典对两部分。一是单幅LR在图像中获得初始HR遥感图像。二是基于学习方法，从原始HR有损信息在图像中重建。根据研究，这种方法可以有效地提高分辨率。支持向量回归（SVR）具有良好非线性映射能力的内核回归方法。Zhang等人用支持向量回归[10](SVR)方法学习HR图像和LR图像之间的先验知识。采用双线插值法对[10]中缺乏高频插值图像进行过度采样同分辨率。在重建HR图像时，使用从SVR估计高频成分的先验知识。[10]目的是将军LR ETM 图像转换为单一HR ASTER图像。实验结果表明，即使是少量样本，SVR也能很好地学习模型。

与学习方法相比，SR图像重建的插值法是一种更直观的方法。它可以分为三个步骤。

1. 识别步骤：SR重建的基础。
2. 重建步骤LR图像插值到规则HR网格中的插值方法可以是二次插值，投影到凸起。(POCS)、迭代反向传播(IBP)等。
3. 去模糊步骤：去除模糊和噪声，提高重建图像的分辨率。

在这三个步骤中，步骤(ii)是插值SR的核心步骤。步骤(i)和(iii)是辅助步骤。Aguena等[11]采用POCS该方法在融合过程中进行插值。POCS算法最早是由Stark和Oskoui他们成功地将先验知识以凸集的形式结合到模型中。

目标是获得多光谱(CBERS-1.波段)和全色(Landsat-图像的组合特征7)。该过程可分为插值重建和综合两个步骤。我们只介绍重建过程。POCS最重要的特点是可以很容易地将先验信息纳入模型，找到满足限制条件的点。凸约束集由所有限制组成。通过迭代投影到凸集，可以在交点中找到所需的点，并将其纳入SR在图像中重建。

迭代反向传播(IBP)插值也是最流行的方法之一。在[12]中，通过成像模糊模拟LR图像和观察LR图像之间的差值反向传播，从而估计SR图像。通过迭代最小化误差能量来实现重建过程。在原有方法的基础上，Li等人[13]改进了遥感图像IBP，并为每个传感器选择模糊核。另外，在反向传播过程中，误差图像采用了不同的系数。由一组对一ETM 通道生成的图像和一组ALOS实验图像序列，将获得SR重建结果。

频域的SR模型通过傅里叶变换和反傅里叶变换(或其他变换，如小波变换)来解决重建问题。SR重建的主要思想是以较低的计算复杂度直观地提高高分辨率信仰。它可以分为四个步骤。

1. (i)图像注册；
2. (ii)向频域变换；
3. (iii)重建；
4. (iv)回空间域变换。

为了提高图像在频域的分辨率，我们可以增加图像的高频成分。其中一个可行的方法是避免别名效应。Chen等[14]采用频谱去锯齿的方法重建HR图像。LR图像首先由原始HR遥感图像的子采样和傅里叶变换生成。为了得到转换参数，采用相位相关法。有了转换参数和光谱去锯齿法，就可以重建图像。最后，通过反傅里叶变换生成HR图像。与双线性插值法相比，去锯齿法的结果表现更好。基于小波插值的方法将小波变换和插值结合起来，最早由Nguyen和Milanfar[15][16]提出。

在[17]中，Tao等人首先用DWT方法对遥感图像进行分解。小波系数插值图像可以通过最近插值、双线插值或双立方插值生成。通过反离散小波变换得到SR图像。结果表明，小波-小波插值组合算法有效地保护了原HR图像的高频信息。傅里叶-小波正则化解卷(ForWarD)是另一种恢复HR图像的方法[18][19]。它利用傅里叶域和小波域的标量收缩来实现噪声正则化和重建。ForWarD是一种两步算法。第一步是基于傅里叶的Weiner滤波，这是为了建立一个锐利的图像。第二步是应用静止小波变换进行去噪。对NASA的几幅卫星图像进行了测试。结果表明，该算法可以应用于任何分辨率的图像，以实现高分辨率。

由于SR重构问题是一个不确定的问题，因此必须附加一些先验条件和限制，以将SR重构问题转化为一个确定的问题.，由此提出了一些基于概率论的方法。贝叶斯方法由于可以将先验概率密度函数与先验约束条件结合起来，因此在SR重建中得到了广泛的应用。其基本思想是同时考虑LR观测图像和未知HR图像的先验知识，用贝叶斯理论得到HR图像。最大似然(ML)方法是最流行的基于贝叶斯的方法之一，它是由Tom和Katsaggelos[20]首先提出的。解决的方法是找到HR图像的ML估计方法，关键点是求解概率密度函数（PDF）。

最大后验(MAP)方法是另一种基于贝叶斯的流行方法，该方法假设在LR图像序列存在的条件下，通过最大化其后验概率可以获取HR图像。Wang等[21]提出了一种基于迭代优化的MAP方法，在保留多光谱图像光谱信息的前提下重建SR图像。除了一组SPOT XS LR图像外，还需要全色图像。通过高通滤波器，可以提炼出高频信息，用于与插值的多光谱图像相结合。基于映射计算均值和方差后，将得到初级HR图像。然后提出基于MAP的迭代优化方法，以收到进一步提高分辨率和避免质量下降的效果。通过这种方法，重建后的HR图像的空间分辨率得到提升，且光谱信息损失小。

总变异(TV)是一种有效的基于正则化的SR方法，具有保留边缘的能力。然而，伪边缘也可以被保留并产生平滑区域。针对这一缺点，袁志明等[22]提出了一种基于遥感图像的区域空间自适应总变异(RSATV)模型，明显改善了伪边缘。首先，逐个像素提取空间信息，并采用中值滤波器对其进行增强。然后构建空间权重，并进行过滤。之后，采用K-means聚类进行分类。通过这两个过滤过程，分别对伪边缘进行抑制。最后，对于每个区域，聚类中心值代表正则化强度。所以，总变正则化由基于像素的转变为基于区域的。在遥感上测试，这种方法不仅可以保留边缘，而且对噪声也很健壮。tikhonov正则化也是一种SR重建方法，它以Tikhonov A N命名[23]。它是解决不确定问题的一种常用方法。通过加法，Tikhonov正则化在均方误差成本函数的基础上生成原图像的先验概率函数。与其他正则化方法相比，Tikhonov正则化可以同时保持边缘和平滑噪声。

本文利用从ISPRS下载的多伦多市中心上空拍摄的数字航空图像做遥感SR重建实验。如图2所示，将尺寸为512×512的裁剪图像作为原始HR图像，生成LR图像。在图1所示观测模型的基础上，通过亚像素精度的移位和变焦系数的下采样，得到4幅LR图像（每幅尺寸为256×256）。我们采用四种方法来比较SR重建的效果。稀疏表示法(SRP)、POCS、小波插值法(WI)、Tikhonov正则化法(TR)。POCS和Tikhonov Regularization方法需要一个LR图像序列来利用互补信息。我们将四幅LR图像全部作为输入，但小波插值法和Tikhonov正则化法需要一连串的LR图像来利用互补信息。然而，小波插值法和稀疏表示法只需要一张LR图像。所以我们取第一幅LR图像作为输入。特别是对于稀疏表示法，我们采用论文的官方代码[8]。训练数据为100张数字航空图像。我们选择50000个补丁来训练另一个字典。

结果分别如图2所示。为了评价重建结果的质量，与原始HR图像进行比较，我们采用了三个质量评价因子。PSNR(Peak Signal to Noise Ratio)、MSE(Mean Squared Error)、SSIM(Structural Similarity)。我们还计算了每种方法的时间成本。所有的评价指数都在表I中列出。时间成本的获得其中CPU为Intel® Xeon® E5-2630 v2，双核处理器，主频2.60GHz，内存64G。根据表I中的结果，我们可以得出结论，WI方法在我们测试的RS图像上优于其他方法。而且，WI方法的速度比其他方法快。值得注意的是，SRP方法的训练过程需要较长的时间来获得补丁数据和用于训练的RS图像的字典。

本文对遥感图像的超分辨率重建技术进行了全面综述。具体介绍了四种SR重建类别：基于学习的SR、基于插值的SR、基于频域的SR和基于概率理论的SR。我们还基于几种最新的方法进行了实验，提出了遥感图像的SR重建结果。由于SR重建技术可以克服成像系统固有的分辨率限制，可以有效提高航空图像或卫星图像的分辨率。因此，SR重建技术在遥感领域已被证明具有实用性和重要价值，在识别定位、图像融合、环境监测、灾害研究和全球变化分析等方面得到了广泛应用。

[1] J. L. Harris, “Diffraction and Resolving Power,” Journal of the Optical Society of America (1917-1983), vol. 54, p. 931, Jul. 1964. [2] J. W. Goodman et al., Introduction to Fourier optics. McGraw-hill New York, 1968, vol. 2. [3] R. Tsai and T. S. Huang, “Multiframe image restoration and registration,” Advances in computer vision and Image Processing, vol. 1, no. 2, pp. 317–339, 1984. [4] H. Zhang, Z. Yang, L. Zhang, and H. Shen, “Super-resolution reconstruction for multi-angle remote sensing images considering resolution differences,” Remote Sensing, vol. 6, no. 1, pp. 637–657, 2014. [5] C. Papathanassiou and M. Petrou, “Super resolution: an overview,” DTIC Document, Tech. Rep., 2005. [6] J. Yang and T. Huang, “Image super-resolution: Historical overview and future challenges,” Super-resolution imaging, pp. 20–34, 2010. [7] P. Oskoui-Fard and H. Stark, “Tomographic image reconstruction using the theory of convex projections,” IEEE Transactions on Medical Imaging, vol. 7, no. 1, pp. 45–58, 1988. [8] J. Yang, J. Wright, T. S. Huang, and Y. Ma, “Image super-resolution via sparse representation,” IEEE Transactions on Image Processing, vol. 19, no. 11, pp. 2861–2873, 2010. [9] Y. Zhang, W. Wu, Y. Dai, X. Yang, B. Yan, and W. Lu, “Remote sensing images super-resolution based on sparse dictionaries and residual dictionaries,” in International Conference on Dependable, Autonomic and Secure Computing (DASC). IEEE, 2013, pp. 318–323. [10] H. Zhang and B. Huang, “Scale conversion of multi sensor remote sensing image using single frame super resolution technology,” in International Conference on Geoinformatics. IEEE, 2011, pp. 1–5. [11] M. L. Aguena and N. D. Mascarenhas, “Multispectral image data fusion using pocs and super-resolution,” Computer Vision and Image Understanding, vol. 102, no. 2, pp. 178–187, 2006. [12] S. C. Park, M. K. Park, and M. G. Kang, “Super-resolution image reconstruction: a technical overview,” IEEE Signal Processing Magazine, vol. 20, no. 3, pp. 21–36, 2003. [13] F. Li, D. Fraser, and X. Jia, “Improved ibp for super-resolving remote sensing images,” Geographic Information Sciences, vol. 12, no. 2, pp. 106–111, 2006. [14] X. Chen, “The research on the althorithms of super-resolution remote sensing image reconstruction in spectral domain (in chinese),” Master’s thesis, China University of Geosciences (Beijing), 2008. [15] N. Nguyen and P. Milanfar, “An efficient wavelet-based algorithm for image superresolution,” in International Conference on Image Processing, vol. 2. IEEE, 2000, pp. 351–354. [16] ——, “A wavelet-based interpolation-restoration method for superresolution (wavelet superresolution),” Circuits, Systems and Signal Processing, vol. 19, no. 4, pp. 321–338, 2000. [17] H. Tao, X. Tang, J. Liu, and J. Tian, “Superresolution remote sensing image processing algorithm based on wavelet transform and interpolation,” in Third International Asia-Pacific Environmental Remote Sensing Remote Sensing of the Atmosphere, Ocean, Environment, and Space. International Society for Optics and Photonics, 2003, pp. 259–263. [18] R. Neelamani, H. Choi, and R. Baraniuk, “Forward: Fourier-wavelet regularized deconvolution for ill-conditioned systems,” IEEE Transactions on Signal Processing, vol. 52, no. 2, pp. 418–433, 2004. [19] S. A. Devi and A. Vasuki, “Image super resolution using fourier-wavelet transform,” in International Conference on Machine Vision and Image Processing (MVIP). IEEE, 2012, pp. 109–112. [20] B. C. Tom and A. K. Katsaggelos, “Reconstruction of a high-resolution image by simultaneous registration, restoration, and interpolation of lowresolution images,” in Proceedings of the IEEE International Conference on Image Processing, vol. 2. IEEE, 1995, pp. 539–542. [21] S. Wang, L. Zhuo, and X. Li, “Spectral imagery super resolution by using of a high resolution panchromatic image,” in IEEE International Conference on Computer Science and Information Technology (ICCSIT), vol. 4. IEEE, 2010, pp. 220–224. [22] Q. Yuan, L. Yan, J. Li, and L. Zhang, “Remote sensing image superresolution via regional spatially adaptive total variation model,” in IEEE International Geoscience and Remote Sensing Symposium (IGARSS). IEEE, 2014, pp. 3073–3076. [23] A. N. Tikhonov, “Regularization of incorrectly posed problems,” in Soviet Math. Dokl, vol. 4, no. 6, 1963, pp. 1624–1627.