超分辨率重建基础知识总结

超分分为以下两种： Image SR。仅参考当前低分辨率图像，不依赖其他相关图像的超分辨率技术，称为单幅图像的超分辨率（single image super resolution，SISR）。 Video SR。参考多幅图像或多幅视频帧的超分辨率技术，称为多帧视频/多幅图像的超分辨率（multi-frame super resolution）。对于video SR，其核心思想是用时间带宽换取空间分辨率。简单地说，当无法获得超高分辨率图像时，可以取相邻帧，然后将这一系列低分辨率图像形成高分辨率图像。 一般来讲Video SR相比于Image SR它具有更多的参考信息和更好的高分辨率视频图像重建质量，但其更高的计算复杂性也限制了其应用。 它通常包括两个步骤：首先，图像匹配，即估计低分辨率图像之间亚像素级别的相对位移；其次，图像集成将多个低分辨率图像集成到高分辨率图像中。

在超分辨率重建过程中，由于低分辨率图像序列往往受到光学模糊、运动模糊、噪声和混合因素的影响，超分辨率重建技术涵盖了图像恢复技术。两者的区别在于，图像恢复技术是在不改变图像大小的情况下恢复图像，因此图像恢复技术与图像超分辨率重建密切相关。可以认为，图像超分辨率重建是理论上的第二代图像恢复问题。一方面，研究图像超分辨率重建技术具有重要的理论意义，促进图像恢复技术的进一步发展；另一方面，克服光学成像系统硬件的局限性具有重要的实际意义。在某些情况下，原始的低分辨率成像系统可以继续使用，以获得满足特定分辨率要求的图像。

有两种，一种是PSNR(峰值信噪比)SSIM(结构相似性评价)SR压缩重构图像质量的基本测量指标。

（1）PSNR——峰值信噪比 Peak Signal-to-Noise Ratio PSNR测量压缩重构图像的质量是信号的最大功率与信号噪声功率之比，通常是分贝（dB）来表示。PSNR图像质量越图像质量越好。 P S N R = 10 ? log 10 ( M A X I 2 M S E ) = 20 ? log 10 ( M A X I M S E ) PSNR=10*\log_{10}(\frac{MAX_I^2}{MSE})=20*\log_{10}(\frac{MAX_I}{\sqrt {MSE}}) PSNR=10?log10​(MSEMAXI2​​)=20∗log10​(MSE ​MAXI​​) 其中，MAX_I 表示的是图像中像素值中的最大值，MSE 表示的两个图像之间对应像素之间差值的平方的均值，单通道图像的MSE可以表示为如下公式：

M S E = 1 M ∗ N ∑ i = 1 N ∑ j = 1 M ( f i j − f i j ′ ) 2 MSE=\frac{1}{M*N} \sum_{i=1}^N \sum_{j=1}^M (f_{ij}-f'_{ij})^2 MSE=M∗N1​i=1∑N​j=1∑M​(fij​−fij′​)2

多通道（C通道）图像的MSE可以表示为如下公式：

M S E = 1 C ∗ M ∗ N ∑ k = 1 C ∑ i = 1 N ∑ j = 1 M ( f i j k − f i j k ′ ) 2 MSE=\frac{1}{C*M*N} \sum_{k=1}^C \sum_{i=1}^N \sum_{j=1}^M (f_{ijk}-f'_{ijk})^2 MSE=C∗M∗N1​k=1∑C​i=1∑N​j=1∑M​(fijk​−fijk′​)2

（2）SSIM——结构相似性评价 Structural Similarity Index SSIM是衡量两幅图像相似度的指标，其取值范围为[0,1]，SSIM的值越大，表示图像失真程度越小，说明图像质量越好。 话不多说，先把SSIM的公式放上： L ( X , Y ) = 2 μ X μ Y + C 1 μ X 2 + μ Y 2 + C 1 L(X,Y)=\frac{2\mu_X\mu_Y+C_1}{\mu_X^2+\mu_Y^2+C_1} L(X,Y)=μX2​+μY2​+C1​2μX​μY​+C1​​

C ( X , Y ) = 2 σ X σ Y + C 2 σ X 2 + σ Y 2 + C 2 C(X,Y)=\frac{2\sigma_X\sigma_Y+C_2}{\sigma_X^2+\sigma_Y^2+C_2} C(X,Y)=σX2​+σY2​+C2​2σX​σY​+C2​​

S ( X , Y ) = σ X Y + C 3 σ X σ Y + C 3 S(X,Y)=\frac{\sigma_{XY}+C_3}{\sigma_X\sigma_Y+C_3} S(X,Y)=σX​σY​+C3​σXY​+C3​​

S S I M ( X , Y ) = L ( X , Y ) ∗ C ( X , Y ) ∗ S ( X , Y ) SSIM(X,Y)=L(X,Y)*C(X,Y)*S(X,Y) SSIM(X,Y)=L(X,Y)∗C(X,Y)∗S(X,Y)

其中，μ_X 和μ_Y 为图像X，图像Y的像素的均值，σ_X 和σ_Y 为图像X,图像Y的像素的标准值，σ _XY代表图像X和图像Y的协方差。 此外，C₁ ,C₂和C₃是常数，C₁=(K₁ * L)²，C₂=(K₂ * L)²，C₃=1/2C₃ ，一般的，K₁=0.01，K₂ = 0.03 ，L = 255 。

在实际操作中，对于求得图像像素的均值、方差和标准差，可以用高斯函数计算图像参数，可以保证更高的效率。同时，我们可以用平均结构相似性评价指标MSSIM来代替结构相似性评价指标SSIM。 平均结构相似性评价指标MSSIM：利用滑动窗将图像分块，令分块总数为N，采用高斯加权计算每一窗口的均值、方差和协方差，计算对应块的结构相似度SSIM，取平均值。 M S S I M ( X , Y ) = 1 N ∑ k = 1 N S S I M ( X k , Y k ) MSSIM(X,Y)=\frac{1}{N} \sum_{k=1}^{N} SSIM(X_k,Y_k) MSSIM(X,Y)=N1​k=1∑N​SSIM(Xk​,Yk​)

我们对于图像重构质量的评价指标还有其他许多种，但是我们也要思考的是真的是评价指标的高低和我们人眼看到的优劣是一致的么？除了这些常用评价指标外还有没有其他的指标可以衡量图像重构的质量。

通常都是基于多帧图像的，需要结合先验知识。有如下方法：

• 凸集投影法（POCS)
• 贝叶斯分析方法
• 迭代反投影法（IBP）
• 最大后验概率方法
• 正规化法
• 混合方法

机器学习领域（非深度学习邻域）的图像超分方法如下：

• Example-based方法
• 邻域嵌入方法
• 支持向量回归方法
• 虚幻脸
• 稀疏表示法

基于深度学习的图像超分辨率重建的研究流程如下：

• 1，首先找到一组原始图像Image1；
• 2，然后将这组图片降低分辨率为一组图像Image2；
• 3，通过各种神经网络结构，将Image2超分辨率重建为Image3（Image3和Image1分辨率一样）
• 4，通过PSNR等方法比较Image1与Image3，验证超分辨率重建的效果，根据效果调节神经网络中的节点模型和参数
• 5，反复执行，直到第四步比较的结果满意