多阶段渐进式图像恢复 | 去雨、去噪、去模糊 | 有效教程（附源码）|【CVPR 2021】

一篇应用于【 去模糊，去雨，去噪 】多阶段逐步图像恢复论文

• Multi-Stage Progressive Image Restoration (CVPR 2021)
• 多阶段渐进图像恢复
• https://arxiv.org/abs/2102.02808
• https://github.com/swz30/MPRNet

• 一种新颖的多阶段方法，能产生丰富的上下文和准确的空间输出； 由于其多阶段性质，我们的框架将具有挑战性的图像恢复任务分解为子任务，以逐步恢复退化图像
• 一个有效的监督注意力模块，它在进一步传播之前在每个阶段充分利用恢复的图像来细化传入的特征
• 跨阶段聚合多尺度特征的策略
• 我们通过在 10 合成和真实世界数据集证明了我们在各种恢复任务（包括图像雨、模糊和噪声）方面的优异效果 MPRNet 同时保持低复杂度(见图 1）。 此外，我们还提供详细的消融、定性结果和泛化测试。

Image Deblurring 去模糊数据集

• GoPro [53] dataset – 下载主页
• 主页细节如下

Image Deraining 【去雨数据集】

• Rain14000 [23] Rain1800 [81] Rain800 [90] 【训练】
• Rain100H [81], Rain100L [81], Test100 [90], Test2800 [23], and Test1200 [89] 【测试】

Image Denoising 【去噪】

• SIDD dataset [1] – 主页 ：https://www.eecs.yorku.ca/~kamel/sidd/dataset.php
• SIDD 测试数据集 – 主页：https://www.eecs.yorku.ca/~kamel/sidd/benchmark.php
• DND benchmark dataset [60] – Darmstadt Noise dataset – 主页 ：http://noise.visinf.tu-darmstadt.de/benchmark/

在这项工作中，我们提出了一个多阶段的图像恢复系统架构，通过在每个阶段注入监督，逐步改善退化的输入。我们为我们的设计制定了指导原则，要求在多个阶段进行互补的特征处理，并在它们之间进行灵活的信息交换。为此，我们提出 contextually-enriched and spatially accurate stages ，对一组不同的特征进行统一编码。为了确保交互阶段之间的协同作用，我们提出了跨阶段的特征融合和从早期阶段到后期阶段的注意力引导输出交换。我们的模型在众多基准数据集上取得了显着的性能提升。此外，我们的模型在模型大小方面重量轻，在运行时方面效率高，这对于资源有限的设备来说非常有意义。

• 服务器：ubuntu1~18.04 Quadro RTX 5000 16G
• CUDA版本 V10.0.130

基础环境建设如下

conda create -n torch11 python=3.7.5  conda activate torch11  pip install torch==1.1.0  pip install torchvision==0.3.0  ## 或者(建议使用 conda 来安装） conda install pytorch==1.1.0 torchvision==0.3.0 cudatoolkit=10.0 -c pytorch ## 或者(根据你的 Cuda 版本来决定安装命令) conda install pytorch=1.1 torchvision=0.3 cudatoolkit=9.0 -c pytorch pip install matplotlib scikit-image opencv-python yacs joblib natsort h5py tqdm 

Install warmup scheduler 【必须步骤】

conda activate torch11

git clone https://github.com/swz30/MPRNet.git

cd MPRNet-main

cd pytorch-gradual-warmup-lr/

python setup.py install

输出如下

running install
running bdist_egg
running egg_info

...
...

Installed /home/moli/anaconda3/envs/torch11/lib/python3.6/site-packages/warmup_scheduler-0.3-py3.6.egg
Processing dependencies for warmup-scheduler==0.3
Finished processing dependencies for warmup-scheduler==0.3

• 去模糊：这里暂时使用 GOPRO_Large\test\GOPR0384_11_00 作为测试数据，放置在samples/ 目录下
• 去雨：Rain100H/
• 去模糊：高斯噪声 和 脉冲噪声 图像各一张 ，放置在 samples/noise/ 目录下

• 项目，目录结构如下

• 博文使用的测试数据集，设置如下

python demo.py --task Deblurring --input_dir ./samples/GOPR0384_11_00/blur --result_dir ./samples/output/

输出如下

# GPU 占用 10209MiB

Files saved at ./samples/output/

输入输出对比效果

该去模糊图像和数据集中该测试图像对应的清晰图片对比【可见去模糊效果还不错】

cmd

python demo.py --task Deraining --input_dir ./samples/Rain100H/input/ --result_dir ./samples/Rain100H/output/

输出如下

# GPU 占用 1461MiB

Files saved at ./samples/Rain100H/output/

输入输出对比效果

python demo.py --task Denoising --input_dir ./samples/noise/ --result_dir ./samples/denoise

输出如下

# GPU 占用 2087MiB

Files saved at ./samples/denoise

去噪声效果如下

有需要此次源码的小伙伴， 墨理学AI 公众号后台，回复 20211120 即可自动获取本博文此次的运行代码+模型+测试数据分享+对应论文

20211120

• 👋 如果感觉文章看完了不过瘾，还想更进一步，那么可以来我的其他 专栏 看一下哦~

• ❤️ 图像风格转换 —— 代码环境搭建 实战教程【关注即可阅】！
• 💜 图像修复-代码环境搭建-知识总结 实战教程 【据说还行】
• 💙 超分重建-代码环境搭建-知识总结 解秘如何让白月光更清晰【脱单神器】
• 💛 YOLO专栏，只有实战，不讲道理 目标检测【建议收藏】！

• 🎻 个人整理的 Cuda 系列 Linux 安装教程【适合小白进阶】

• 💜 ubuntu18给当前用户安装cuda11.2 图文教程 | 配置cuDNN8.1 |
• 💜 Linux服务器下给当前用户安装自己的CUDA10.0
• 💜 Linux下cuda10.0安装Pytorch和Torchvision
• 💜 Linux 可以安装多个版本的Cuda 吗 | 给我一台新的服务器，我会怎么安排 Cuda
• 💜 查看CUDA和cuDNN的版本号

• 🍖 深度学习、调参搬砖、开发利器【大佬必备】

• ❤️ VSCode远程连接 Linux 服务器进行开发调试 | C++远程调试 | Python远程调试 | VSCode 神器 ，你值得拥有
• ❤️ windows下 pycharm配置Linux服务器的 conda环境之最强指南 | 深度学习模型远程调试 | SFTP 同步传输 |

上一秒的我信誓旦旦

梦醒，洗头