资讯详情

Unsupervised Real-world Image Super Resolution via Domain-distance Aware Training

Unsupervised Real-world Image Super Resolution via Domain-distance Aware Training(基于域距感知训练的非监督真实图像超分)

补充：cvpr21open world vision workshop

cvpr2020

论文博客

Abstract

  • 生词：off-the-shelf(现成的) synthetic(合成的) corresponding to(对应于) bring forward(提出) rational(合理，理性) validated(通过验证)consistently(始终如一)realistic（逼真的）
  • 现有的方法概念是增强不匹配的数据。首先，从现实世界中的高分辨率图片（ x r x^r xr）生成低分辨率图片的图片( y g y^g yg)，对应于现实世界中的低分辨率图片( y r y^r yr)然后通过监督学习进行训练pseudo pairs(伪配对)数据 { y g y^g yg, x r x^r xr} 。因为图片分辨率转换本身就是一项具有挑战性的任务，这种方法使超分性能生成图片LR与真实的LR域间隙（domain gap）的限制。
  • 提出了基于域距感知的无监督真实图像超分辨率方法。(domain-distance aware super-resolution，DASR)。
  • 训练数据(例如 y g y^g yg)和测试数据(例如 y r y^r yr)之间的域差距通过我们的域差距感( **domain-gap aware training **)知训练和域距离加权监督策略( )来解决。
  • Domain-gap aware training从目标域真实数据中得到好处，Domain- distance weighted supervision 提出了更合理的使用标记源数据的方法。
  • 作者认为自己的方法在合成的和真实数据库中得到了验证，DASR结果始终超过state-of-art非监督模型，产生 的图片纹理更逼真自然。

Introduction

  • 补充：感知损失：它是将真实图片卷积得到的feature与生成图片卷积得到的feature作比较，使得高层信息（内容和全局结构）接近，也就是感知的意思。

  • 生词： 感知损失。the poor generalization capacity 泛化能力差 pursuit 追求 laborious 复杂的 perspective视角 predetermined synthetic data 预定合成数据 parameterized degradation model 参数化退化模型 sensor noise传感器噪音 compression artifacts 压缩伪影 histogram直方图 leverage 利用，发挥作用。 an advanced exploitation of… 更进一步开发… superiority 优势

  • discriminatively trained SR networks泛化能力差限制了其在真实场景中的应用。当应用于超分辨率真实图像时，在模拟数据集上训练的SR网络通常会导致SR结果中出现奇怪的伪影。

  • 提升训练模型泛化率以使得在一个数据类别上训练的模型可以应用在其他问题上，一些方法认为HR与LR满足一种参数化退化关系，从算法视角提出了一些方法。这些方法提升了模型训练的泛化能力，但固定退化假设极大地限制了它们在真实数据上的性能，而真实数据往往受到复杂的传感器噪声和压缩伪影的影响。

  • 如今，不基于参数退化模型假设而利用非配对的训练数据的非监督超分算法而利用非配对的训练数据的被提出。但是这些算法忽略了下采样的真实低分辨率图像与真实世界中低分辨率图像之间的域距离，尽管这些算法使用伪配对得到真实世界中低质量图像域的一些特点，获得了比较好的结果但是 y r y^r yr与 y g y^g yg仍存在域距离。

  • 不同于使用伪配对进行无监督学习的超分方法，我们考虑了 Y g Y^g Yg 与 Y r Y^r Yr 之间的域距离，在Domain adaptation setting下解决了超分存在的问题，通过domain-gap aware training (域距离感知训练)和 domain-distance weighted supervision(域距离加权监督策略)解决domain gap问题。

    • 第一：DASR使用伪配对{ Y g Y^g Yg , X r X^r Xr }和真实的低分辨率图片 Y r Y^r Yr来训练 SR网络。除了伪配对的监督损失以外，DASR还在真实世界数据 Y r Y^r Yr 高分辨率预测 X r ′ − > r X^{r'->r} Xr′−>r中添加对抗约束。将YR结合到训练中来通知目标域的网络，极大地提高了其在真实数据上的SR性能。
    • 第二：鉴于不同生成的低质量图片与真实世界图片之间域距离有远有近，根据 y i g y_i^g yig​ 和 Y r Y^r Yr 的域距离调整了不同伪配对{ y i g , x i r y_i^g, x_i^r yig​,xir​}的重要程度。训练过程中，与真实世界域距离接近的权重大，而不真实例子则仅允许在训练中参与有限的贡献。
    • 此外作者还。

  • 作者的工作总结：

    • 提出DASR网络模型来解决真实世界SR问题。通过提出域距离感知训练和域距离加权监督策略，解决了生成的低质量图片与真实图片之间域距离问题。
    • 作者设置了 ablation studies （消融实验）来分析验证自己的方法的优势。

2、Related Works

2.1 Single Image Super-Resolution with CNNs

  • 生词：dominate 占据主导地位 pioneer work 开拓者工作 venture冒险，投机。 a surge of 一股激增的。perceptual loss（感知损失) manifold 流形 criterion 判据 aforementioned 上述的 simulated datasets 模拟数据集 blur kernel 模糊核 subsequent 后继 explicitly明确的说。 be capable of 有能力，可以。 generalizing 推广. be consist with 与…一致 deteriorate 恶化 Discrepancy差异
  • 本段主要介绍了CNN网络在超分领域的发展，一些架构、损失函数设计以及不同训练标准（training criterions）的提出例如提出了基于感知驱动的感知损失函数改善感知质量结果。提高了超分的质量。
  • 一些工作假设LR与HR图像退化模型可以通过未知的模糊核和随后的下采样操作来表征。这些盲SR在测试时显式地估计未知模糊核，并将估计的核作为核自适应超分网络的输入变量来满足不同的退化超参数。还有一些工作尝试使用测试图片信息在测试阶段训练或微调超分网络。然而这些工作都基于未知图像退化假说，最近的研究考虑非监督设定来代替退化假设。一篇介绍2020年以前的超分工作的博客。

Domain Adaptation(领域自适应)

  • 生词：deploy 部署

  • 领域自适应的目的是利用已标记的源域来学习在未标记的目标域上表现良好的模型。域适应 简介(核心思想：把Source 和 Target 上的数据，都投影到某一个共同的空间上 (Space)。在这个空间上Source 和 Target的数据差异会变小，就可以当成同一个数据集了，我们就能用各种分类器在这个空间上进行训练了。)。早期领域自适应在计算机视觉领域的研究重点是解决高层分类任务中的领域偏差问题,而最近，领域自适应也被用于更具挑战性的密集估计任务，如语义切分.在适当的自适应策略下，在合成数据集上训练的模型取得了与用真实标记数据训练的模型相当的性能。

DASR for Unsupervised Real-World Image SR

3.1 方法概述

  • 生词：simultaneously 同时 In contrast to 与之形成鲜明对比的是。adopt 采用

  • 文章研究非监督真实世界图像超分问题。给定一系列真实世界低分辨率图片 Y r = ( y i r ) i = 1 , . . . M Y^r = {(y_i^r)}_{i = 1,...M} Yr=(yir​)i=1,...M​和一些未配对的高分辨率图片 X r = ( x i r ) i = 1 , . . . M X^r = {(x_i^r)}_{i = 1,...M} Xr=(xir​)i=1,...M​ 。

    • 首先，我们训练一个下采样网络(DSN)来从HR图像生成真实的LR域中的LR图像： y i g = D S N ( x i r ) y_i^g = DSN(x_i^r) yig​=DSN(xir​) ，然后使用生成的LR-HR对 ( y i g , x i r ) i = 1 , . . . M {(y_i^g,x_i^r)}_{i = 1,...M} (yig​,xir​)i=1,...M​ 来训练SRN（超分网络）。与之前直接使用伪配对以监督学习方法训练SRN不同，DASR考虑 y g 与 y r y^g与 y^r yg与yr 域偏置，采用域间隙感知训练和域间距加权监督策略充分利用真实世界的LR图像以及生成的对。

3.2 Training of Down-Sampling Network(通过从未配对的数据生成合成LR-HR对来训练下采样网络模型DSN)

锐单商城 - 一站式电子元器件采购平台