无源域适应（SFDA）领域探索和论文复制(第一部分)
一.领域综述
\quad\quad 领域自适应(DA)目标是通过源数据驱动的两个阶段框架重用目标域的源域知识。首先，收集源数据并标记它们进行训练。然后，自适应阶段是利用未标记的目标数据和已标记的源数据对预训练的模型P进行微调。在（SFDA）在场景中，未标记的目标 X t X^t Xt只能提前训练提取有价值的知识，而不是直接，提取有价值的知识。为了实现这一点，一种方法是利用目标样本进行自我监督和培训，另一种方法是重建虚拟源数据进行知识转换。在没有具体说明的情况下，源模型和目标模型通常共享相同的模型系统结构。
1.1自适应训练
\quad\quad [1]和[2]是的SFDA这两个领域的先驱研究主要是解决目标领域标签较少的问题。只有一个预训练模型P和一个没有标签的目标数据 X t X^t Xt，生成一组噪声伪标签的直接适应方法： Y ~ t = arg max P ( X t ) \tilde{Y}^{t}=\arg \max \mathcal{P}\left(X^{t}\right) Y~t=argmaxP(Xt) \quad\quad 然后通过以下方式对目标模型Q进行微调： min Q L adap ( Q ∣ X t , Y ~ t ) \min _{\mathcal{Q}} \mathcal{L}_{\text {adap }}\left(\mathcal{Q} \mid X^{t}, \tilde{Y}^{t}\right) QminLadap (Q∣Xt,Y~t) \quad\quad 其中 L adap \mathcal{L}_{\text {adap }} Ladap 是适应性损失函数。事实上，由于生成的伪标签容易出错，这可能误导目标模型。
\quad\quad 来源于半监督学习的一些源驱动的DA方法[3],[4]通过探索为目标集生成可信度最高的伪标签来逐渐完善模型。在这种情况下，源集参与了联合训练，避免了在训练过程中源域知识被遗忘。在源域数据缺失的条件下，具有可靠的伪标签 Y ^ t \hat{Y}^t Y^t的目标数据对校准模型Q非常重要。如下图所示，有两种主要的方式用来探索可靠和有价值的目标样本用于自监督，即伪标签聚类和过滤。
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-PAwbGJrC-1656066484884)(C:\Users\86133\AppData\Roaming\Typora\typora-user-images\image-20220623173732567.png)]
1.1.1伪标签聚类法
\quad\quad 如(a)所示，噪声伪标签可以首先由源模型输入目标数据生成。然后，他们可以通过聚类算法被进一步分类。基于带有标定伪标签的目标数据，可以学习目标模型。的思想是：通过预先训练好的源模型对部分目标样本正确预测，在和他们有关系的目标域中发挥作用。
\quad\quad 作为一项早期研究，Liang等人[5]在最近临分类器的基础上建立了一种方法，寻找目标中心点移动的子空间，并迭代地使之移动越来越小。后来，受假设转移学习(HTL)的启发，Liang等人提出了源假设转移(SHOT)[6]框架。它冻结了源模型的分类器，并学习了目标特定的特征提取器。这是通过信息最大化和自监督伪标签来实现的，以隐方式将目标领域的特征和源假设对齐。事实上，信息最大化是为了迭代地减少预测的不确定性，这与数据驱动的DA相似。此外，伪标签是通过加权k-means聚类和最近邻分类器获得的。之后，他们用一种新的标签转移策略进一步扩展了SHOT，称为SHOT++[7]。它根据预测的置信度将目标数据分成两个部分，然后通过半监督学习来提高目标域中置信度较低的预测的准确性。此外，Tang等人[8]在遵循SHOT[6]的基础上，引用入了渐进式KD和Mixup技术。Chen等人[9]利用自适应批量归一化来更新目标数据，然后通过深度转移聚类生成伪标签。此外，他们将目标集分成干净和嘈杂的部分，用指数动量平均法(EMA)进行稳定训练。G-SFDA[10]是一种广义的SFDA方法，它将局部结构聚类和稀疏领域统一了起来。前者利用特征空间中的局部邻域信息，将每个目标实例与其最近邻进行聚类，以实现自监督适应，而后者旨在通过正则化反向传播的梯度保持源域的信息。Tang等人[11]提出了隐藏在单个数据的局部几何中的语义约束，以鼓励对目标域进行稳健的聚类。他们还在新的几何学中引入语义可信度约束。Yang等人[12]通过定义目标数据的局部亲和力来利用内在的邻域结构，以鼓励类与邻域亲和力的一致性。
\quad\quad 除了解决SFDA的基本挑战外，还有一些专注于其他特定SFDA场景的工作。USFDA[13]是一个两阶段的学习框架，用于解决普遍的无源域适应问题。在刚开始的阶段，它为未来的无源部署模型配备了一个人工生成的负面数据集。这促使了一个分类良好的紧密源集群的生成。在部署阶段，它通过利用源相似性指标来定义无源域适应目标。为了解决多源无数据适应问题，Ahmed等人利用了信息最大化和基于聚类的伪标签策略，对所有源模型的目标标签进行加权组合。基于SHOT，Agarwal等人提出了一个新的问题，即在无源环境下的无监督鲁棒域适应。类似的,Yang等人[14]将SHOT扩展到了基于Transformer的网络，并提出了一个带有EMA的自我蒸馏SFDA框架，将聚类标签知识转移到目标网络。与现有的专注于训练阶段的方法不同，T3A[15]专注于领域泛化发的测试阶段。它用无标签的目标数据为每个类别计算出一个伪原型表示，然后根据每个样本与伪原型的距离进行分类。
1.1.1伪标签过滤
\quad\quad 尽管没有源数据，一些目标样本可以分布在源域的周围，并且和源域非常相似。因此，这些目标样本可以被用来近似地描述源域。这类SFDA方法通常通过将目标数据分成两个子集来过滤目标伪标签，即伪源集和剩余的目标集。它们分别对应于源假设保持和目标知识探索。图1(b)描述了伪标签过滤策略的原理。
\quad\quad Kim等人[16]观察到，由预训练的源模型测量的自熵较低的目标样本有可能被正确分类。为此，他们选择熵值小于0.2的可靠样本进行目标模型训练。所选样本的伪标签由源模型生成。BAIT[17]将当前批次分成两组，它为最小化整个双分类器架构的分歧找到了潜在的游走特征。CAiDA[18]是在没有源数据的情况下，对从多个源域到未标记的目标域的知识适应性的先驱性探索。它开发了一个语义最近的自信锚，以选择自监督适应的伪标签。它还设计了一个类关系意识的一致性损失，以确保语义的一致性。此外，它从理论上证明了在一些温和的假设下，多源模型可以提高获得更可靠的伪标签的可能性。Huang等人[19]建立了一个历史对比学习(HCL)范式，而不是僵硬地分割目标数据集，并为每个样本分配特定的权重以决定其在自监督训练中的影响，具体来说，他们从实例层面和类别层面设计了两种历史对比辨别策略，利用历史来源假设，学习辨别性的目标表征。 A 2 A^2 A2Net是一种自适应的对抗性网络，他包括三个方面的组成部分：(1)适应性对抗推理是为了发现在双分类器结构下，源相似和源不相似的目标样本。(2)对比性类别匹配是为了在目标样本的两个部分之间进行类别匹配。(3)自监督的旋转旨在增强模型以学习额外的语义。Du等人[20]也将目标数据分成两个不相干的部分，即伪源部分和剩余的目标部分，并且采用MixUp策略来对齐分布。
\quad\quad 与常见的SFDA场景不同，Zhang等人[21]研究了预训练的模型被视为一个黑盒，只有预测可以访问的设置。他们提出了一种迭代噪声标签学习(IterNLL)算法，该算法在用过滤的目标子集改进目标模型和通过统一的先验假设更新噪声标签之间交替进行。
\quad\quad 值得注意的是，由于聚类算法的限制，带有伪标签聚类的SFDA方法只自然地支持分类任务。但是，由于预测图的可分性，伪标签过滤算法可以应用于其他复杂任务，如语义分割和物体检测。
1.2应用
\quad\quad 前文已经说明了不同种类的SFDA分类方法，从理论原理到具体实施。以下简要介绍以下SFDA的具体应用，即语义分割和物体检测。
1.2.1语义分割
\quad\quad 语义分割是一项像素级的预测任务，旨在为图像的每个像素分配一个语义类别标签。分割模型的预测输出是一个标签图。因此，图像层面的伪标签聚类策略并不适合这项任务。然而，伪标签图可以根据预测置信度分成正负两部分。只有正部分被用来通过自监督训练来更新模型。在次基础上，虚拟源知识转移方法可以很容易地扩展到语义分割模型。大多数的SFDA方法遵循基于伪标签过滤和信息最大化的自监督训练范式，这对于分割来说简单而有效。[22]是SFDA用于分割的开创性研究，但它利用了预先存储的源域元数据，这不能满足SFDA的隐私要求。TENT[23]创新地对BN层中的归一化和转换参数进行简单的微调，以适应目标模型，仅仅需要较少的计算量，就能拥有较大的改进。You等人[24]提出通过混合源和目标统计量来校准BNS，以减轻域转移，并在进行测试时保留鉴别性结构。SF-OCDA[25]提出了交叉补丁式的交换和光度变换来模拟风格的变化，这可以促进模型在语义分割中的表现。除了在选定的像素上通过熵值最小化来更新模型外，You等人还引入了负学习来判断负类别。 D A S 3 DAS^3 DAS3[26]采用 ClassMix技术来合并难和容易的分割来正则化半监督技术。S4T建立了一个选择性自我训练框架，以减少图像的不同视图之间的不一致性。[27]和[28]都采用了一个发生器来生成基于BNS的图像，将源域知识转移到目标模型。此外，他们还在目标模型之后引入了一个判别器，以最小化正负分裂之间的误差。
1.2.2物体检测
\quad\quad 物体检测是一个长期的挑战，其目的是预测物体的边界和相应的类别。领域自适应物体检测任务对准了图像和物体两个层面。而检测模型的预测图也是可分的，与语义分割类似。
\quad\quad SFOD[29]首先试图通过将物体检测建模为一个带噪声标签的学习问题来解决物体检测中的SFDA。由于伪标签的质量参差不齐，它引入了一种度量方法(名为自熵下降)来搜索过滤可靠伪标签的近似阈值。Xiong等人[30]向目标数据添加扰动，构建了一个超级目标域，协助探索领域不变和特定的空间。通过三种一致性正则化，该模型可以将目标域与源域进行空间对齐。
二.数据集介绍
\quad\quad SFDA方向的论文主要应用了以下四个数据集：
$\quad\quad$1.(Saenko等人，2010)，这是一个标准的DA基准测试，它包含三个域(Amazon(A)、DSLR(D)和Webcam(W))，每个域由办公环境下的31个对象类组成。(Gongetal，2012)进一步提取了Office和Caltech-256 ©之间的10个共享类别，并形成了一个名为的新基准数据集。这两个基准数据集都比较小，图片数量不太多。
$\quad\quad$2.(Venkateswaraetal.，2017)，这是一个具有挑战性的中型基准数据集，它包括四个不同的领域(艺术图像(Ar)、剪贴画艺术(Cl)、产品图像(Pr)和现实世界图像 (Rw))。在每个领域中总共有65个日常物品类别。
$\quad\quad$3.(Pengetal.，2017)是一个具有挑战性的大规模基准测试集，主要专注于12类合成-真实对象识别任务。其源域包含15.2万个合成图像，而目标域有从微软COCO采样的5.5万张真实目标图像。
$\quad\quad$4.是一个专注于数字识别的标准DA基准测试数据集。由(Hoffmanetal.，2018)提出使用协议，主要利用了其中的三个子集：SVHN(S)、MNIST(M)和USPS(U)。
三.论文精读与复现
1. Domain Adaptation without Source Data
\quad\quad 这篇论文是SFDA方向较早的一篇论文之一，该论文主要解决了以下几个问题：
$\quad\quad$1.由于隐私问题，无法得到源数据集，只能得到源数据集上面训练的模型，在这种情况下进行迁移学习。故论文设计了一种新的网络结构，使之在只有源域训练模型的情况下也能进行迁移学习。
$\quad\quad$2. 由于target data上无标注，如何判断target data属于具体哪个class。并且因为target data没有ground truth，无法计算模型训练时的loss。故论文设计了APM模块对target data进行分类，并且设计了Confidence-based filtering来约束训练时发生的分类偏移情况。
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-llzd8aBm-1656066484886)(C:\Users\86133\AppData\Roaming\Typora\typora-user-images\image-20220623173833941.png)]
\quad\quad 即为作者设计的新的网络结构，该网络主要分为三个部分：pre-trained model,Trainable model和APM.
\quad\quad 其中，pre_trained model是在source data上预训练好的模型，在整个训练过程中不会改变。该模型参数存储在source_pretrained_weight文件下。
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-nVLD9Tc3-1656066484886)(file:///C:\Users\86133\AppData\Local\Temp\ksohtml21816\wps2.jpg)]
\quad\quad Trainable model是要在target data上面训练的模型。
\quad\quad APM部分存放每个类别的代表样本，当有样本送到网络中时，与里面的代表样本计算距离，然后进行打分，样本就属于分高的类别。
$\quad\quad$1.1训练过程：
$\quad\quad 1. 初 始 化 t r a i n a b l e m o d e l : 使 用 1.初始化trainable model :使用 1.初始化trainablemodel:使用F_{S} 初 始 化 初始化 初始化F_{t} ， 使 用 ，使用 ，使用C_{S} 初 始 化 初始化 初始化C_{s2t} 和 和 和C_{t}$。
$\quad\quad 2. 将 t a r g e t d a t a 送 到 p r e t r a i n e d m o d e l 中 得 到 伪 标 签 2.将target data送到pre_trained model中得到伪标签 2.将targetdata送到pretrainedmodel中得到伪标签\hat{y}{s}$,根据 y ^ s \hat{y}_{s} y^s计算 L s o u r c e L_{source} Lsource,计算公式如下： L source ( D t ) = − E x t ∼ D t ∑ c = 1 N c 1 [ c = y s ^ log ( σ ( C s 2 t ( F t ( x t ) ) ) ) L_{\text {source }}\left(D_{t}\right)=-\mathbb{E}_{x_{t} \sim D_{t}} \sum_{c=1}^{N_{c}} \mathbb{1}_{\left[c=\hat{y_{s}}\right.} \log \left(\sigma\left(C_{s 2 t}\left(F_{t}\left(x_{t}\right)\right)\right)\right) Lsource (Dt)=−Ext∼Dtc=1∑Nc1[c=ys^log(σ(Cs2t(Ft(xt)))) $\quad\quad 3. t a r g e t d a t a 送 到 t r a i n a b l e m o d e l 中 ， 提 取 出 特 征 f t , f t 再 送 入 A P M 中 得 到 类 别 ， 和 对 应 的 伪 标 签 3.target data送到trainable model中，提取出特征ft,ft再送入APM中得到类别，和对应的伪标签 3.targetdata送到trainablemodel中，提取出特征ft,ft再送入APM中得到类别，和对应的伪标签\hat{y}{t}$,计算如下: s c ( x t ) = 1 ∣ M c ∣ ∑ p c ∈ M c p c T f t ∥ p c ∥ 2 ∥ f t ∥ 2 s_{c}\left(x_{t}\right)=\frac{1}{\left|M_{c}\right|} \sum_{p_{c} \in M_{c}} \frac{p_{c}^{T} f_{t}}{\left\|p_{c}\right\|_{2}\left\|f_{t}\right\|_{2}} sc(xt)=∣Mc∣1pc∈Mc∑∥pc∥2∥ft∥ 标签： da4y变送器hc319变送器