??在传统的缺陷检测中，使用的训练样本是正常的无缺陷样本，但在某些情况下也可以收集少量的缺陷样本，直接丢弃这些缺陷样本是浪费，毕竟，这些样本包含了真正的缺陷特征，如果这些缺陷样本包含在训练中，也许当网络再次遇到类似的缺陷时可以更好地分割。 ??本文提出的多头网络用于解决上述问题，充分利用可见异常，不会造成严重的过拟合。 ??论文中的两种天鹅：黑天鹅和灰天鹅，象征着可见的异常（seen anomaly），即训练集中的已知异常样本；黑天鹅象征着不可见的异常（unseen anomaly），也就是说，测试中可能遇到的各种异常类型。

论文地址：https://arxiv.org/pdf/2203.14506.pdf 官方代码：https://github.com/choubo/DRA

??论文中提出了一种DAR多头网络分为正常头网络（Normality learning head）、伪异常头（Pseudo anomaly）、可见异常头（Seen anomaly）和潜在异常头（Latent residual anomaly），每个头分开训练，训练不同的内容，得到每个头的异常分数，然后组合起来，知道样本是否异常。

??在此之前，为了获取不同感受野的信息，不需要对原图进行采样，分别进行后续操作。 ??本实验中使用的特征提取器仍为预训练resnet18网络，将其conv5_x层输出作为提取的特征信息。

??正常头部训练的目标是对正常样本进行分类，即score越接近1，正常样本的概率越大，训练中的一切都会发生image把它送上。holistic head网络结构也很简单，相当于普通二分类网络的最后几层feature extractor提取出的feature maps平均池，然后通过两层全连接层获得正常分数normal scores。

class HolisticHead(nn.Module):     def __init__(self, in_dim, dropout=0):         super(HolisticHead, self).__init__()         self.fc1 = nn.Linear(in_dim, 256)         self.fc2 = nn.Linear(256, 1)         self.drop = nn.Dropout(dropout)      def forward(self, x):         x = F.adaptive_avg_pool2d(x, (1, 1))         x = x.view(x.size(0), -1)
        x = self.drop(F.relu(self.fc1(x)))
        x = self.fc2(x)
        return torch.abs(x)

  可见异常为训练集中包含的异常样本，在训练时Label=1，将可见异常与正常样本一并送入该头中，通过一个普通的卷积层得到feature maps各个channel的异常分数，使用Top-K选取其中异常分数较大的K个进行平均，得到该头的异常分数anomaly score，异常分数越接近1，该image是异常的概率越大。

class PlainHead(nn.Module):
    def __init__(self, in_dim, topk_rate=0.1):
        super(PlainHead, self).__init__()
        self.scoring = nn.Conv2d(in_channels=in_dim, out_channels=1, kernel_size=1, padding=0)
        self.topk_rate = topk_rate

    def forward(self, x):
        x = self.scoring(x)
        x = x.view(int(x.size(0)), -1)
        topk = max(int(x.size(1) * self.topk_rate), 1)
        x = torch.topk(torch.abs(x), topk, dim=1)[0]
        x = torch.mean(x, dim=1).view(-1, 1)
        return x

  所谓伪异常，即使用数据增强的方法仿真出一些未来可能出现的unseen anomaly，论文中使用CutMix方法实现数据增强，CutMix分为Cut与Mix两个步骤，Cut就是将图片的一部分区域剪切掉，Mix就是在剪切掉的区域中随机填充其他image的区域像素值。伪异常头与上述的可见异常头使用相同的网络结构，伪异常Label=2。

  未来可能出现的那些异常与seen anomaly几乎无共同点，与normal samples仅有很少的不同处，只用异常本身的特征很难检测出来的，但在高阶复合特征空间中很容易被检测出来，复合特征具有更强的可分辨性。   首先，从normal samples中随机抽取的一小部分图像，计算其feature maps的平均值获得可供参考的正常特征图。   然后相减获得标识异常与正常区别的残差特征图。

class CompositeHead(PlainHead):
    def __init__(self, in_dim, topk=0.1):
        super(CompositeHead, self).__init__(in_dim, topk)
        self.conv = nn.Sequential(nn.Conv2d(in_dim, in_dim, 3, padding=1),
                                  nn.BatchNorm2d(in_dim),
                                  nn.ReLU())

    def forward(self, x, ref):
        ref = torch.mean(ref, dim=0).repeat([x.size(0), 1, 1, 1])
        x = ref - x
        x = self.conv(x)
        x = super().forward(x)
        return x

  训练过程中，由四个head共同训练，并且每个head参数不共享、独立进行优化。损失函数使用deviation loss，比cross entropy loss或focal loss更稳定、性能更好。将所有abnormal head分数相加，减去normal head的分数即可得到异常分数，通过该异常分数来判断一张图片是否存在异常。   

  关于deviation loss，首先使用Z-score定义异常样本与正常样本异常分数的偏差（μ和σ在实验中为标准正态分布）

  然后定义loss：

  当样本异常时，y=1，loss为0和a-dev中较大的一项，即pred尽可能大   当样本正常时，y=0，loss为abs(dev)，即pred尽可能小

  经过测试，该DAR网络在MVTec AD数据集上整体表现良好，但依旧存在某些问题，如对cable样本的poke insulation和cable swap缺陷的检测表现不佳…