??与其他领域相比，图像领域的对抗样本生成如下优势： ??1)观察者直观地看到真实图像和虚假图像； ??2)图像数据和图像分类器的结构相对简单。 ??主要内容：以全连接网络和卷积神经网络为例MNIST、CIFAR10，以及ImageNet基于基本样本的研究逃避对抗，图像对抗样本生成包括白盒、黑盒、灰盒和物理攻击。

??攻击者接收分类器 C C C与受害样本 (victim sample) ( x , y ) (x,y) (x,y) 之后，其目标是合成一个在感知上与原始图像相似但可能误导分类器给出错误预测结果的虚假图像： 找到 x ′ 满足 ∥ x ′ ? x ∥ ≤ ? , 例 如 C ( x ′ ) = t ≠ y , (1) \tag{1} \text{找到}x'\text{满足}\|x'-x\|\leq\epsilon,\ 例如C(x')=t\neq y, 找到x′满足∥x′−x∥≤ϵ, 例如C(x′)=t​=y,(1)其中 ∥ ⋅ ∥ \|\cdot\| ∥⋅∥用于度量 x ′ x' x′与 x x x的不相似性，通常为 l p l_p lp​范数。接下来介绍该攻击手段下的主要方法。

  在MNIST数据集上生成对抗样本，攻击目标是传统的机器学习分类器，如SVM和3层全连接神经网络，且通过优化判别函数来误导分类器。   例如图1中，对于线性SVM，其判别函数 g ( x ) = < w , x > + b g(x)=<w,x>+b g(x)=<w,x>+b。假设有一个样本 x x x被正确分类到3。则对于该模型，biggio首先生成一个新样本 x ′ x' x′，其在最小化 g ( x ′ ) g(x') g(x′)的同时保持 ∥ x ′ − x ∥ 1 \|x'-x\|_1 ∥x′−x∥1​最小。如果 g ( x ′ ) < 0 g(x')<0 g(x′)<0， x ′ x' x′将被误分类。

  首次应用在用于图像分类的神经网络上，其通过优化以下目标来寻找对抗样本： min ⁡ ∥ x − x ′ ∥ 2 2 s.t. C ( x ′ ) = t  and  x ′ ∈ [ 0 , 1 ] m . (2) \tag{2} \begin{array}{l} & \min &\|x-x'\|_2^2\qquad \text{s.t.} C(x') = t\ \text{and }x'\in[0,1]^m. \end{array} ​min​∥x−x′∥22​s.t.C(x′)=t and x′∈[0,1]m.​(2)  通过引入损失函数来近似求解该问题： min ⁡   λ ∥ x − x ′ ∥ 2 2 + L ( θ . x ′ , t ) , s.t.  x ′ ∈ [ 0 , 1 ] m , (3) \tag{3} \min\ \lambda\|x-x'\|_2^2+\mathcal{L}(\theta.x',t), \qquad\text{s.t. }x'\in[0,1]^m, min λ∥x−x′∥22​+L(θ.x′,t),s.t. x′∈[0,1]m,(3)其中 λ \lambda λ是一个规模参数。通过调整 λ \lambda λ，可以找到一个与 x x x足够相似的 x ′ x' x′，且同时误导分类器 C C C。

  Goodfellow等人设计了一个一步到位的快速对抗样本生成方法： x ′ = x + ϵ  sign ( ∇ x L ( θ , x , y ) ) , 非目标 x ′ = x − ϵ  sign ( ∇ x L ( θ , x , t ) ) , 目标 t (4) \tag{4} \begin{aligned} &x'=x+\epsilon\text{ sign}(\nabla_x\mathcal{L}(\theta,x,y)),\qquad\text{非目标}\\ &x'=x-\epsilon\text{ sign}(\nabla_x\mathcal{L}(\theta,x,t)),\qquad\text{目标}t \end{aligned} ​x′=x+ϵ sign(∇x​L(θ,x,y)),非目标x′=x−ϵ sign(∇x​L(θ,x,t)),目标t​(4)  在目标攻击设计下，该问题可以通过一步梯度下降求解： min ⁡ L ( θ , x ′ , t ) s.t.  ∥ x ′ − x ∥ ∞  and  x ′ ∈ [ 0 , 1 ] m . (5) \tag{5} \min\mathcal{L}(\theta,x',t)\qquad\text{s.t. }\|x'-x\|_\infty\text{ and }x'\in[0,1]^m. minL(θ,x′,t)s.t. ∥x′−x∥∞​ and x′∈[0,1]m.(5)  FGSM快速的一个原因是其仅需一次反向传播，因此适应于生成大量对抗样本的情况，其在ImageNet上的应用如图2。

  研究分类器 F F F围绕数据点的决策边界，试图找到一条可以超越决策边界的路径，如图3，从而误分类样本点 x x x。例如，为误判类别为4的样本 x 0 x_0 x0​到类别3，决策边界可以被描述为 F 3 = { z : F ( x ) 4 − F ( x ) 3 = 0 } \mathcal{F}_3=\{ z:F(x)_4 - F(x)_3 = 0 \} F3​={ z:F(x)4​−F(x)3​=0}。令 f ( x ) = F ( x ) 4 − F ( x ) 3 f(x)=F(x)_4 - F(x)_3 f(x)=F(x)4​−F(x)3​，在每次攻击中，它将使用泰勒展开 F 3 ′ = { x : f ( x ) ≈ f ( x 0 ) + < ∇ x f ( x 0 ) − ( x − x 0 ) > = 0 } \mathcal{F}_3'=\{ x:f(x)\approx f(x_0) + < \nabla_xf(x_0)-(x-x_0)>=0 \} F3′​={ x:f(x)≈f(x0​)+<∇x​f(x0​)−(x−x0​)>=0}来线性化决策超平面，并计算 ω 0 \omega_0 ω0​到超平面 F 3 ′ \mathcal{F}_3' F3′​的正交向量 ω \omega ω。向量 ω \omega ω可以作为扰动使得 x 0 x_0 x0​游离于超平面。通过移动 ω \omega ω，算法将找到可以被分类为3的对抗样本 x 0 ′ x_0' x0′​。

  DeepFool的实验结果展示，对于一般性的DNN图像分类器，所有的测试样本都非常接近决策边界。例如LeNet在MNIST数据集上训练好后，只需些许扰动，超过90%的样本都将被误分类，这表面DNN分类器对扰动是不健壮的。