【读点论文】Transformer in Transformer 细化图片结构，递归使用transformer。让图片去拟合自然语言处理的...

本文将描述所提出的transformer中transformer架构，并详细分析计算和参数复杂性。

Preliminaries

• 本文先简单描述一下transformer中的基本组件，包括MSA(多头自注意力机制)、MLP(多层感知器)和LN(层归一化)。

• MSA：在自注意力机制模块中，输入 X ∈ R n × d X∈\Bbb R^{n×d} X∈Rn×d被线性变换成三个部分，即查询 Q ∈ R n × d k Q∈\Bbb R^{n×d_k} Q∈Rn×dk​、关键字 K ∈ R n × d k K∈\Bbb R^{n×d_k} K∈Rn×dk​和值 V ∈ R n × d v V ∈\Bbb R^{n×d_v} V∈Rn×dv​，其中n是序列长度， d 、 d k 、 d v d、d_k、d_v d、dk​、dv​分别是输入、查询(关键字)和值的维度。缩放的点积注意力应用于Q、K、V:

  • A t t e n t i o n ( Q , K , V ) = s o f t m a x ( Q K T d k ) V Attention(Q,K,V)=softmax(\frac{QK^T}{\sqrt{d_k}})V Attention(Q,K,V)=softmax(dk​ ​QKT​)V

  • 最后，使用线性图层生成输出。多头自注意力机制将查询、键和值拆分为h个部分并并行执行attention函数，然后将每个头的输出值级联并线性投影形成最终输出。

  • 注意力机制（Attention Mechanism）的本质是：对于给定目标，通过生成一个权重系数对输入进行加权求和，来识别输入中哪些特征对于目标是重要的，哪些特征是不重要的；

  • 为了实现注意力机制，可以将输入的原始数据看作< Key, Value>键值对的形式，根据给定的任务目标中的Query 计算 Key 与 Query 之间的相似系数，可以得到Value值对应的权重系数, 之后再用权重系数对 Value 值进行加权求和, 即可得到输出。将注意力权重系数W与Value做**点积操作（加权求和）**得到融合了注意力的输出：

    • A t t e n t i o n ( Q , K , V ) = W ⋅ V = s o f t m a x ⁡ ( Q K T ) ⋅ V Attention(Q,K,V)=W⋅V=softmax⁡(QK^T)⋅V Attention(Q,K,V)=W⋅V=softmax⁡(QKT)⋅V

  • 注意力模型的详细结构如下图所示：

    • 需要注意，如果Value是向量的话，加权求和的过程中是对向量进行加权，最后得到的输出也是一个向量。

  • 注意力机制可以通过对< Key, Query>的计算来形成一个注意力权重向量，然后对Value进行加权求和得到融合了注意力的全新输出，注意力机制在深度学习各个领域都有很多的应用。不过需要注意的是，注意力并不是一个统一的模型，它只是一个机制，在不同的应用领域，Query, Key和Value有不同的来源方式，也就是说不同领域有不同的实现方法。

• MLP：MLP应用于自注意力层之间，用于特征变换和非线性: M L P ( X ) = F C ( σ ( F C ( X ) ) 、 F C ( X ) = X W + b MLP(X)=FC(σ(FC(X))、FC(X) = XW + b MLP(X)=FC(σ(FC(X))、FC(X)=XW+b.其中W和b分别是全连接层的权重和偏置项，σ()是激活函数如GELU。

  • MLP中文叫法是多层感知机，其实质就是神经网络。MLP中文叫法是多层感知机，其实质就是神经网络。是深度神经网络(DNN)的基础算法,有时候提起DNN就是指MLP。在MLP中,层与层之间是全连接的.

  • GELU激活函数

    • 全称是GAUSSIAN ERROR LINEAR UNIT,高斯误差线性单元,与Sigmoids相比，像ReLU，ELU和PReLU这样的激活可以使神经网络更快更好地收敛。高斯误差线性单元激活函数在最近的 Transformer 模型（谷歌的 BERT 和 OpenAI 的 GPT-2）中得到了应用。GELU 的论文来自 2016 年，但直到最近才引起关注。

    • G E L U ( X ) = x ∗ P ( X ≤ x ) = x ∗ ϕ ( x ) , x ～ N ( 0 , 1 ) GELU(X)=x*P(X\leq x)=x*\phi(x),x～N(0,1) GELU(X)=x∗P(X≤x)=x∗ϕ(x),x～N(0,1).x是输入值，X是具有零均值和单位方差的高斯随机变量。P(X<=x)是X小于或等于给定值x的概率。

    • 想使用它来创建确定性函数以用作激活。 请注意，SOI（zero-or-identity）可以执行以下两项操作之一：以概率 ϕ ( x ) \phi(x) ϕ(x) 做恒等映射，以概率 1 − ϕ ( x ) 1-\phi(x) 1−ϕ(x) 映射到0。对应着伯努利分布，该式子的期望（平均值)为：

      • I ∗ x ∗ ϕ ( x ) + 0 ∗ x ∗ ( 1 − ϕ ( x ) ) = x ∗ ϕ ( x ) 近 似 计 算 ： G E E L U ( X ) = 0.5 ∗ x ∗ ( 1 + t a n h [ 2 π ∗ ( x + 0.044715 x 3 ) ] ) G E L U 激 活 函 数 的 倒 数 ： d G E L U ( x ) d x = ϕ ( x ) + x ∗ ϕ ( x ) ‘ I*x*\phi(x)+0*x*(1-\phi(x))=x*\phi(x)\\ 近似计算：GEELU(X)=0.5*x*(1+tanh[\sqrt{\frac{2}{\pi}}*(x+0.044715x^3)])\\ GELU激活函数的倒数：\frac{dGELU(x)}{dx}=\phi(x)+x*\phi(x)^` I∗x∗ϕ(x)+0∗x∗(1−ϕ(x))=x∗ϕ(x)近似计算：GEELU(X)=0.5∗x∗(1+tanh[π2​ ​∗(x+0.044715x3)])GELU激活函数的倒数：dxdGELU(x)​=ϕ(x)+x∗ϕ(x)‘

      • 其中 Φ ( x ) \Phi(x) Φ(x)指的是x xx的高斯正态分布的累积分布，完整形式如下： x P ( X ≤ x ) = x ∗ ∫ − ∞ x e − ( x − μ ) 2 / ( 2 δ 2 ) 2 π δ d X xP(X\leq x)=x*\intop_{-∞}^{x}\frac{e^{-(x-μ)^2/(2\delta^2)}}{\sqrt{2\pi}\delta}dX xP(X≤x)=x∗∫−∞x​2π ​δe−(x−μ)2/(2δ2)​dX,计算的结果约为 0.5 ∗ x ∗ ( 1 + t a n h [ 2 π ∗ ( x + 0.044715 x 3 ) ] ) 0.5*x*(1+tanh[\sqrt{\frac{2}{\pi}}*(x+0.044715x^3)]) 0.5∗x∗(1+tanh[π2​ ​∗(x+0.044715x3)])。

    • Gelu(u(均值)=0,σ(方差) =1),Elu(α = 1),Relu激活函数对比图

• LN：层标准化是transformer中稳定训练和更快收敛的关键部分。LN应用于每个样本 x ∈ R d x ∈\Bbb R^d x∈Rd，如下所示:

  • KaTeX parse error: Undefined control sequence: \var at position 19: …(x)=\frac{x-μ}{\̲v̲a̲r̲}\odotγ+β

  • 其中μ∈ R、δ ∈ R分别是特征的平均值和标准偏差， ⊙ \odot ⊙是element-wise dot， γ ∈ R d 、 β ∈ R d γ∈\Bbb R^d、β∈\Bbb R^d γ∈Rd、β∈Rd是可学习的仿射变换参数。