YOLOv5网络详解

在YOLOv5代码里，关于数据增强策略还是挺多的，这里简单罗列部分方法：

• Mosaic，将四张图片拼成一张图片，讲过很多次了

• Copy paste，将部分目标随机的粘贴到图片中，前提是数据要有segments数据才行，即每个目标的实例分割信息。下面是Copy paste原论文中的示意图。

• Random affine(Rotation, Scale, Translation and Shear)，随机进行仿射变换，但根据配置文件里的超参数发现只使用了Scale和Translation即缩放和平移。

• MixUp，就是将两张图片按照一定的透明度融合在一起，具体有没有用不太清楚，毕竟没有论文，也没有消融实验。代码中只有较大的模型才使用到了MixUp，而且每次只有10%的概率会使用到。

• Albumentations，主要是做些滤波、直方图均衡化以及改变图片质量等等，我看代码里写的只有安装了albumentations包才会启用，但在项目的requirements.txt文件中albumentations包是被注释掉了的，所以默认不启用。

• Augment HSV(Hue, Saturation, Value)，随机调整色度，饱和度以及明度。

• Random horizontal flip，随机水平翻转

在YOLOv5源码中使用到了很多训练的策略，这里简单总结几个我注意到的点，还有些没注意到的请大家自己看下源码：

• Multi-scale training(0.5~1.5x)，多尺度训练，假设设置输入图片的大小为 640 × 640 640 imes 640 640×640，训练时采用尺寸是在 0.5 × 640 ～ 1.5 × 640 0.5 imes 640 sim 1.5 imes 640 0.5×640～1.5×640之间随机取值，注意取值时取得都是32的整数倍（因为网络会最大下采样32倍）。
• AutoAnchor(For training custom data)，训练自己数据集时可以根据自己数据集里的目标进行重新聚类生成Anchors模板。
• Warmup and Cosine LR scheduler，训练前先进行Warmup热身，然后在采用Cosine学习率下降策略。
• EMA(Exponential Moving Average)，可以理解为给训练的参数加了一个动量，让它更新过程更加平滑。
• Mixed precision，混合精度训练，能够减少显存的占用并且加快训练速度，前提是GPU硬件支持。
• Evolve hyper-parameters，超参数优化，没有炼丹经验的人勿碰，保持默认就好。

YOLOv5的损失主要由三个部分组成：

• Classes loss，分类损失，采用的是BCE loss，注意只计算正样本的分类损失。
• Objectness loss，obj损失，采用的依然是BCE loss，注意这里的obj指的是网络预测的目标边界框与GT Box的CIoU。这里计算的是所有样本的obj损失。
• Location loss，定位损失，采用的是CIoU loss，注意只计算正样本的定位损失。

L o s s = λ 1 L c l s + λ 2 L o b j + λ 3 L l o c Loss=lambda_1 L_{cls} + lambda_2 L_{obj} + lambda_3 L_{loc} Loss=λ1Lcls+λ2Lobj+λ3Lloc 其中， λ 1 , λ 2 , λ 3 lambda_1, lambda_2, lambda_3 λ1,λ2,λ3为平衡系数。

这里是指针对三个预测特征层（P3, P4, P5）上的obj损失采用不同的权重。在源码中，针对预测小目标的预测特征层（P3）采用的权重是4.0，针对预测中等目标的预测特征层（P4）采用的权重是1.0，针对预测大目标的预测特征层（P5）采用的权重是0.4，作者说这是针对COCO数据集设置的超参数。 L o b j = 4.0 L o b j s m a l l + 1.0 L o b j m e d i u m + 0.4 L o b j l a r g e L_{obj} = 4.0 cdot L_{obj}^{small} + 1.0 cdot L_{obj}^{medium} + 0.4 cdot L_{obj}^{large} Lobj=4.0Lobjsmall+1.0Lobjmedium+0.4Lobjlarge

在上篇文章YOLOv4中有提到过，主要是调整预测目标中心点相对Grid网格的左上角偏移量。下图是YOLOv2，v3的计算公式。

其中：

• t x t_x tx是网络预测的目标中心 x x x坐标偏移量（相对于网格的左上角）
• t y t_y ty是网络预测的目标中心 y y y坐标偏移量（相对于网格的左上角）
• c x c_x cx是对应网格左上角的 x x x坐标
• c y c_y cy是对应网格左上角的 y y y坐标
• σ sigma σ是Sigmoid激活函数，将预测的偏移量限制在0到1之间，即预测的中心点不会超出对应的Grid Cell区域

关于预测目标中心点相对Grid网格左上角 ( c x , c y ) (c_x, c_y) (cx,cy)偏移量为 σ ( t x ) , σ ( t y ) sigma(t_x), sigma(t_y) σ(tx),σ(ty)。YOLOv4的作者认为这样做不太合理，比如当真实目标中心点非常靠近网格的左上角点（ σ ( t x ) sigma(t_x) σ(tx)和 σ ( t y ) sigma(t_y) σ(ty)应该趋近与0）或者右下角点（ σ ( t x ) sigma(t_x) σ(tx)和 σ ( t y ) sigma(t_y) σ(ty)应该趋近与1）时，网络的预测值需要负无穷或者正无穷时才能取到，而这种很极端的值网络一般无法达到。为了解决这个问题，作者对偏移量进行了缩放从原来的 ( 0 , 1 ) (0, 1) (0,1)缩放到 ( 0.5 , 1.5 ) (-0.5, 1.5) (0.5,1.5)这样网络预测的偏移量就能很方便达到0或1，故最终预测的目标中心点 b x , b y b_x, b_y bx,by的计算公式为： b x = ( 2 σ ( t x ) 0.5 ) + c x b y = ( 2 σ ( t y ) 0.5 ) + c y b_x = (2 cdot sigma(t_x) - 0.5) + c_x \ b_y = (2 cdot sigma(t_y) - 0.5) + c_y bx=(2σ(tx)0.5)+cxby=(2σ(ty)0.5)+cy 下图是我绘制的 y = σ ( x ) y = sigma(x) y=σ(x)对应before曲线和 y = 2 σ ( x ) 0.5 y = 2 cdot sigma(x) - 0.5 y=2σ(x)0.5对应after曲线，很明显通过引入缩放系数scale以后， y y y对 x x x更敏感了，且偏移的范围由原来的 ( 0 , 1 ) (0, 1) (0,1)调整到了 ( 0.5 , 1.5 ) (-0.5, 1.5) (0.5,1.5)。 在YOLOv5中除了调整预测Anchor相对Grid网格左上角 ( c x , c y ) (c_x, c_y) (cx,cy)偏移量以外，还调整了预测目标高宽的计算公式，之前是： b w = p w e t w b h = p h e t h b_w = p_w cdot e^{t_w} \ b_h = p_h cdot e^{t_h} bw=pwetwbh=pheth 在YOLOv5调整为： b w = p w ( 2 σ ( t w ) ) 2 b h = p h ( 2 σ ( t h ) ) 2 b_w = p_w cdot (2 cdot sigma(t_w))^2 \ b_h = p_h cdot (2 cdot sigma(t_h))^2 bw=pw(2σ(tw))2bh=ph(2σ(th))2 作者Glenn Jocher的原话如下，也可以参考issue #471：

The original yolo/darknet box equations have a serious flaw. Width and Height are completely unbounded as they are simply out=exp(in), which is dangerous, as it can lead to runaway gradients, instabilities, NaN losses and ultimately a complete loss of training.

作者的大致意思是，原来的计算公式并没有对预测目标宽高做限制，这样可能出现梯度爆炸，训练不稳定等问题。下图是修改前 y = e x y = e^x y=ex和修改后 y = ( 2 σ ( x ) ) 2 y = (2 cdot sigma(x))^2 y=(2σ(x))2（相对Anchor宽高的倍率因子）的变化曲线， 很明显调整后倍率因子被限制在 ( 0 , 4 ) (0, 4) (0,4)之间。

之前在YOLOv4介绍中有讲过该部分内容，其实YOLOv5也差不多。主要的区别在于GT Box与Anchor Templates模板的匹配方式。在YOLOv4中是直接将每个GT Box与对应的Anchor Templates模板计算IoU，只要IoU大于设定的阈值就算匹配成功。但在YOLOv5中，作者先去计算每个GT Box与对应的Anchor Templates模板的高宽比例，即： r w = w g t / w a t r h = h g t / h a t r_w = w_{gt} / w_{at} \ r_h = h_{gt} / h_{at} \ rw=wgt/watrh=hgt/hat 然后统计这些比例和它们倒数之间的最大值，这里可以理解成计算GT Box和Anchor Templates分别在宽度以及高度方向的最大差异（当相等的时候比例为1，差异最小）： r w m a x = m a x ( r w , 1 / r w ) r h m a x = m a x ( r h , 1 / r h ) r_w^{max} = max(r_w, 1 / r_w) \ r_h^{max} = max(r_h, 1 / r_h) rwmax=max(rw,1/rw)rhmax=max(rh,1/rh) 接着统计 r w m a x r_w^{max} rwmax和 r h m a x r_h^{max} rhmax之间的最大值，即宽度和高度方向差异最大的值： r m a x = m a x ( r w m a x , r h m a x ) r^{max} = max(r_w^{max}, r_h^{max}) rmax=max(rwmax,rhmax) 如果GT Box和对应的Anchor Template的 r m a x r^{max} rmax小于阈值anchor_t（在源码中默认设置为4.0），即GT Box和对应的Anchor Template的高、宽比例相差不算太大，则将GT Box分配给该Anchor Template模板。为了方便大家理解，可以看下我画的图。假设对某个GT Box而言，其实只要GT Box满足在某个Anchor Template宽和高的 × 0.25 imes 0.25 ×0.25倍和 × 4.0 imes 4.0 ×4.0倍之间就算匹配成功。

剩下的步骤和YOLOv4中一致：

• 将GT投影到对应预测特征层上，根据GT的中心点定位到对应Cell，注意图中有三个对应的Cell。因为网络预测中心点的偏移范围已经调整到了 ( 0.5 , 1.5 ) (-0.5, 1.5) (0.5,1.5)，所以按理说只要Grid Cell左上角点距离GT中心点在 ( 0.5 , 1.5 ) (0.5,1.5) (0.5,1.5)范围内它们对应的Anchor都能回归到GT的位置处。这样会让正样本的数量得到大量的扩充。
• 则这三个Cell对应的AT2和AT3都为正样本。

还需要注意的是，YOLOv5源码中扩展Cell时只会往上、下、左、右四个方向扩展，不会往左上、右上、左下、右下方向扩展。下面又给出了一些根据 G T x c e n t e r , G T y c e n t e r GT_x^{center}, GT_y^{center} GTxcenter,GTycenter的位置扩展的一些Cell案例，其中%1表示取余并保留小数部分。