《Long-tailed Visual Recognition via Gaussian Clouded Logit Adjustment》
论文:链接: link 代码: 链接: link 设{x, y}∈T表示训练集T中的样本{x, y}, C还有N个样本y∈{1,…, C}是ground truth标签。输入图像x的softmax损失函数为:
其中zj表示类j的预测logit。我们用下标y来表示目标类,即zy表示目标logit, zj表示非目标logit, j≠ y表示非目标logit。
在反向传播中,zi上梯由:
我们损失一般性的情况下,我们使用二进制分类来解释。假设x来自第一类,那么z1上梯度计算为:
3.3 Classifier Re-balance 由公式(2)导出的梯度表明,目标类y的样本惩罚非目标类j的分类器权值wj, j≠y w.r.t. pj。 头类比尾类有更多的训练例子。因此,在训练过程中,尾部分类器的权重比正信号受到更多的惩罚。因此,分类器会偏离头部,严重抑制尾部预测对数,导致尾部分类精度低。
使用重新采样的数据重新训练分类器是一种简单的方法。我们使用了它Kang等人[10]和Wang等人[33]使用的分类器再次训练(cRT)。由于GCL不同类型的样本参与训练的程度不同,因此不同类型样本的有效性也不同。 类平衡抽样会导致尾类重复训练。Cui我们提出了等人[4]提出的有效数,避免过度训练尾部。 类j中的样本ρi抽样概率由: 因为所有数据的抽样概率之和需要1,我们需要ρi归一化,
βj反映了不同类别样本的效度。云大小较大的类样本参与训练的次数较多。因此,βj与云大小δj呈正相关βj为: 因此βj可以在区域[a, a b]其中a和b是范围超参数。 算法1总结了该方法的整体训练过程。