We propose a fully convolutional one-stage object detector (FCOS) to solve object detection in a per-pixel prediction fashion, analogue to semantic segmentation. Almost all state-of-the-art object detectors such as RetinaNet, SSD, YOLOv3, and Faster R-CNN rely on pre-defined anchor boxes. In contrast, our proposed detector FCOS is anchor box free, as well as proposal free. By eliminating the predefined set of anchor boxes, FCOS completely avoids the complicated computation related to anchor boxes such as calculating overlapping during training. More importantly, we also avoid all hyper-parameters related to anchor boxes, which are often very sensitive to the final detection performance. With the only post-processing non-maximum suppression (NMS), FCOS with ResNeXt-64x4d-101 achieves 44.7% in AP with single-model and single-scale testing, surpassing previous one-stage detectors with the advantage of being much simpler. For the first time, we demonstrate a much simpler and flexible detection framework achieving improved detection accuracy. We hope that the proposed FCOS framework can serve as a simple and label alternative for many other instance-level tasks. Code is available at:Code is available at: this https URL.

我们提出了一个完全卷积的单阶段物体检测器（FCOS），物体检测以每像素预测的方式解决，类似于语义分割。几乎所有最先进的物体检测器，如RetinaNet、SSD、YOLOv3和Faster R-CNN，都依赖于预定义的锚定框。相比之下，我们提出的检测器FCOS无锚箱，也不推荐。通过消除预定义的锚箱集，FCOS与锚箱相关的复杂计算完全避免，如训练期间的重叠计算。更重要的是，我们避免了所有与锚箱相关的超参数，通常对最终检测性能非常敏感。唯一的后处理非最大抑制（NMS），采用ResNeXt-64x4d-101的FCOS单模型和单规模测试AP中达到了44.超过以前单阶段检测器的7%，其优点是更简单。我们首次展示了更简单、更灵活的检测框架，实现了更高的检测精度。我们想提出的FCOS框架可以作为许多其他实例级任务的简单而强大的替代方案。代码可在：代码可在this https URL获取。

In computer vision, object detection is one of most important tasks, which underpins a few instance-level recognition tasks and many downstream applications. Recently one-stage methods have gained much attention over two-stage approaches due to their simpler design and competitive performance. Here we propose a fully convolutional one-stage object detector (FCOS) to solve object detection in a per-pixel prediction fashion, analogue to other dense prediction problems such as semantic segmentation. Almost all state-of-the-art object detectors such as RetinaNet, SSD, YOLOv3, and Faster R-CNN rely on pre-defined anchor boxes. In contrast, our proposed detector FCOS is anchor box free, as well as proposal free. By eliminating the pre-defined set of anchor boxes, FCOS completely avoids the complicated computation related to anchor boxes such as calculating the intersection over union (IoU) scores during training. More importantly, we also avoid all hyper-parameters related to anchor boxes, which are often sensitive to the final detection performance. With the only post-processing non-maximum suppression (NMS), we demonstrate a much simpler and flexible detection framework achieving improved detection accuracy. We hope that the proposed FCOS framework can serve as a simple and label alternative for many other instance-level tasks. Code and pre-trained models are available at: this https URL.

物体检测是计算机视觉中最重要的任务之一，它是许多下游应用的基础。最近，单阶段方法比双阶段方法更受关注，因为它的设计更简单，性能更有竞争力。在这里，我们提出了一个完全卷积的单阶段物体检测器（FCOS），以每个像素预测的方式解决物体检测问题，类似于语义分割等其他密集的预测问题。几乎所有最先进的物体检测器，如RetinaNet、SSD、YOLOv3和Faster R-CNN，都依赖于预定义的锚定框。相比之下，我们提出了检测器FCOS无锚盒，也不推荐。通过消除预定义的锚箱集，FCOS与锚箱相关的复杂计算完全避免，如训练期间的计算交集大于联合计算（IoU）的分数。更重要的是，我们避免了所有与锚箱相关的超参数，它们通常对最终检测性能非常敏感。唯一的后处理非最大抑制（NMS），我们展示了一个更简单、更灵活的检测框架，提高了检测精度。我们希望所提出的FCOS框架可以作为许多其他实例级任务的简单而强大的替代方案。可以使用代码和预训练模型this https URL获得。

在之前提到的一些目标检测网络中，例如Faster R-CNN系列、SSD、YOLOv2~v5（注意YOLOv1不包括在内)都是基于Anchor预测。也就是说，首先在原图上生成一堆密密麻麻的Anchor Boxes，然后基于这些网络Anchor网络预测输出的目标是预测其类别、中心点偏移和宽高缩放因子，最后通过NMS你可以得到最终的预测目标。基于Anchor网络有哪些问题？，在FCOS论文的Introduction作者总结了四点：

下面这幅图是原论文中给的FCOS网络结构。注意：这张图是2020年发表的版本，和2019年发表的版本有些不同。区别在于Center-ness分支的位置，在2019年论文的图中是将Center-ness分支和Classification分支放在一起的，但在2020年论文的图中是将Center-ness分支和Regression分支放在一起。论文中也有解释，将Center-ness分支和Regression分支放在一起能够得到更好的结果：

it has been shown that positioning it on the regression branch can obtain better performance. 事实证明，将其置于回归分支上可以获得更好的性能。

图2.FCOS的网络结构。其中C3、C4和C5表示骨干网络的特征图，P3到P7是用于最终预测的特征等级。H×W是特征图的高度和宽度。'/s'（s=8，16，…，128）是该级别的特征图对输入图像的下采样率。作为一个例子，所有的数字都是以800×1024的输入计算的。

下面这张图是霹雳吧啦Wz结合Pytorch官方实现FCOS的源码绘制的更加详细的网络结构：

首先看上图左边的部分，Backbone是以ResNet50为例的，FPN是在Backbone输出的C3、C4和C5上先生成P3、P4和P5，接着再在P5的基础上通过一个卷积核大小为3×3步距为2的卷积层得到P6，最后在P6的基础上再通过一个卷积核大小为3×3步距为2的卷积层得到P7。

接着看右边的Head（注意这里的Head是共享的，即P3～P7都是共用一个Head），细分共有三个分支：

1. Classification
2. Regression
3. Center-ness

其中Regression和Center-ness是同一个分支上的两个不同小分支。可以看到每个分支都会先通过4个Conv2d+GN+ReLU的组合模块，然后再通过一个卷积核大小为3×3步距为1的卷积层得到最终的预测结果。

对于Classification分支，在预测特征图的每个位置上都会预测80个score参数（MS COCO数据集目标检测任务的类别数为80）。

对于Regression分支，在预测特征图的每个位置上都会预测4个距离参数（距离目标左侧距离 l l l，上侧距离 t t t，右侧距离 r r r 以及下侧距离 b b b，注意，这里预测的数值是相对特征图尺度上的 -> 意思就是预测值是相对该fmap而非原图的）。

• l l l: left
• r r r: right
• t t t: top
• b b b: bottom

假设对于预测特征图上某个点映射回原图的坐标是 ( c x , c y ) (c_x, c_y) (cx​,cy​)，特征图相对原图的步距是 s s s ，那么网络预测该点对应的目标边界框坐标为：

x min ⁡ = c x − l ⋅ s ,      y min ⁡ = c y − t ⋅ s x max ⁡ = c x − r ⋅ s ,      y max ⁡ = c y − b ⋅ s x_{\min} = c_x - l \cdot s, \ \ \ \ y_{\min} = c_y - t \cdot s \\ x_{\max} = c_x - r \cdot s, \ \ \ \ y_{\max} = c_y - b \cdot s xmin​=cx​−l⋅s,    ymin​=cy​−t⋅sxmax​=cx​−r⋅s,    ymax​=cy​−b⋅s

在计算损失之前，我们需要进行正负样本的匹配。在基于Anchor的目标检测网络中，一般会通过计算每个Anchor Box与每个GT的IoU配合事先设定的IoU阈值去匹配。比如某个Anchor Box与某个GT的IoU大于0.7，那么我们就将该Anchor Box设置为正样本。但对于Anchor-Free的网络根本没有Anchor，那该如何匹配正负样本呢。在2020年版本的论文2.1章节中有这样一段话：

Specifically, location ( x , y ) (x, y) (x,y) is considered as a positive sample if it falls into the center area of any ground-truth box, by following. The center area of a box centered at ( c x , c y ) (cx, cy) (cx,cy) is defined as the sub-box ( c x − r s , c y − r s , c x + r s , c y + r s ) (c_x - rs, c_y - rs, c_x + rs, c_y + rs) (cx​−rs,cy​−rs,cx​+rs,cy​+rs) , where s s s is the total stride until the current feature maps and r r r is a hyper-parameter being 1.5 1.5 1.5 on COCO. The sub-box is clipped so that it is not beyond the original box. Note that this is different from our original conference version, where we consider the locations positive as long as they are in a ground-truth box.

具体来说，如果位置 ( x , y ) (x, y) (x,y) 落入GTBox的中心区域，则被认为是一个正样本，具体方法如下。以 ( c x , c y ) (c_x, c_y) (cx​,cy​) 为中心的Box的中心区域被定义为Sub-Box ( c x − r s , c y − r s , c x + r s , c y + r s ) (c_x - rs, c_y - rs, c_x + rs, c_y + rs) (cx​−rs,cy​−rs,cx​+rs,cy​+rs) ，其中 s s s 是直到当前特征图的总跨度， r r r 是COCO上的超参数 1.5 1.5 1.5。Sub-box 被剪掉，使其不超出原Box。请注意，这与我们最初的会议版本不同，在那里我们认为只要是在GTBox中的位置都是正的。