近年来，物体检测作为计算机视觉中最基本、最具挑战性的问题之一，备受关注。过去20年的发展可以看作是计算机视觉历史的缩影。如果我们把今天的物体探测看作是深度学习力量下的技术美学，我们将时钟拨回20年前，见证了冷武器时代的智慧。根据其技术演变(从1990年代到2019年)，本文广泛回顾了400多篇关于物体检测的论文。本文涵盖了历史上的里程碑探测器、检测数据集、指标、检测系统的基本构建块、加速技术和最先进的检测方法。本文还总结了行人检测、人脸检测、文本检测等一些重要的检测应用，并对近年来的挑战和技术改进进行了深入分析。

对象检测是一项重要的计算机视觉任务，用于检测数字图像中特定类别的视觉对象（如人类、动物或汽车）的实例。对象检测的目标是开发计算模型和技术，以提供计算机视觉应用所需的最基本的信息之一：哪些对象在哪里？ 对象检测作为计算机视觉的基本问题之一，构成了许多其他计算机视觉任务的基础，如实例分割[1、2、3、4]、图像标题[5、6、7]、对象跟踪[8]等。从应用的角度来看，对象检测可以分为"一般目标检测"和"检测应用"两个研究课题，前者旨在探索在统一框架下检测不同类型物体的方法，以模拟人类的视觉和认知，后一个则是指特定应用场景下的检测，如行人检测、人脸检测、文本检测等。近年来，深度学习技术的快速发展[9]给物体检测带来了新的力量，取得了显著的突破，前所未有的关注将其推向了研究热点。物体检测已广泛应用于自动驾驶、机器人视觉、视频监控等实际应用中。图1显示了过去20年的中和"物体检测"出版物数量不断增加。

图 从1998年到2018年，物体检测领域的出版物数量不断增加。(数据来自Google高级学术搜索：allintitle：“对象检测"和"检测对象”

图 对象检测的路线图。此图中的里程碑检测器：VJ Det. [10， 11]， HOG Det. [12]， DPM [13， 14， 15]，RCNN[16]，SPPNet[17]，Fast RCNN[18]，Faster RCNN[19]，YOLO[20]，SSD[21]，Pyramid Networks [22]，Retina-Net[23]. 与其他相关评论的区别 近年来，对一般物体检测发表了许多评论[24、25、26、27、28]。本文与上述综述的主要区别总结如下： 1.根据技术演进进行全面总结：本文广泛总结了物体检测发展史上400多篇论文（从20世纪90年代到2019年）。大多数以前的评论只关注较短的历史时期或某些特定的测试任务，而不考虑整个生命周期的技术演变。站在历史高速公路上，不仅有助于读者建立完整的知识结构，也有助于在这个快速发展的领域找到未来的方向。 2.深入探索关键技术和近期技术水平:经过多年的发展，最先进的物理检测系统已经与"多尺度检测"、硬负挖，"边界盒回归"结合大量技术。然而，之前的评论缺乏基本面分析，以帮助读者理解这些复杂技术的本质，比如它们来自哪里，它们是如何演变的？每组方法的优缺点是什么？本文深入分析了读者的上述担忧。 3.对检测加速技术的综合分析：物体检测加速一直是一项关键但具有挑战性的任务。本文从多个层面广泛总结了20年对象检测历史中的加速技术，包括"检测管道(如级联检测、特征图共享计算)"数值计算(如积分图像、矢量化)。以前的评论很少涉及到这个主题。 物体检测的难点和挑战 尽管人们总是问"物体检测的困难和挑战是什么？但事实上，这个问题并不容易回答，甚至可能被过度总结。由于不同的检测任务有完全不同的目标和约束，它们的难度可能会有所不同。除了计算机视觉任务中的一些常见挑战，如不同视角下的物体、照明和类变化外，物体检测中的挑战包括但不限于以下几个方面：物体旋转和尺度变化（如小物体）、准确的物体定位、密集和封闭的物体检测、检测速度等。在第四节和第五节，我们将更详细地分析这些主题。 本文的其余部分组织如下。在第二节中，我们回顾了物体检测20年的进化历史。第三节将介绍对象检测中的一些加速技术。第四节总结了过去三年中一些最先进的检测方法。第五节将审查一些重要的测试应用程序。在第六节中，我们总结了本文，并分析了进一步的研究方向。

在本节中，我们将回顾对象检测的历史，包括里程碑检测器、对象检测数据集、指标和关键技术的演变。

构建偏差较小的大型数据集对于开发高级计算机视觉算法至关重要。在对象检测方面，过去10年已经发布了许多知名的数据集和基准测试，包括PASCAL VOC挑战[50，51]（例如VOC2007，VOC2012），ImageNet大规模视觉识别挑战赛（例如ILSVRC2014）[52]，MS-COCO检测挑战赛[53]等数据集。这些数据集的统计数据见表I。图 4 显示了这些数据集的一些图像示例。图3显示了2008年至2018年VOC07、VOC12和MS-COCO数据集检测精度的提高情况。

图 3改进了VOC07、VOC12和MS-COCO数据集上物体检测的准确性。此图中的探测器：DPM-v1 [13]、DPM-v5 [54]、RCNN [16]、SPPNet [17]、Fast RCNN [18]、Faster RCNN [19]、SSD [21]、FPN [22]、Retina-Net [23]、RefineDet [55]]， TridentNet[56].

在本节中，我们将介绍检测系统的一些重要构建模块及其在过去20年中的技术演变。 早期时代的黑暗知识 早期的物体检测（2000年之前）没有遵循像滑动窗口检测那样的统一检测理念。当时的探测器通常是根据低级和中级视觉设计的，如下所示。

图 4早期的一些众所周知的探测模型：（a）特征面[95]，（b）共享重量网络[96]，（c）空间位移网络（Lenet-5）[97]，（d）VJ探测器的哈尔小波[10]。 组件、形状和边缘 "按组件识别"作为一种重要的认知理论[98]，长期以来一直是图像识别和物体检测的核心思想[99，100，13]。一些早期的研究人员将物体检测框定为对物体组件，形状和轮廓之间相似性的测量，包括距离变换[101]，形状上下文[35]和Edgelet [102]等。尽管初步结果很有希望，但在更复杂的检测问题上，情况并不顺利。因此，基于机器学习的检测方法开始蓬勃发展。

图 5从2001年到2019年，物体检测中多尺度检测技术的演变：1）特征金字塔和滑动窗口，2）使用对象建议进行检测，3）深度回归，4）多参考检测，以及5）多分辨率检测。此图中的检测器：VJ Det. [10]、HOG Det. [12]、DPM [13， 15]、示例 SVM [36]、Overfeat [103]、RCNN [16]、SPPNet [17]、Fast RCNN [18]、Faster RCNN [19]， DNN Det. [104]， YOLO [20]， YOLO-v2 [48]， SS 基于机器学习的检测经历了多个时期，包括外观统计模型（1998年之前）、小波特征表示（1998-2005）和基于梯度的表示（2005-2012）。 构建对象的统计模型，如图5（a）所示，如特征面[95，106]，是对象检测历史上第一波基于学习的方法。1991年，M. Turk等人通过使用特征面分解[95]在实验室环境中实现了实时人脸检测。与当时基于规则或基于模板的方法相比[107，108]，统计模型通过从数据中学习特定于任务的知识，更好地提供了对象外观的整体描述。 自2000年以来，小波特征转换开始主导视觉识别和物体检测。这组方法的本质是通过将图像从像素转换为一组小波系数来学习。在这些方法中，Haar小波由于其高计算效率，主要用于许多物体检测任务，如一般物体检测[29]，人脸检测[109，10，11]，行人检测[30，31]等。图5（d）显示了由VJ探测器[10，11]为人脸学习的一组Haar小波基。 早期的 CNN 用于对象检测 使用CNN检测物体的历史可以追溯到1990年代[96]，当时Y. LeCun等人做出了巨大贡献。由于计算资源的限制，当时的CNN模型比今天的模型小得多，也浅得多。尽管如此，计算效率仍然被认为是早期基于CNN的检测模型中难以破解的难题之一。Y. LeCun等人进行了一系列改进，如"共享权重复制神经网络"[96]和"空间位移网络"[97]，通过扩展卷积网络的每一层来减少计算，从而覆盖整个输入图像，如图5所示。 （b）-（c）。通过这种方式，整个图像的任何位置的特征都可以通过仅采取一次网络的正向传播来提取。这可以被认为是当今全卷积网络（FCN）[110，111]的原型，该网络是在近20年后提出的。CNN还被应用于其他任务，如人脸检测[112，113]和当时的手部跟踪[114]。 多尺度检测的技术演进 多尺度检测具有"不同尺寸"和"不同长宽比"的物体是物体检测中的主要技术挑战之一。在过去的20年中，多尺度检测经历了多个历史时期：“特征金字塔和滑动窗口（2014年之前）”，“使用对象提案进行检测（2010-2015年）”，“深度回归（2013-2016年）”，“多参考检测（2015年后）“和"多分辨率检测（2016年后）”，如图6所示。 特色金字塔+推拉窗（2014年以前） 随着VJ探测器后计算能力的提高，研究人员开始更多地关注通过构建"特征金字塔+滑动窗口"的直观检测方式。从2004年到2014年，基于这种检测范式构建了许多里程碑式的探测器，包括HOG探测器，DPM，甚至是深度学习时代的Overfeat探测器[103]（ILSVRC-13定位任务的获胜者）。 VJ探测器和HOG探测器等早期检测模型专门设计用于检测具有"固定长宽比"的物体（例如，人脸和直立的行人），只需构建特征金字塔并在其上滑动固定尺寸的检测窗口即可。当时没有考虑检测"各种宽高比”。为了检测具有更复杂外观的物体，如PASCAL VOC中的物体，R. Girshick等人开始在特征金字塔之外寻求更好的解决方案。“混合模型”[15]是当时最好的解决方案之一，通过训练多个模型来检测具有不同长宽比的物体。除此之外，基于示例的检测[36，115]通过为训练集的每个对象实例（示例）训练单个模型提供了另一种解决方案。 随着现代数据集中的对象（例如MS-COCO）变得更加多样化，混合模型或基于示例的方法不可避免地导致更多的杂项检测模型。那么自然而然地出现了一个问题：是否有统一的多尺度方法来检测不同宽高比的物体？“对象提案”（待提出）的引入已经回答了这个问题。 带目标的检测建议（2010-2015） 对象建议是指一组可能与类无关的候选框，这些候选框可能包含任何对象。它于2010年首次应用于物体检测[116]。使用对象建议进行检测有助于避免在图像上进行详尽的滑动窗口搜索。 一种对象提案检测算法应满足以下三个要求：1）召回率高，2）定位精度高，3）在前两个要求的基础上，提高精度，缩短处理时间。现代提案检测方法可分为三类：1）分割分组方法[42，117，118，119]，2）窗口评分方法[116，120，121，122]和3）基于神经网络的方法[123，124， 125， 126， 127， 128].我们向读者推荐以下论文，以全面回顾这些方法[129，130]。 早期提出的检测方法遵循自下而上的检测理念[116，120]，并受到视觉显著性检测的深刻影响。后来，研究人员开始转向低级视觉（例如，边缘检测）和更仔细的手工技能，以改善候选框的定位[42，117，118，131，119，122]。2014年后，随着深度CNN在视觉识别中的普及，自上而下、基于学习的方法开始在这个问题上显示出更多的优势[121，123，124，19]。从那时起，对象提案检测已经从自下而上的视觉演变为"过度拟合到一组特定的对象类"，探测器和提案生成器之间的区别变得越来越模糊[132]。 由于"物体提案"彻底改变了滑动窗口检测，并迅速主导了基于深度学习的探测器，在2014-2015年，许多研究人员开始提出以下问题：物体提案在检测中的主要作用是什么？是提高准确性，还是仅仅为了加快检测速度？为了回答这个问题，一些研究人员试图削弱提案的作用[133]，或者只是对CNN特征[134，135，136，137，138]进行滑动窗口检测，但没有一个获得令人满意的结果。在单级检测器和"深度回归"技术（即将推出）的兴起之后，建议的检测很快就溜走了。

图 7： 2001年至2019年对象检测中边界框回归技术的演变。此图中的检测器：VJ Det. [10]、HOG Det. [12]、示例 SVM [36]、DPM [13、 15]、Overfeat [103]、RCNN [16]、SPPNet [17]、Fast RCNN [18]、Faster RCNN [19]， YOLO [20]， SSD [21]， YOLO-v2 [48]， Unified Det. [105]， FPN [22]，RetinaNet [23]，RefineDet [55]，TridentNet [56].

图 8： 从2001年到2019年，对象检测中上下文启动的演变：1）使用本地上下文进行检测，2）使用全局上下文进行检测，3）使用上下文交互进行检测。此图中的检测器：Face Det. [139]、MultiPath [140]、GBDNet [141， 142]、CC-Net [143]、MultiRegion-CNN [144]、CoupleNet [145]、DPM [14、 15]、StructDet [146]、YOLO [20]， RFCN++ [147]， ION [148]， AttenContext [149]， CtxSVM [150]， PersonContext [151]， SMN [152]， RetinaNet [23]， SIN [153]. 深度回归（2013-2016） 近年来，随着GPU计算能力的提高，人们处理多尺度检测的方式变得越来越直接和蛮力。使用深度回归来解决多尺度问题的想法非常简单，即基于深度学习特征[104，20]直接预测边界框的坐标。这种方法的优点是它简单且易于实现，而缺点是本地化可能不够准确，特别是对于某些小对象。“多参考检测”（即将推出）后来解决了这个问题。 多参考/分辨率检测（2015年以后） 多引用检测是用于多尺度对象检测的最常用框架 [19， 44， 48， 21]。其主要思想是在图像的不同位置预先定义一组具有不同大小和宽高比的参考框（又名锚框），然后根据这些参考预测检测框。 每个预定义锚盒的典型损失由两部分组成：1） 用于类别识别的交叉熵损失和 2） 用于对象定位的 L1/L2 回归损失。损失函数的一般形式可以写如下：

哪里t和t∗是预测和地面实况边界框的位置，p和p∗是它们的类别概率。借据{一个,一个∗}是锚点之间的 IOU一个及其基本事实一个∗.η是 IOU 阈值，例如 0.5。如果锚点未覆盖任何对象，则其定位损失不计入最终损失。 过去两年中另一种流行的技术是多分辨率检测[21，22，105，55]，即通过检测网络不同层中不同尺度的物体。由于CNN在其向前传播过程中自然形成特征金字塔，因此更容易在较深的层中检测较大的物体，而在较浅的层中检测较小的物体。多参考和多分辨率检测现已成为最先进的物体检测系统中的两个基本构建块。 边界框回归的技术演变 边界框 （BB） 回归是对象检测中的一项重要技术。它旨在根据初始建议或锚点框优化预测边界框的位置。在过去的20年中，BB回归的演变经历了三个历史时期：“没有BB回归（2008年之前）”，"从BB到BB（2008-2013）“和"从特征到BB（2013年后）”。图 7 显示了边界框回归的演变。 无BB回归（2008年之前） VJ检测器、HOG检测器等早期检测方法大多不使用BB回归，通常直接考虑滑动窗口作为检测结果。为了获得物体的准确位置，研究人员别无选择，只能建造非常密集的金字塔，并在每个位置密集地滑动探测器。 从BB到BB（2008-2013） BB 回归首次引入对象检测系统是在 DPM [15] 中。当时的BB回归通常充当后处理块，因此它是可选的。由于 PASCAL VOC 中的目标是预测每个对象的单个边界框，因此 DPM 生成最终检测的最简单方法应直接使用其根筛选器位置。后来，R. Girshick等人引入了一种更复杂的方法来预测基于对象假设的完整配置的边界框，并将此过程表述为线性最小二乘回归问题[15]。这种方法在PASCAL标准下产生了明显的检测改进。

图 9： 从1994年到2019年，非最大抑制（NMS）技术在对象检测中的演变：1）贪婪选择，2）边界框聚合，以及3）学习NMS。此图中的探测器：VJ Det. [10]，Face Det. [96]，HOG Det. [12]，DPM [13，15]，RCNN [16]，SPPNet [17]，Fast RCNN [18]，Faster RCNN [19]，YOLO [20]，SSD[21]， FPN [22]， RetinaNet [23]， LearnNMS [154]， MAP-Det [155]， End2End-DPM [136]， StrucDet [146]， Overfeat [103]， APC-NMS [156]， MAPC [157]， SoftNMS [158]， FitnessNMS [159]. 从功能到BB（2013年以后） 在 2015 年引入 Faster RCNN 后，BB 回归不再用作单独的后处理块，而是与检测器集成并以端到端方式进行训练。同时，BB回归已经发展到直接基于CNN特征预测BB。为了获得更稳健的预测，通常使用平滑-L1 函数 [19]，

或平方根函数 [20]，

作为其回归损失，对于异常值而言，它们比 DPM 中使用的最小二乘法损失更可靠。一些研究人员还选择对坐标进行归一化，以获得更可靠的结果[18，19，21，23]。 上下文启动的技术演变 可视对象通常嵌入在具有周围环境的典型上下文中。我们的大脑利用物体和环境之间的关联来促进视觉感知和认知[160]。上下文启动长期以来一直用于改进检测。在其进化史上有三种常见的方法：1）使用局部上下文进行检测，2）使用全局上下文进行检测，以及3）上下文交互，如图8所示。 使用本地上下文进行检测 局部上下文是指要检测的对象周围区域中的视觉信息。人们早就认识到，本地上下文有助于改进对象检测。在2000年代初，Sinha和Torralba[139]发现，包含局部上下文区域（如面部边界轮廓）可显着提高面部检测性能。Dalal和Trigs还发现，结合少量的背景信息可以提高行人检测的准确性[12]。最近的基于深度学习的探测器也可以通过简单地扩大网络的接收场或对象提案的大小[140，141，142，161，143，144，145]来改进本地环境。 全局上下文检测 全局上下文利用场景配置作为对象检测的附加信息源。对于早期的物体检测器，整合全球背景的一种常见方法是整合构成场景的元素的统计摘要，如Gist [160]。对于基于现代深度学习的探测器，有两种方法可以整合全局上下文。第一种方法是利用大接受场（甚至大于输入图像）[20]或CNN特征的全局池操作[147]。第二种方法是将全球语境视为一种顺序信息，并使用递归神经网络学习它[148，149]。 上下文交互 上下文交互是指通过视觉元素的交互（如约束和依赖关系）传达的信息片段。对于大多数对象检测器，可以单独检测和识别对象实例，而无需利用它们之间的关系。最近的一些研究表明，通过考虑上下文交互，可以改进现代物体探测器。最近的一些改进可以分为两类，第一类是探索单个对象之间的关系[15，150，146，162，152]，第二类是探索对象和场景之间的依赖关系建模[151，153，151]。 非最大抑制的技术演进 非最大抑制 （NMS） 是对象检测中的一组重要技术。由于相邻窗口通常具有相似的检测分数，因此本文将非最大抑制用作后处理步骤，以删除复制的边界框并获得最终的检测结果。在物体检测的早期，NMS并不总是集成的[30]。这是因为当时物体检测系统的期望输出并不完全清楚。在过去的20年中，NMS已逐渐发展为以下三组方法：1）贪婪选择，2）边界盒聚合，3）学习NMS，如图9所示。 贪婪的选择 贪婪选择是一种老式的，但在对象检测中执行NMS的最流行方式。此过程背后的思想简单直观：对于一组重叠检测，选择具有最大检测分数的边界框，同时根据预定义的重叠阈值（例如，0.5）删除其相邻框。上述处理以贪婪的方式迭代执行。 虽然贪婪选择现在已经成为NMS的事实方法，但它仍然有一些改进的空间，如图11所示。首先，得分最高的盒子可能不是最合适的。其次，它可能会抑制附近的物体。最后，它不会抑制误报。近年来，尽管最近进行了一些手动修改以提高其性能[158，159，163]（有关详细信息，请参阅第4.4节），但据我们所知，贪婪的选择仍然是当今物体检测的最强基准。

图 10： 1994年至2019年物体检测中硬负片采矿技术的演变。此图中的探测器：面部 [164]、哈尔区 [29]、VJ 区 [10]、HOG 分机组 [12]、DPM [13、 15]、RCNN [16]、SPPNet [17]、快速 RCNN [18]、速度更快的 RCNN [19]、YOLO [20]， SSD [21]， FasterPed [165]， OHEM [166]， RetinaNet [23]， Refinedet [55].

图 11： 使用基于标准贪婪选择的非最大抑制时可能失败的示例：（a） 最高评分框可能不是最合适的，（b） 它可能抑制附近的对象，以及 （c） 它不抑制误报。图片来自R. Rothe等人， ACCV2014 [156]。 BB 聚合 BB聚合是用于NMS [10，156，103，157]的另一组技术，其思想是将多个重叠的边界框组合或聚类到一个最终检测中。这种类型的方法的优点是它充分考虑了对象关系及其空间布局。有一些众所周知的探测器使用这种方法，例如VJ探测器[10]和Overfeat[103]。 学习 NMS 最近受到广泛关注的一组NMS改进正在学习NMS [154，155，136，146]。这些方法组的主要思想是将NMS视为过滤器，以重新对所有原始检测进行评分，并以端到端的方式将NMS训练为网络的一部分。与传统的手工制作的NMS方法相比，这些方法在改善遮挡和密集物体检测方面取得了有希望的结果。 硬负极挖矿的技术演变 对象检测器的训练本质上是一个不平衡的数据学习问题。在基于滑动窗口的探测器的情况下，背景和物体之间的不平衡可能非常极端104∼105每个对象的背景窗口。现代检测数据集需要预测对象长宽比，进一步将不平衡比提高到106∼107 在这种情况下，使用所有背景数据将对训练有害，因为大量简单的负面因素将淹没学习过程。硬负挖掘（HNM）旨在解决训练过程中数据不平衡的问题。HNM在物体检测中的技术演变如图10所示。 启动 对象检测中的 Bootstrap 是指一组训练技术，其中训练从一小部分背景样本开始，然后在训练过程中迭代添加新的未分类背景。在早期，引入自举的目的是减少数百万个背景样本的训练计算[164，29，10]。后来，它成为DPM和HOG检测器[12，13]中解决数据不平衡问题的标准训练技术。 基于深度学习的探测器中的 HNM 在深度学习时代的后期，由于计算能力的提高，自举在2014-2016年期间很快在对象检测中被丢弃[16，17，18，19，20]。为了缓解训练期间的数据不平衡问题，像Faster RCNN和YOLO这样的检测器只是简单地平衡了正负窗口之间的权重。然而，研究人员后来注意到，权重平衡不能完全解决不平衡的数据问题[23]。为此，在2016年之后，自举被重新引入基于深度学习的探测器[21，165，166，167，168]。例如，在SSD [21]和OHEM [166]中，只有极少数样本（具有最大损耗值的样本）的梯度将反向传播。在 RefineDet [55] 中，设计了一个"锚点细化模块"来过滤容易出现的负面因素。另一种改进是设计新的损失函数[23，169，170]，通过重塑标准的交叉熵损失，使其更加关注困难的，错误分类的例子[23]。

长期以来，物体检测的加速一直是一个重要但具有挑战性的问题。在过去的20年中，物体检测界已经开发出复杂的加速技术。这些技术大致可分为三个层次的组：“检测管道加速”、“检测引擎加速"和"数值计算加速”，如图12所示。

图 12： 对象检测中的加速技术概述。

在对象检测器的不同计算阶段中，特征提取通常主导计算量。对于基于滑动窗口的检测器，计算冗余从位置和尺度开始，其中前者是由相邻窗口之间的重叠引起的，而后者是由相邻尺度之间的特征相关性引起的。 空间计算冗余和加速 减少空间计算冗余的最常用思想是特征图共享计算，即在滑动窗口之前仅计算整个图像的特征图一次。本文中传统探测器的"图像金字塔"可以被认为是"特征金字塔"。例如，为了加速HOG行人探测器，研究人员通常会积累整个输入图像的"HOG地图"，如图13所示。然而，这种方法的缺点也很明显，即特征图分辨率（该特征图上滑动窗口的最小步长）将受到像元大小的限制。如果一个小物体位于两个单元格之间，则所有检测窗口都可能忽略它。此问题的一个解决方案是构建一个完整的要素金字塔，这将在第 3.6 节中介绍。

图 13： 如何计算图像的 HOG 映射的图示。 特征图共享计算的思想也已被广泛用于基于卷积的探测器。一些相关作品可以追溯到1990年代[97，96]。近年来，大多数基于CNN的探测器，例如SPPNet [17]，Fast-RCNN [18]和Faster-RCNN [19]，都应用了类似的想法，这些想法已经实现了数十甚至数百倍的加速度。 扩展计算冗余并加快速度 为了减少尺度计算冗余，最成功的方法是直接缩放特征而不是图像，这首先应用于VJ检测器[10]。但是，由于模糊效果，这种方法不能直接应用于类似 HOG 的特征。对于这个问题，P. Dollár等人通过广泛的统计分析发现了HOG的相邻尺度与积分通道特征之间的强（对数线性）相关性[171]。这种相关性可用于通过近似相邻比例的要素图来加速要素金字塔[172]的计算。此外，构建"探测器金字塔"是避免尺度计算冗余的另一种方法，即通过简单地在一个特征图上滑动多个探测器而不是重新缩放图像或特征来检测不同尺度的物体[173]。

传统的基于滑动窗口的检测器，例如HOG检测器和DPM，由于其计算复杂性低，更喜欢使用线性分类器而不是非线性分类器。使用非线性分类器（如内核 SVM）进行检测表明精度更高，但同时会带来较高的计算开销。作为一种标准的非参数方法，传统的核方法没有固定的计算复杂度。当我们有一个非常大的训练集时，检测速度会变得非常慢。 在对象检测中，有许多方法可以加速内核化分类器，其中"模型近似"是最常用的[30，174]。由于经典内核 SVM 的决策边界只能由其一小部分训练样本（支持向量）确定，因此推理阶段的计算复杂性将与支持向量的数量成正比：O(Nsv).简集向量 [30] 是一种用于核 SVM 的近似方法，旨在从少量合成向量中获得等效的决策边界。在对象检测中加速内核SVM的另一种方法是将其决策边界近似为分段线性形式，以实现恒定推理时间[174]。内核方法也可以使用稀疏编码方法[175]进行加速。

级联检测是物体检测[10，176]中常用的技术。它需要一个粗略到精细的检测理念：使用简单的计算过滤掉大多数简单的背景窗口，然后用复杂的窗口处理那些更困难的窗口。VJ探测器是级联检测的代表。之后，许多后续的经典物体探测器，如HOG探测器和DPM，通过使用这种技术[177，14，38，54，178]进行了加速。 近年来，级联检测也被应用于基于深度学习的检测器，特别是针对那些"大场景中的小物体"的检测任务，例如人脸检测[179，180]，行人检测[177，165，181]等。除了算法加速之外，级联检测还被应用于解决其他问题，例如，改进硬示例的检测[182，183，184]，集成上下文信息[185，143]，并提高定位精度[125，104]。

"网络修剪"和"网络量化"是加速CNN模型的两种常用技术，前者是指修剪网络结构或权重以减小其大小，后者是指减少激活或权重的代码长度。 网络修剪 "网络修剪"的研究可以追溯到20世纪80年代。当时，Y. LeCun等人提出了一种称为"最佳脑损伤"的方法，以压缩多层感知器网络的参数[186]。在这种方法中，通过取二阶导数来近似网络的损失函数，以便去除一些不重要的权重。遵循这一思路，近年来的网络修剪方法通常采用迭代训练和修剪过程，即在每个训练阶段后只去掉一小群不重要的权重，并重复这些操作[187]。由于传统的网络修剪只是简单地删除了不重要的权重，这可能会导致卷积滤波器中出现一些稀疏的连接模式，因此无法直接应用于压缩 CNN 模型。这个问题的一个简单解决方案是移除整个过滤器而不是独立权重[188，189]。 网络量化 最近关于网络量化的工作主要集中在网络二值化上，其目的是通过将网络的激活或权重量化为二进制变量（例如0/1）来加速网络，以便将浮点运算转换为AND，OR，NOT逻辑运算。网络二值化可以显著加快计算速度并减少网络的存储，从而可以更轻松地将其部署在移动设备上。上述想法的一个可能的实现是用最小二乘法[190]近似二进制变量的卷积。通过使用多个二进制卷积的线性组合可以获得更准确的近似值[191]。此外，一些研究人员进一步开发了用于二值化计算的GPU加速库，从而获得了更显着的加速结果[192]。 网络蒸馏 网络提炼是一个通用框架，用于将大型网络（“教师网络”）的知识压缩成一个小网络（“学生网络”）[193，194]。最近，这个想法已被用于加速物体检测[195，196]。这个想法的一个直接方法是使用教师网络来指导（轻量级）学生网络的训练，以便后者可用于加速检测[195]。另一种方法是对候选区域进行变换，以最小化学生网和教师网之间的特征距离。这种方法使检测模型的速度提高了2倍，同时达到了相当的精度[196]。

加速基于CNN的探测器的最后一组方法是直接设计轻量级网络，而不是使用现成的检测引擎。长期以来，研究人员一直在探索网络的正确配置，以便在有限的时间成本下获得准确性。除了一些一般的设计原则，如"更少的通道和更多的层"[197]，近年来还提出了一些其他方法：1）分解卷积，2）群卷积，3）深度可分离卷积，4）瓶颈设计，以及5）神经架构搜索。 分解卷积 分解卷积是构建轻量级 CNN 模型的最简单、最直接的方法。分解方法有两组。 第一组方法是将一个大卷积滤波器分解成一组空间维度的小滤波器[198，147，47]，如图14（b）所示。例如，可以将 7x7 滤波器分解为三个 3x3 滤波器，其中它们共享相同的接受域，但后者更有效。另一个例子是分解k×k过滤成k×1过滤器和1×k过滤器 [198， 199]，对于非常大的过滤器，例如 15x15 [199]，可能更有效。这个想法最近被用于对象检测[200]。 第二组方法是将一大组卷积分解为两个通道维[201，202]中的小组，如图14（c）所示。例如，可以近似于卷积层d过滤器和的特征图c渠道由d′滤波器 + 一个非线性激活 + 另一个d过滤器 （d′<d).在这种情况下，复杂性O(dk2c)的原始图层可以减少到O(d′k2c)+O(dd′). 组卷积 群卷积旨在通过将特征通道划分为许多不同的组来减少卷积层中的参数数量，然后在每个组上独立卷积[203，189]，如图14（d）所示。如果我们将功能通道平均划分为m组，在不改变其他配置的情况下，卷积的计算复杂度理论上将降低到1/m之前。 按深度可分卷积 如图14（e）所示，深度可分卷积是最近流行的构建轻量级卷积网络的方法[204]。当组数设置为等于通道数时，可以将其视为组卷积的特殊情况。 假设我们有一个卷积层d过滤器和的特征图c渠道。每个过滤器的大小为k×k.对于深度可分离卷积，每个k×k×c过滤器首先拆分为c每个切片的大小k×k×1，然后使用滤波器的每个切片在每个通道中单独执行卷积。最后，使用许多 1x1 筛选器进行维度转换，以便最终输出应具有d渠道。通过使用深度可分离卷积，计算复杂性可以降低O(dk2c)自O(ck2)+O(dc).这个想法最近被应用于物体检测和细粒度分类[205，206，207]。

在本节中，我们主要介绍物体检测中常用的四种重要的数值加速度方法：1）使用积分图像加速，2）在频域中加速，3）矢量量化，以及4）减少秩近似。 通过整体图像加速 积分图像是图像处理中的重要方法。它有助于快速计算图像子区域的总和。积分图像的本质是信号处理中卷积的积分微分可分离性：

其中，如果dg(x)/dx是一个稀疏信号，那么卷积可以通过这个等式的右部分加速。虽然VJ探测器[10]以积分图像加速度而闻名，但在它诞生之前，积分图像已经被用来加速CNN模型[219]并实现了超过10倍的加速度。 除上述示例外，积分图像还可用于加速物体检测中更一般的特征，例如颜色直方图，梯度直方图[220，177，221，171]等。一个典型的例子是通过计算积分HOG图[220，177]来加速HOG。积分 HOG 映射不是在传统的积分图像中累积像素值，而是在图像中累积梯度方向，如图 15 所示。由于像元的直方图可以看作是某个区域中梯度矢量的总和，因此通过使用积分图像，可以在具有恒定计算开销的任意位置和大小的矩形区域中计算直方图。积分HOG地图已用于行人检测，并在不损失任何精度的情况下实现了数十倍的加速度[177]。 2009年晚些时候，P. Dollár等人提出了一种称为积分通道特征（ICF）的新型图像特征，可以将其视为积分图像特征的更一般情况，并已成功用于行人检测[171]。ICF在其时间的近乎实时的检测速度下实现了最先进的检测精度。 在频域中加速 卷积是物体检测中一种重要的数值运算类型。由于线性检测器的检测可以看作是特征图和检测器权重之间的窗口内积，因此此过程可以通过卷积来实现。 卷积可以通过多种方式加速，其中傅里叶变换是一个非常实用的选择，特别是对于加速那些大滤波器。在频域中加速卷积的理论基础是信号处理中的卷积定理，即在合适的条件下，两个信号卷积的傅里叶变换是其傅里叶空间中的逐点积：

哪里F是傅里叶变换，F−1是逆傅里叶变换，我和W是输入图像和过滤器，∗是卷积运算，并且⊙是按点划分的产品。可以使用快速傅里叶变换 （FFT） 和逆快速傅里叶变换 （IFFT） 来加速上述计算。FFT和IFFT现在经常用于加速CNN模型[222，223，224，225]和一些经典的线性物体探测器[226]，这已经将检测速度提高了一个数量级。图16显示了在频域中加速线性物体检测器（例如，HOG和DPM）的标准管道。

图 16： 如何利用快速傅里叶变换和逆快速傅里叶变换在频域中加速线性检测器（例如，HOG检测器、DPM 等）的图示[226]。 矢量量化 矢量量化（VQ）是信号处理中的一种经典量化方法，旨在通过一小组原型矢量近似于一大组数据的分布。它可用于数据压缩和加速对象检测[227，228]中的内积操作。例如，使用 VQ，可以将 HOG 直方图分组并量化为一组原型直方图向量。然后在检测阶段，特征向量和检测权重之间的内部生成可以通过表查找操作来实现。由于在此过程中没有浮点乘法和除法，DPM和示例SVM检测器的速度可以加速超过一个数量级[227]。 降低秩近似值 在深度网络中，全连接层中的计算本质上是两个矩阵的乘法。当参数矩阵W∈Ru×v