物体检测

物体检测是计算机视觉中的经典问题之一，其任务是用框去标出图像中物体的位置，并给出物体的类别。从传统的人工设计特征加浅层分类器的框架，到基于深度学习的端到端的检测框架，物体检测一步步变得愈加成熟。

概述在传统视觉领域，物体检测是一个非常热门的研究方向。受70年代落后的技术条件和有限应用场景的影响，物体检测直到上个世纪90年代才开始逐渐走入正轨。物体检测对于人眼来说并不困难，通过对图片中不同颜色、纹理、边缘模块的感知很容易定位出目标物体，但计算机面对的是RGB像素矩阵，很难从图像中直接得到狗和猫这样的抽象概念并定位其位置，再加上物体姿态、光照和复杂背景混杂在一起，使得物体检测更加困难。

检测算法里面通常包含三个部分，第一个是检测窗口的选择， 第二个是特征的设计，第三个是分类器的设计。随着2001年Viola Jones提出基于Adaboost1的人脸检测方法以来，物体检测算法经历了传统的人工设计特征加浅层分类器的框架，到基于大数据和深度神经网络的End-To-End的物体检测框架，物体检测一步步变得愈加成熟。

传统检测算法在2001年，一篇基于Haar+Adaboost的检测方法在学术界和工业界引起了非常大的轰动，它第一次把检测做到实时，并且在当时的技术限制下，检测性能也做的非常亮眼。纵观2012年之前的物体检测算法，可以归结为三个方面的持续优化：检测窗口的选择、特征的设计和分类器的设计。

检测窗口的选择拿人脸检测举例，当给出一张图片时，我们需要框出人脸的位置以及人脸的大小，那么最简单的方法就是暴力搜索候选框，把图像中所有可能出现框的位置从左往右、从上往下遍历一次。并且通过缩放一组图片尺寸，得到图像金字塔来进行多尺度搜索。

但是这种方法往往计算量很大并且效率不高，在实际应用中并不可取。人脸具有很强的先验知识，比如人脸肤色YCbCr空间呈现很紧凑的高斯分布，通过肤色检测可以去除很大一部分候选区域，仅留下极小部分的区域作为人脸检测搜索范围。由于肤色的提取非常快，只是利用一些颜色分布的信息，把每个像素判断一下，整体速度提升很多。但肤色提取只是用到简单的颜色先验，如果遇到和肤色很像的，比如黄色的桌子，很有可能被误判成人脸的候选检测区域。

进一步提高精度衍生出如Selective Search2或EdgeBox3等区域提取的方法，基于颜色聚类、边缘聚类的方法来快速把不是所需物体的区域给去除，相对于肤色提取精度更高，极大地减少了后续特征提取和分类计算的时间消耗。

特征的设计在传统的检测中，Haar由于提取速度快，能够表达物体多种边缘变化信息，并且可以利用积分图快速计算，得到广泛的应用；LBP更多的表达物体的纹理信息，对均匀变化的光照有很好的地适应性；HOG通过对物体边缘使用直方图统计来进行编码，特征表达能力更强，在物体检测、跟踪、识别都有广泛的应用。传统特征设计往往需要研究人员经验驱动，更新周期往往较长，通过对不同的特征进行组合调优，从不同维度描述物体可以进一步提升检测精度，如ACF检测，组合了20种不同的特征表达。

分类器的设计传统的分类器包含Adaboost、SVM、Decision Tree等。

（1）Adaboost

一个弱分类器往往判断精度不高，通过Adaboost自适应地挑选分类精度高的弱分类器并将它们加权起来，从而提升检测性能。比如说，人脸检测中一个候选窗口需要判断是否为人脸，其中一些弱分类器为颜色直方图分量（如红黄蓝三种颜色），如果黄色分量大于100，那我就认为这块可能是人脸的候选区域，这就是个非常简单的弱分类器。可是，单个这么弱的分类器判断是很不准的，那么我们就需要引入另外一些分量做辅助。比如再引入红色分量大于150，将几个条件叠加起来，就组成了一个比较强的分类器。

这里弱分类器的设计往往就是确定颜色判断的阈值，为什么会选择100呢？其实这是我们需要学习得到的阈值，学习得到，当阈值设定为100时，分类的精度是最高的。另外，为什么要选择红黄蓝三种颜色？同样，因为它们分类的精度更高。通过不断进行特征挑选并学习弱分类器，最终组合提升为Adaboost强分类器。

（2）SVM分类器

SVM通过最大化分类间隔得到分类平面的支持向量，在线性可分的小数据集上有不错的分类精度，另外通过引入核函数将低维映射到高维，从而线性可分，在检测场景被广泛使用。

（3）决策树

决策树（Decision Tree）是一种树形结构，其中每个内部节点表示一个属性上的测试，每个分支代表一个测试输出，每个叶子节点代表一种类别。

以二叉树为例，假如从树根进来有个二分类，我们需要区分它是人脸或者是非人脸，左边是非人脸，右边是人脸。当我进入第一个二叉树分类器节点判断，如果是非人脸的话直接输出结果，如果是人脸候选的话进入下一层再做进一步的分类。通过学习每个节点的分类器来构造决策树，最终形成一个强分类器。

（4）随机森林

通过对决策树进行Ensemble，组合成随机森林更好的提高分类或者回归精度。

物体检测数据集物体检测常用的数据集有：PASCAL VOC和COCO。

PASCAL VOC为图像识别和分类提供了一整套标准化的优秀的数据集，从2005年到2012年每年都会举行一场图像识别挑战赛。

COCO数据集是微软发布的，除了图片以外还提供物体检测、分割(segmentation)和对图像的语义文本描述信息。

基于深度学习的检测算法物体检测算法的演变分为两个阶段：一个就是基于传统特征的解决方法，另外一个就是深度学习算法。在2013年之前主流检测算法是传统的特征优化检测方法。但是，在2013年之后，整个学术界和工业界都逐渐利用深度学习来做检测。

基于深度学习的早期的物体检测，大都使用滑动窗口的方式进行窗口提取，这种方式本质是穷举法 R-CNN4。后来提出Selective Search2等区域窗口提取算法，对于给定的图像，不需要再使用一个滑动窗口进行图像扫描，而是采用某种方式“提取”出一些候选窗口，在获得对待检测目标可接受的召回率的前提下，候选窗口的数量可以控制在几千个或者几百个。

后来，又出现了SPP5，其主要思想是去掉了原始图像上的crop/warp等操作，换成了在卷积特征上的空间金字塔池化层。那么为什么要引入SPP层呢？其实主要原因是CNN的全连接层要求输入图片是大小一致的，而实际中的输入图片往往大小不一，如果直接缩放到同一尺寸，很可能有的物体会充满整个图片，而有的物体可能只能占到图片的一角。SPP对整图提取固定维度的特征，首先把图片均分成4份，每份提取相同维度的特征，再把图片均分为16份，以此类推。可以看出，无论图片大小如何，提取出来的维度数据都是一致的，这样就可以统一送至全连接层。

实际上，尽管R-CNN 和SPP在检测方面有了较大的进步，但是其带来的重复计算问题让人头疼，而 Fast R-CNN6 的出现正是为了解决这些问题。 Fast R-CNN使用一个简化的SPP层 —— RoI（Region of Interesting） Pooling层，其操作与SPP类似，同时它的训练和测试是不再分多步，不再需要额外的硬盘来存储中间层的特征，梯度也能够通过RoI Pooling层直接传播。Fast R-CNN还使用SVD分解全连接层的参数矩阵，压缩为两个规模小很多的全连接层。

Fast R-CNN使用Selective Search来进行区域提取，速度依然不够快。Faster R-CNN则直接利用RPN （Region Proposal Networks）网络来计算候选框。RPN以一张任意大小的图片为输入，输出一批矩形区域，每个区域对应一个目标分数和位置信息。从 R-CNN 到 Faster R-CNN7，这是一个化零为整的过程，其之所以能够成功，一方面得益于CNN强大的非线性建模能力，能够学习出契合各种不同子任务的特征，另一方面也是因为人们认识和思考检测问题的角度在不断发生改变，打破旧有滑动窗口的框架，将检测看成一个回归问题，不同任务之间的耦合。

除了R-CNN、Fast R-CNN 和 Faster R-CNN等两阶段检测算法外，还有YOLO89、SSD10等一阶段检测算法——将物体检测看作一个回归问题。

本词条内容贡献者为:

王慧维 - 副研究员 - 西南大学