一句话总结

加州大学伯克利分校和 ICSI 提出 R-CNN，这是一种简单且可扩展的检测算法，将高容量卷积神经网络应用于自底向上区域候选，用于目标定位和分割；在标注数据稀缺时，利用监督预训练并结合领域特定微调，在 PASCAL VOC 2012 上达到 $53.3\%$53.3% 的 mAP，相较此前最佳结果相对提升 $30\%$30%。

核心贡献

• 该论文提出 R-CNN，一种简单可扩展的目标检测器，将高容量卷积神经网络应用于自底向上区域候选，用于定位和分割，使 PASCAL VOC 2012 上的平均精度均值提升到 53.3%，相较此前最佳结果实现超过 30% 的相对增益。

• 该工作表明，在大规模图像分类数据集上进行监督预训练，然后在 PASCAL 检测数据上进行领域特定微调，在标注数据稀缺时是有效的；这一策略将平均精度均值提升 8 个百分点，在 PASCAL VOC 2010 上达到 54%，而经过调优的 HOG 形变部件模型为 33%。

• 该工作提供分析和扩展：探测实验揭示了丰富且多样的 CNN 特征层次，简单的边界框回归降低了主导性误定位误差，少量修改实现了最先进水平的 PASCAL VOC 分割，平均准确率为 47.9%。

引言

视觉目标检测长期依赖 SIFT 和 HOG 等手工特征，但在 PASCAL VOC 等基准上的性能趋于停滞，因为这些低层描述符难以捕捉稳健识别所需的层次化表示。早期 CNN 在图像分类中显示出前景，但将其应用于检测较为困难：深度网络具有大的感受野，使滑窗定位较为别扭，并且有标注检测数据太少，难以从头训练大型 CNN。作者提出 R-CNN，将类别无关区域候选、CNN 特征和类别特定线性分类器结合，用于定位和分类目标。该工作还表明，在大规模图像分类数据上进行监督预训练，随后在较小检测数据集上微调，使高容量 CNN 可用于检测，并在 PASCAL VOC 上产生显著性能提升。

方法

该方法遵循基于区域的模块化检测架构。作者并非训练单个端到端检测器，而是将系统分为三个主要组件：类别无关区域候选、固定长度 CNN 特征提取和类别特定线性分类。这种分解使流程高效，因为昂贵的特征计算可在许多目标类别之间共享。

第一个模块生成候选目标位置。在所描述的检测系统中，作者使用选择性搜索为每张测试图像生成约 $2000$2000 个类别无关区域候选。这些候选定义检测器后续评估的候选窗口。该架构并不绑定特定候选生成器，但选择性搜索提供受控且有效的检测窗口集合。

第二个模块将每个候选转换为 CNN 特征向量。网络要求输入尺寸为 $227 \times 227$227×227。为处理任意尺寸和宽高比的候选，作者提取每个候选周围的紧贴边界框，对其进行膨胀以添加少量图像上下文，并将结果扭曲到所需输入尺寸。在扭曲前，扩大边界框，使重新调整大小后恰好有 $p=16$p=16 像素的扭曲上下文围绕原始候选。参见下图。

将扭曲区域减去均值，然后通过由五个卷积层和两个全连接层组成的卷积网络。输出为该候选的 $4096$4096 维特征向量。随后使用这一固定长度表示进行打分、训练和后续细化。

测试时，检测流程在图像上运行候选模块一次，并将所有扭曲候选前向传播通过共享 CNN。得到的特征矩阵通常为 $2000 \times 4096$2000×4096 大小。对于每个类别，该矩阵乘以对应 SVM 权重矩阵，每个候选获得一个分数。随后为每个类别独立执行贪心非极大值抑制，移除得分较低的重叠候选。由于 CNN 参数和特征在所有类别间共享，候选和特征提取成本可在所有类别上分摊。这种共享计算是该方法可扩展性的核心。

训练过程分为若干阶段。作者首先在大规模辅助图像分类数据集上对 CNN 进行监督预训练。这提供了可迁移到检测的通用视觉表示。随后专门针对检测任务和扭曲区域候选域微调 CNN。在微调过程中，将原始 $1000$1000 分类层替换为随机初始化的 $21$21 分类层，对应二十个目标类别加背景。作者将对某个真值框具有至少 $0.5$0.5 IoU 重叠的候选视为该类别的正例，而将所有其他候选视为负例。

微调使用随机梯度下降，采用相对较小的 $0.001$0.001 学习率，这是预训练学习率的十分之一。这使网络能够适应检测窗口，而不会严重破坏预训练初始化。每个小批量大小为 $128$128，通过采样 $32$32 个正样本窗口和 $96$96 个背景窗口构建。由于完整候选集中真正例稀少，该采样偏向正样本窗口。

在 CNN 微调后，作者在提取的 CNN 特征上训练类别特定二元 SVM。这些 SVM 并非简单地被微调网络的最终 softmax 层替代。正例是每个类别的真值框。负例是与真值 IoU 重叠低于阈值的候选。阈值在验证数据上选择，设为 $0.3$0.3。这一选择很重要，因为负样本定义过松或过严都会降低检测精度。由于完整候选集很大且难以直接放入内存，作者使用困难负样本挖掘高效找到最有信息量的负样本。

该方法还包含对学习到的 CNN 表示的解释。为了理解网络学到了什么，作者检查来自层 $\mathrm{pool}_5$pool5​ 的单元，即第五个卷积层的最大池化输出。每个池化单元被视为在一组保留的区域候选上的检测器。作者计算单元的激活，按激活强度对候选排序，应用非极大值抑制，并可视化得分最高的输入。如下图所示：

这一过程显示不同 $\mathrm{pool}_5$pool5​ 单元可专门化于不同视觉模式。有些单元响应具体目标概念，而其他单元响应纹理、颜色或类似材质的结构。该结果支持使用深层 CNN 特征的设计选择：网络学习结合形状、纹理、颜色和类别敏感线索的表示。

误差分析促使引入额外细化模块。作者发现许多假阳性并非由将一类目标与另一类目标混淆造成，而是由正确目标的定位不佳造成。为解决这一点，他们添加边界框回归步骤。给定候选的 $\mathrm{pool}_5$pool5​ 特征向量，线性回归模型预测调整后的检测窗口。参见下图。

该回归阶段通过将松散的候选变换为更准确的窗口来收紧它们。它是一个轻量级后处理模块，直接针对定位误差，无需全新检测主干即可提升最终检测质量。

同一特征提取流程也可被适配到语义分割。在该场景中，区域候选被扭曲到标准网络输入，并为每个区域计算 CNN 特征。作者比较使用完整扭曲窗口、仅前景掩码或两者拼接的策略。完整窗口策略捕捉周围上下文，而前景掩码策略强调区域形状本身。结合两者使网络能够同时访问目标外观和上下文信息，从而将区域分类框架复用于稠密像素标注。

实验

实验在 PASCAL VOC 目标检测和分割上评估 R-CNN，通过与强基线、逐层消融、特征可视化、误差分析和边界框回归比较验证其设计选择。检测结果显示，CNN 特征大幅优于此前手工特征和学习特征流程，消融表明卷积特征提供了大量表示能力，微调显著提升性能。可视化揭示类别相关和纹理相关的可解释单元，误差分析促使边界框回归以改善定位，分割实验表明 CNN 区域特征可与领先框架竞争，尤其是在结合完整窗口和前景掩码表示时。

结果显示，在比较方法中，R-CNN 的边界框回归变体获得最高平均检测精度，而单独的 R-CNN 也明显超过使用选择性搜索候选的强基线。该改进在多个目标类别中普遍存在，归因于学习边界框调整降低的定位误差。相较 R-CNN，边界框回归使平均检测精度提升少量但一致。带边界框回归的 R-CNN 超过 UVA 和 Regionlets，这两者使用选择性搜索候选。该方法也超过 SegDPM 和 DPM，尽管这些基线使用上下文重打分。

在 VOC 2007 测试集上，当 CNN 特征在 VOC trainval 数据上微调时，检测平均精度提升。在未微调时，fc6 特征相比 fc7 特征和 pool5 特征给出更好的平均精度，而微调后的特征层中 fc7 特征最佳。边界框回归阶段进一步提升检测平均精度，表明定位误差限制了较早的 R-CNN 结果。在未微调时，fc6 特征比 fc7 特征更适合检测。微调改进三个特征层，边界框回归带来额外精度增益。

在 VOC 2011 验证集分割基准上，R-CNN 特征结合完整区域和前景掩码表示产生最强平均准确率，略超过 O2P 基线。在所有特征策略中，fc6 特征始终优于 fc7 特征，而前景掩码区域略优于完整窗口区域，表明区域形状提供有用信号。对于分割平均准确率，完整区域加前景特征的联合表示是表现最好的 R-CNN 变体。使用 fc6 特征在完整、前景和联合区域策略中都比使用 fc7 特征更有效。

在 VOC 2011 测试集上，完整区域加前景 CNN 特征方法在比较方法中达到最高平均分割准确率，超过 Regions and Parts 基线并略超过二阶池化。它在许多单个类别上也在没有任何微调的情况下表现最好，前景掩码特征优于完整窗口特征，而两者结合最强。完整区域加前景的 fc6 方法给出最佳总体平均分割准确率。在未微调时，它是 21 个类别中 11 个类别的最佳方法。前景掩码特征强于完整窗口特征，组合它们可改善分割。

在 VOC 检测和分割上的实验评估了使用不同特征层、微调和边界框回归的 R-CNN 特征。检测结果显示，微调 CNN 特征可提升性能，而学习得到的边界框调整一致降低定位误差，并在比较方法中带来最强精度。分割结果显示，前景掩码特征优于完整窗口特征，将两种策略与 fc6 特征结合可获得最佳总体准确率。