一句话总结

加州大学伯克利分校和 ICSI 提出 DeCAF，这是从监督物体识别网络中提取深度卷积激活特征的开源实现。实验表明，这些特征可以被复用，用于场景识别和域适应等通用视觉任务，并且在没有特定于任务训练的情况下显著超越当时的最先进方法。

核心贡献

• 本文发布 DeCAF，提供深度卷积激活特征及相关网络参数的开源实现，使预训练 CNN 特征可以复用，用于数据有限的视觉任务迁移学习。

• 本文分析来自网络不同层级的固定特征，并可视化其语义聚类，表明当新任务缺乏足够数据训练完整深度架构时，预训练 CNN 激活可以作为强力的通用视觉表示。

• 使用在 ImageNet 上训练的网络特征开展的实验显示，在 Caltech-101、Office 域适应数据集、Caltech-UCSD Birds 和 SUN-397 上，相比传统表示均有提升，并且与 HOG 或 KDES 相比，运行时间和资源使用并不特别突出。

引言

研究背景属于面向视觉识别的感知学习，其目标是找到能够捕获任务所需语义属性的表示。这一研究具有重要意义，因为许多真实应用只有有限训练样本，包括用户自定义类别、细粒度识别、属性学习和域适应，而这些场景中的大规模监督学习并不可行。

基于手工设计扁平特征的早期视觉表示，例如梯度直方图和基于部件的检测器，曾经有效，但可能已经遇到瓶颈。深度卷积网络在 ImageNet 等大型标注数据集上训练时可以取得非常高得性能，但当训练数据稀缺时会明显过拟合。先前的迁移学习和表示学习方法也难以扩展，或在更大的视觉识别问题上只有有限成效，尤其是在存在数据集偏差或域偏移时。

作者将 ImageNet 上训练的深度卷积网络作为通用监督预训练基础，然后将学到的特征空间表示迁移到新任务。该做法可视为半监督多任务学习或迁移学习方法，也等价于一种名为 DeCAF 的新视觉特征。其关键贡献是提供了经验证据：这类卷积特征在包括 Caltech-101、Office 域适应、Caltech-UCSD Birds 和 SUN-397 在内的多个基准任务上优于传统表示，同时相比 HOG 等特征表现出更好的语义聚类和合理的运行成本。

数据集

• 作者使用 Office 基准数据集进行域适应实验。
  • 组成：覆盖商品摄影和办公室相机图像的三类图像域。
  • 来源：Amazon（来自 amazon.com 的商品图像）、Webcam 和 Dslr（在办公室环境中使用网络摄像头或数码单反相机拍摄的图像）。
• 数据集规模与过滤：
  • 本文未报告 Amazon、Webcam 和 Dslr 的确切子集规模或详细过滤规则。
  • 它使用 Saenko et al. (2010) 提出的标准 Office 基准设置。
• 有监督域适应划分：
  • 每个实验将其中一个域作为有标注源域。
  • 另一个域作为目标域，目标域没有标签，或只有少量有标签数据。
  • 实验重点关注两个域偏移：Amazon 到 Webcam 和 Dslr 到 Webcam。
  • 结果在 5 次训练/测试划分上平均。
• 数据使用与处理：
  • 使用图像提取 SURF 和 DeCAF 特征，并用 SVM 和 logistic regression 进行分类。
  • 模型在三种标签条件下训练：仅源域、仅目标域、源域加目标域。
  • 除标准 Office 数据集协议之外，未描述特殊裁剪、元数据构造或数据集重加权。

方法

作者利用一个有监督卷积神经网络作为可复用的视觉特征提取器。该系统首先在面向 ImageNet 风格的 1000 类分类任务上训练一个大型卷积模型，使用标准监督目标。网络结构遵循 AlexNet 风格设计，由 $5$5 个卷积阶段组成，卷积阶段之间交替连接池化层和整流线性激活函数，随后连接 $3$3 个全连接阶段。网络输入是大小为 $224 \times 224$224×224 的均值中心化原始 RGB 图像块。在预处理中，在裁剪前将图像几何映射到 $256 \times 224$256×224，并且不使用随机 RGB 主成分增强。

给定输入图像 $x$x，前向过程可被视为一系列层级变换：

$$a_l(x) = \mathrm{Layer}_l(a_{l-1}(x)),$$al​(x)=Layerl​(al−1​(x)),

然后是覆盖 1000 个物体类别的 softmax 分类器：

$$\hat{y} = \mathrm{softmax}(W_c a_c(x)).$$y^​=softmax(Wc​ac​(x)).

尽管完整前向过程能产生很强的分类性能，但该方法的主要输出并非最终预测。相反，作者在选定的中间层截断前向过程，并收集神经元激活作为深度卷积特征。这些激活向量旨在作为其他视觉任务的通用表示。

为了让该流程更具实用性，作者实现了开源 Python 框架。计算密集的操作使用 C 实现，并与 Python 连接；数值计算使用 numpy 和 scipy 等标准包。该设计使已训练网络无需 GPU 即可高效执行，在 8 核普通商用计算机的 minibatch 模式下，约能达到每秒 40 张图像。发布的网络参数支持直接进行特征提取，而无需重新训练该大型模型。

作者还考察哪些激活层能够提供有用的语义结构。从训练好的网络不同层提取高维特征向量，并使用 t-SNE 将其投影到二维空间。点根据更高层级语义类别着色，以便比较不同特征类型下的聚类。如下图所示，早期池化激活的语义组织程度较低，而后期隐藏层激活形成更清晰的语义组。

这种行为表明，更深的隐藏层编码了更具迁移性的高层视觉信息。为了验证这种结构是否会保留在训练数据集之外，作者将从独立场景识别数据集中提取的 ImageNet 训练网络激活投影到 t-SNE 嵌入中，并按粗粒度语义标签着色。下图显示，原始网络的高层激活仍能区分粗粒度语义组，从而支持将这些特征用于通用识别任务。

作者还分析了该框架内前向过程的计算特征。下图的分层计时结果显示，卷积操作和全连接操作消耗大部分执行时间，因为它们涉及大规模矩阵乘法。

计时分布进一步显示，在大型网络中，最终全连接层可能主导运行时间，因为它们需要大规模变换矩阵。当该方法扩展到非常大的类别空间或更宽的隐藏层时，这一观察具有相关性，因为高效输出计算会成为系统设计问题。

实验

实验从 ImageNet 训练卷积网络的后期隐藏层提取冻结激活，并与简单线性分类器搭配，在物体识别、域适应、子类别识别和场景识别基准上进行评测。结果显示，中层和后期层特征在多个任务上具有广泛泛化能力，通常优于手工设计特征流程，并在有标注数据有限的情况下仍然有效，同时 dropout 可进一步提升鲁棒性。评测还表明，更深的视觉抽象能够跨域和跨场景捕获语义类别结构，显式基于部件的池化可以进一步增强细粒度判别能力。

DeCAF 特征配合简单 logistic 分类器在鸟类子类别准确率上高于以往基线，表明通用深度视觉特征能够捕捉细粒度区分。加入位姿归一化的基于部件的池化会进一步提升性能，并在所比较方法中取得最佳结果。DeCAF 特征无需特定于任务的特征设计即可优于早期鸟类子类别方法，基于部件的池化改进 DeCAF，并超过此前报道的最佳基线。

在 Office 数据集上，对于 Amazon 到 Webcam 和 Dslr 到 Webcam 两类域偏移，DeCAF 特征相比 SURF 带来显著更高的多分类准确率。这种提升在 logistic regression 和 SVM 分类器中都有出现，并且对于 Dslr 到 Webcam 尤其显著，其中源域 DeCAF 模型的表现接近目标域模型。同时使用源域和目标域标签训练可获得最佳 DeCAF 结果，但 DeCAF 仅使用源域标签时也已经大幅缩小域差距。在标准分类器设置下，DeCAF 特征比 SURF 产生高得多的准确率。对于 Dslr 到 Webcam，仅源域 DeCAF 模型接近仅目标域模型的准确率，表明域偏移较小。组合源域和目标域标签会在所有域适应设置中进一步提升 DeCAF 准确率。

DeCAF 特征配合简单线性分类器，在 SUN-397 上的场景识别性能超过基于传统特征的多核基线。最佳配置达到约 41% 的平均准确率，其中 DeCAF7 在 logistic regression 和 SVM 分类器上都表现出强劲且稳定。这表明通用深度图像特征可以从物体识别到大规模场景分类有效迁移。使用简单分类器的 DeCAF 性能优于准确率为 38.0% 的传统特征多核基线。DeCAF7 在 logistic regression 和 SVM 中均取得有竞争力的结果，说明其特征质量较为稳健。分类器之间差异不大，在多个报告设置中 logistic regression 略强于 SVM。

实验评测了通用深度视觉特征在细粒度鸟类子类别识别、跨域图像分类和场景识别中的表现。在这些任务中，DeCAF 特征配合简单分类器优于传统特征基线，位姿归一化的基于部件池化可进一步提升鸟类子类别性能。结果还表明，DeCAF 能够降低 Office 分类中的域偏移，尤其在只有源域标签时；同时组合源域和目标域标签会取得最强迁移结果。总体而言，这些发现表明，通用深度特征无需特定于任务的特征设计，即可有效迁移到多样化的识别和域适应场景。