11 天前

学习可泛化的全尺度表征用于行人重识别

Kaiyang Zhou, Yongxin Yang, Andrea Cavallaro, Tao Xiang
学习可泛化的全尺度表征用于行人重识别
摘要

一个高效的人体重识别(re-ID)模型应当学习到既具备强区分性(discriminative),能够有效区分外观相似的个体,又具备良好泛化能力(generalisable),可在无需任何适应调整的情况下部署于不同数据集的特征表示。本文提出了一种新型的卷积神经网络(CNN)架构,以同时应对上述两个挑战。首先,我们提出一种名为“全尺度网络”(Omni-Scale Network, OSNet)的重识别CNN,用于学习能够同时捕捉多种空间尺度信息,并融合多尺度特征的协同组合,即“全尺度特征”。该网络的基本构建单元由多个并行的卷积分支组成,每个分支专注于检测特定尺度下的特征。为实现全尺度特征学习,我们引入一个统一的聚合门控机制(aggregation gate),通过通道维度的可学习权重,动态融合多尺度特征。OSNet具有轻量化特性,其构建模块采用分解卷积(factorised convolutions),显著降低了参数量与计算开销。其次,为提升特征表示的泛化能力,我们在OSNet中引入实例归一化(Instance Normalization, IN)层,以缓解跨数据集间的分布差异问题。为进一步优化IN层在网络中的最优部署位置,我们设计了一种高效的可微架构搜索算法(differentiable architecture search algorithm),实现自动化结构优化。大量实验表明,在传统的同数据集设置下,OSNet在保持远小于现有重识别模型的前提下,取得了当前最优的性能表现。在更具挑战性但更贴近实际应用的跨数据集设置中,OSNet在未使用任何目标域数据的情况下,仍优于大多数最新的无监督域自适应方法。本文的代码与模型已开源,地址为:\texttt{https://github.com/KaiyangZhou/deep-person-reid}。

学习可泛化的全尺度表征用于行人重识别 | 最新论文 | HyperAI超神经