17 天前

基于概念引导学习的通用细粒度视觉分类

{Gui-Song Xia, Wei Ji, Beichen Zhou, Qi Bi}
摘要

现有的细粒度视觉分类(Fine-Grained Visual Categorization, FGVC)方法通常假设图像中包含细粒度语义信息的区域是具有判别性的局部部件。这一假设在理想条件下的前视图、以目标为中心的图像上表现良好,但在诸多现实场景中面临严峻挑战,例如以场景为中心的图像(如街景)以及不利视角下的图像(如目标重识别、遥感图像)。在这些场景下,局部特征的误激活或过度激活极易导致部件选择错误,从而损害细粒度表征的质量。为此,本文旨在设计一种适用于现实场景的通用FGVC框架。具体而言,我们提出了一种概念引导学习(Concept Guided Learning, CGL)方法,该方法将某一细粒度类别所对应的语义概念建模为两个部分的组合:一是从其所属的粗粒度类别继承而来的共性概念,二是该类别自身特有的判别性概念。其中,判别性概念被用于引导细粒度表征的学习过程。为此,我们设计了三个关键步骤:概念挖掘(Concept Mining)、概念融合(Concept Fusion)和概念约束(Concept Constraint)。此外,为弥合在以场景为中心及不利视角等现实场景下FGVC数据集之间的差距,我们构建了一个新的细粒度地表覆盖分类数据集——细粒度地表覆盖分类数据集(Fine-grained Land-cover Categorization Dataset, FGLCD),包含59,994个细粒度样本。大量实验结果表明,所提出的CGL方法具有以下优势:1)在传统FGVC任务上具备具有竞争力的性能;2)在细粒度航拍图像与以场景为中心的街景图像分类任务中达到当前最优水平;3)在目标重识别与细粒度航拍目标检测任务中展现出良好的泛化能力。相关数据集与源代码将公开发布于:https://github.com/BiQiWHU/CGL。

基于概念引导学习的通用细粒度视觉分类 | 最新论文 | HyperAI超神经