17 天前

细粒度食物识别中的多子集类别学习

{Petia Radeva, Marc Bolaños, Bhalaji Nagarajan, Javier Ródenas}
摘要

食物图像识别是一项复杂的计算机视觉任务,主要因其包含大量细粒度的食物类别。细粒度识别任务的核心在于学习细微的判别性特征,以区分外观极为相似的类别。本文提出一种新方法,通过多子集学习(Multi-Subsets Learning)提升对难以区分类别的分类性能。我们首先利用预训练网络,结合聚类技术将食物类别划分为多个子集;随后,将这些子集嵌入到一个多头模型结构中。该结构包含三个显著部分:第一,采用多个共享模块学习数据的通用表征;第二,引入多个专用模块,专注于处理那些难以区分的特定子集;第三,通过全连接层以端到端的方式整合各子集的神经元输出,并对不同子集进行加权融合。我们在三个公开的食物识别数据集上,基于两种最新的先进视觉Transformer模型对所提方法进行了验证。实验结果表明,该方法在学习易混淆类别方面表现更优,并在三个数据集上均超越了现有最先进水平。