细粒度图像分类中的通道交互网络

细粒度图像分类因其类别间差异细微而具有挑战性。我们认为，充分利用通道之间的丰富关系有助于捕捉这些细微差异，因为不同通道对应不同的语义信息。本文提出一种通道交互网络（Channel Interaction Network, CIN），该网络同时建模图像内部及图像之间的通道级交互关系。针对单张图像，我们设计了自通道交互（Self-Channel Interaction, SCI）模块，用于挖掘图像内部通道间的相关性，使模型能够从相关通道中学习互补特征，从而生成更具判别力的细粒度特征表示。此外，针对图像对，我们引入对比通道交互（Contrastive Channel Interaction, CCI）模块，结合度量学习框架建模跨样本的通道交互，使CIN能够有效区分图像间的细微视觉差异。所提模型可实现端到端的高效训练与推理，无需多阶段训练与测试流程。在三个公开可用的基准数据集上开展的大量实验表明，所提出方法在性能上持续优于当前最优方法，如DFL-CNN（Wang, Morariu, and Davis, 2018）和NTS（Yang et al., 2018）。