18 天前

高阶交互用于弱监督细粒度视觉分类

{Shaozi Li, Zhun Zhong, Zhimin Luo, Junzhen Wang, Nanyu Li}
摘要

细粒度视觉分类(Fine-Grained Visual Categorization, FGVC)是一项具有挑战性的任务,其主要难点在于类别内部差异较大而类别之间差异较小。近年来,研究者们尝试在不依赖专家标注部件信息的前提下,通过弱监督方式解决该问题。其中,基于双线性池化(bilinear pooling)的方法成为计算深层特征间交互作用的主要范式之一,并展现出显著的有效性。然而,这类方法通常仅关注单一层级内部的特征相关性,而忽略了多层特征之间存在的高阶交互作用。本文认为,充分挖掘多层特征之间的高阶交互信息,有助于学习更具区分性的细粒度特征表示。为此,我们提出一种高阶交互(High-Order-Interaction, HOI)方法用于FGVC。在HOI框架中,我们引入了一种高效的跨层三线性池化机制,用于计算三个不同网络层之间的三阶交互特征。随后,将多种不同组合的三阶交互结果进行融合,生成最终的特征表示。HOI方法能够生成更具判别力的特征表达,并可无缝集成当前两种主流技术——注意力机制与三元组损失(triplet loss),从而实现性能上的叠加提升。在四个主流FGVC数据集上的大量实验表明,所提方法显著优于基于双线性池化的现有方法,并达到了当前最优(state-of-the-art)的分类性能,充分验证了其有效性与先进性。