17 天前
通过结合视觉特征与局部池化文本特征实现细粒度图像分类与检索
Andres Mafla, Sounak Dey, Ali Furkan Biten, Lluis Gomez, Dimosthenis Karatzas

摘要
图像中的文本包含丰富的高层语义信息,可被用于实现更深入的图像理解。特别是,文本的存在本身便提供了强有力的引导性内容,可用于解决多种计算机视觉任务,如图像检索、细粒度分类以及视觉问答等。本文通过结合文本信息与视觉线索,深入挖掘两种模态之间的内在关联,致力于解决细粒度分类与图像检索问题。所提出的模型创新之处在于:采用PHOC(字符位置直方图)描述子构建文本词袋表示,并结合Fisher向量编码以捕捉文本的形态特征。该方法为任务提供了更为强大的多模态表征能力。实验结果表明,该方法在细粒度分类与图像检索两个任务上均取得了当前最优(state-of-the-art)的性能表现。