視覚的特徴と局所プールされたテキスト特徴を統合した細粒度画像分類および検索

画像に含まれるテキストは、高レベルの意味情報を含んでおり、画像理解をより豊かにするために活用できる。特に、テキストが存在するという事実は、画像検索、細分化分類、視覚的質問応答など、多様なコンピュータビジョンタスクに強力なガイド情報を提供する。本論文では、視覚的情報とテキスト情報を併用することで、両モダリティ間の内在的な関係を理解することを目的として、細分化分類および画像検索の問題に取り組む。提案するモデルの特徴は、PHOC（Positional Histogram of Characters）記述子を用いてテキスト単語のBag of Wordsを構築するとともに、テキストの形状構造を捉えるFisher Vector符号化を導入している点にある。このアプローチにより、タスクに適したより強力なマルチモーダル表現が得られ、実験結果から、細分化分類および画像検索という2つのタスクにおいて、最先端の性能を達成することが示された。