クロスモーダル部分空間学習を用いた細かいスケッチベースの画像検索

スケッチベースの画像検索（Sketch-based Image Retrieval: SBIR）は、スケッチと写真間の固有のドメインギャップにより困難を伴います。写真がピクセル単位で完璧に描写されるのに対し、スケッチは現実世界のアイコニックな表現であり、非常に抽象的な特徴を持っています。したがって、低レベルの視覚的ヒントを使用してスケッチと写真を直接マッチングすることは不十分であり、2つのモダリティ間で意味論的に横断する共通の低レベルサブスペースを確立することは容易ではありません。既存のSBIR研究の大半は、このクロスモーダル問題を直接扱っていません。これにより、我々はクロスモーダル検索手法のSBIRにおける効果性を探求することに自然に動機付けられました。これらの手法は画像-テキストマッチングにおいて成功裏に適用されてきました。本論文では、最新のクロスモーダルサブスペース学習手法を導入し、比較し、2つの最近公開された細かい粒度のSBIRデータセット上でベンチマークを行いました。実験結果を詳細に検討することで、サブスペース学習がスケッチ-写真ドメインギャップを効果的にモデル化できることを示しました。さらに、将来の研究を推進するためのいくつかの重要な洞察を得ています。以上が翻訳となります。ご確認ください。