テキストと画像の組み合わせによる画像検索 - 実証的なオデッセイ

本論文では、画像検索のタスクを研究しています。このタスクでは、入力クエリが画像とその画像に対する所望の変更を説明するテキストの組み合わせで指定されます。例えば、エッフェル塔の画像を提示し、システムに昼間ではなく夜間に撮影された視覚的に類似した画像を見つけるように依頼することができます。この課題に対処するために、対象画像とソース画像およびソーステキストとの間の類似性指標を学習します。対象画像の特徴量がソース画像とテキストの合成特徴量に近くなるようにする埋め込みと合成関数を用いています。私たちは、検索タスクのために設計されたこのような関数を使用して、画像とテキストを新しい方法で組み合わせることを提案します。実験結果から、当手法はFashion-200k、MIT-States、そしてCLEVRに基づいて作成した新しい合成データセットという3つの異なるデータセットにおいて既存のアプローチよりも優れていることを示しています。また、当手法が画像検索だけでなく入力クエリの分類にも使用できることも示しています。