Zero-Shot Composed Image Retrieval with Textual Inversion ゼロショット合成画像検索におけるテキストインバージョン

組成画像検索（Composed Image Retrieval: CIR）は、参照画像とその画像間の違いを説明する相対的なキャプションからなるクエリに基づいて、目標画像を検索することを目指しています。CIRのデータセットのラベリングに必要な高コストと労力が、既存手法の広範な利用を妨げています。これらの手法は監督学習に依存しているためです。本研究では、ラベル付きトレーニングデータセットを必要とせずにCIRに対処する新しいタスク、ゼロショットCIR（Zero-Shot CIR: ZS-CIR）を提案します。当方針は、参照画像の視覚特徴をCLIPトークン埋め込み空間内の擬似単語トークンにマッピングし、それを相対的なキャプションと統合する方法で、テキスト逆変換（textual inversion）を利用したゼロショット組成画像検索（zero-Shot composEd imAge Retrieval with textuaL invErsion: SEARLE）と名付けられています。ZS-CIRに関する研究を支援するために、複数の正解候補を持つ最初のCIRデータセットである「コンテキストにおける一般的な物体の組成画像検索」（Composed Image Retrieval on Common Objects in context: CIRCO）というオープンドメインベンチマークデータセットを導入します。実験結果は、SEARLEが主要な2つのCIRタスク用データセットであるFashionIQとCIRRおよび提案されたCIRCOにおいて、ベースラインよりも優れた性能を示すことを示しています。データセット、コード、モデルは公開されており、https://github.com/miccunifi/SEARLE からアクセスできます。