VisualSparta: 大規模なテキストから画像の検索における驚くほど単純なウェイテッド・バッグオブワーズ手法

テキストから画像への検索は、クロスモーダル情報検索における重要なタスクであり、大量の未ラベルデータセットからテキストクエリに応じて関連する画像を検索することを指します。本論文では、精度と効率性において大幅な改善を示す新しいモデルであるVisualSparta（ビジュアル-テキスト スパーストランスフォーマー マッチング）を提案します。VisualSpartaは、MSCOCOおよびFlickr30Kにおいて以前の最先端のスケーラブル手法を上回る性能を発揮します。また、実験結果から、100万枚の画像インデックスに対して、CPUを使用した場合、CPUベクトル検索に比べて約391倍の高速化、GPUアクセラレーション付きベクトル検索に比べて約5.4倍の高速化が達成できることも示しています。さらに、VisualSpartaは逆順方向インデックスとして効率的に実装できるため、より大きなデータセットではこの速度優位性がさらに高まると実験で確認されています。当該研究者らの知る限り、VisualSpartaは大規模データセットでのリアルタイム検索を達成し、精度面でも以前の最先端手法に比して大幅な向上を示す初めてのトランスフォーマーベースのテキストから画像への検索モデルです。