複合画像検索におけるテキストフィードバックを用いた多粒度不確実性正則化

私たちは、テキストフィードバックを用いた合成画像検索について調査しています。ユーザーは、粗いフィードバックから細かいフィードバックへと段階的に移行しながら、興味のある対象を探します。しかし、既存の手法は後者、つまり細かい検索にのみ焦点を当てており、学習中に肯定的なペアと否定的なペアを利用しています。このペアベースのパラダイムは、特定の2点間の一対一の距離のみを考慮しており、一対多の粗い検索プロセスとは一致せず、リコール率が低下する原因となっています。このギャップを埋めるために、私たちは多粒度の不確実性を考慮することで粗い検索と細かい検索を同時にモデル化する統合学習アプローチを導入します。提案手法の基本的な考え方は、特徴空間において同一分布の変動を導入することにより、粗い検索と細かい検索をそれぞれ小さな変動と大きな変動を持つデータポイントとのマッチングとして統合することです。具体的には、私たちの手法には以下の2つのモジュールが含まれています。(1) 不確実性モデリング：特徴空間で同一分布の変動を導入することで多粒度クエリをシミュレーションします。(2) 不確実性正則化：不確実性モデリングに基づいて、変動範囲に応じてマッチング目標を適応させます。既存の手法と比較して、提案された戦略は初期段階で潜在的な候補を遠ざけることを明示的に防ぎ、それによってリコール率が向上します。FashionIQ, Fashion200k, Shoes という3つの公開データセットにおいて、提案手法は強力な基準モデルに対してそれぞれ +4.03%, +3.38%, +2.40% の Recall@50 精度向上を達成しました。