要約
意味的に類似した画像間で高密度な対応関係を確立することは、困難な課題である。クラス内変動が大きく、背景の雑音が多いため、現在の手法では2つの一般的な問題が生じる。第一に、ソース画像の多数のピクセルが1つのターゲットピクセルに割り当てられてしまう「多数対1のマッチング」が発生する。第二に、物体領域のピクセルが背景ピクセルに誤って割り当てられてしまう「背景マッチング」が生じる。本研究では、第一の問題を解決するために、グローバル特徴マッチングを採用し、画像間の総マッチング相関を最大化することで、グローバル最適なマッチング行列を取得する。このマッチング行列に対して行の和と列の和の制約を課すことで、バランスの取れた解を導き出し、多数対1のマッチングを抑制する。第二の問題については、クラス活性化マップ（class activation maps）に階段関数（staircase function）を適用し、ピクセルの重要性を前景から背景へと4段階に再重み付けする。この全体の手順を、最大化問題を最適輸送（optimal transport）の定式化に変換し、階段関数による重みを最適輸送アルゴリズムに組み込むことで、統一的な最適輸送アルゴリズムとして統合する。提案手法は4つのベンチマークデータセットにおいて、最先端の性能を達成した。特に大規模なSPair-71kデータセットでは、相対的に26%の改善が実現された。