類似性ピラミッド上のグラフ推論ネットワークを用いたファッション検索

顧客とオンラインショッピングストアの服画像のマッチングは、Eコマースにおいて豊富な応用が期待されています。既存のアルゴリズムでは、画像を全体的な特徴ベクトルとして符号化し、その全体表現を使用して検索を行っていました。しかし、この全体表現の中で服に関する差別的な局所情報が埋もれてしまい、最適でない性能となることがありました。この問題を解決するために、我々は類似度ピラミッド上で新しいグラフ推論ネットワーク（GRNet）を提案します。GRNetは、クエリとギャラリーの服の間の類似度を、複数スケールでの全体表現と局所表現の両方を使用して学習します。類似度ピラミッドは、ノードが異なるスケールでの服部品間の類似度を表し、最終的なマッチングスコアはエッジに沿ったメッセージ伝播によって得られます。GRNetでは、グラフ推論はグラフ畳み込みネットワークを訓練することで解かれ、重要な服部品を整列させることで服検索の精度向上を目指します。将来の研究を促進するため、我々は新たなベンチマークFindFashionを導入しました。このベンチマークには、バウンディングボックス、視点、遮蔽物（occlusions）、クロッピングなどの豊富な注釈が含まれています。広範な実験により、GRNetが2つの挑戦的なベンチマークで新しい最先端の結果を得ることが示されました。例えばDeepFashionにおいては、トップ1精度が26%（4%絶対改善）、トップ20精度が64%（10%絶対改善）、トップ50精度が75%（10%絶対改善）となりました。競合他社との比較でも大幅な優位性を示しています。FindFashionにおいても、GRNetはすべての実証設定で顕著な改善を達成しています。