全体の着装:ノード単位のグラフニューラルネットワークに基づくコーディネート適合性学習

ファッション市場の急速な発展に伴い、顧客のファッション推薦に対する需要が高まっています。本論文では、実践的なファッション推薦の問題を、「与えられたファッションアイテムと組み合わせて調和の取れたコーディネートを形成するためにどのアイテムを選択すべきか」という問いに答えることで調査します。この問題の鍵は、コーディネートの調和性を推定することです。これまでの研究では、2つのアイテム間の調和性に焦点を当てたり、コーディネートをシーケンスとして表現したりすることで、アイテム間の複雑な関係を十分に活用できていませんでした。これを解決するため、我々はコーディネートをグラフとして表現することを提案します。具体的には、各ノードがカテゴリを表し、各エッジが2つのカテゴリ間の相互作用を表す「ファッショングラフ」(Fashion Graph)を構築しました。これにより、各アイテムを対応するカテゴリノードに配置することで、任意のコーディネートは部分グラフとして表現できます。このようなグラフからコーディネートの調和性を推論するために、我々はノード間相互作用をよりよくモデル化し、より良いノード表現を学習できる「ノード単位グラフニューラルネットワーク」(Node-wise Graph Neural Networks, NGNN)を提案します。NGNNにおいては、各エッジ上のノード相互作用が異なるものであり、これは接続された2つのノードに関連するパラメータによって決定されます。また、注意機構(attention mechanism)を利用することで、学習したノード表現からコーディネートの調和性スコアを計算します。NGNNは視覚的または文章的情報だけでなく、複数モダリティからのコーディネート調和性モデリングにも適用可能です。我々は2つのタスクで実験を行いました。(1) ブランク補完:既存のコーディネート部品とマッチするアイテムを提案する;(2) 調和性予測:与えられたコーディネートの調和性スコアを予測する。実験結果は、提案手法が他の方法に対して優れていることを示しています。