전체적인 차림새: 노드 기반 그래프 신경망을 활용한 의상 호환성 학습

패션 시장의 급속한 발전에 따라 고객들의 패션 추천 요구가 증가하고 있습니다. 본 논문에서는 "주어진 패션 아이템들과 어떻게 매치하여 조화로운 옷차림을 구성할 것인가"라는 질문에 답함으로써 패션 추천의 실용적인 문제를 연구하고자 합니다. 이 문제의 핵심은 옷차림의 조화성(Compatibility)을 추정하는 것입니다. 기존 연구들은 두 개의 아이템 간의 조화성이나 옷차림을 순서(sequence)로 표현하는 데 초점을 맞추었지만, 옷차림 내부의 복잡한 관계를 충분히 활용하지 못하였습니다. 이를 보완하기 위해, 우리는 옷차림을 그래프로 표현하는 방법을 제안합니다. 특히, 각 노드(node)가 카테고리를 나타내고, 각 엣지(edge)가 두 카테고리 간의 상호작용을 나타내는 패션 그래프(Fashion Graph)를 구축하였습니다. 따라서, 각 옷차림은 아이템들을 해당 카테고리 노드에 배치하여 부분그래프(subgraph)로 표현될 수 있습니다.이러한 그래프에서 옷차림의 조화성을 유추하기 위해, 우리는 노드별 그래프 신경망(Node-wise Graph Neural Networks, NGNN)을 제안합니다. NGNN은 노드 상호작용을 더 잘 모델링하고 더 나은 노드 표현을 학습할 수 있는 방법입니다. NGNN에서 각 엣지상의 노드 상호작용은 연결된 두 노드와 관련된 매개변수에 의해 결정됩니다. 또한, 주목 메커니즘(attention mechanism)이 사용되어 학습된 노드 표현으로부터 옷차림의 조화성 점수를 계산합니다. NGNN은 시각적 또는 텍스트 모달리티로부터만 아니라 여러 모달리티로부터도 옷차림의 조화성을 모델링하는데 사용될 수 있습니다.우리는 다음과 같은 두 가지 작업에 대한 실험을 수행하였습니다: (1) 공백 채우기(Fill-in-the-blank): 기존 옷차림 구성 요소와 매치되는 아이템을 제안하는 작업; (2) 조화성 예측(Compatibility prediction): 주어진 옷차림들의 조화성 점수를 예측하는 작업. 실험 결과는 제안된 방법이 다른 방법들보다 우수함을 입증하였습니다.