유사도 피라미드를 활용한 그래프 추론 네트워크를 통한 패션 검색

고객과 온라인 쇼핑몰의 의류 이미지를 매칭하는 것은 전자상거래에서 다양한 응용 분야를 가지고 있습니다. 기존 알고리즘은 이미지를 전역 특징 벡터로 인코딩하여 전역 표현을 사용해 검색을 수행하였습니다. 그러나 이 전역 표현에서는 의류의 차별화된 국부 정보가 묻혀버리는 문제가 발생하여 성능이 최적화되지 않았습니다. 이러한 문제를 해결하기 위해, 우리는 유사성 피라미드(Similarity Pyramid) 상에서 쿼리와 갤러리 의류 사이의 유사성을 여러 스케일에서 전역 및 국부 표현을 활용하여 학습하는 새로운 그래프 추론 네트워크(Graph Reasoning Network, GRNet)를 제안합니다. 유사성 피라미드는 유사성 그래프로 표현되며, 노드는 서로 다른 스케일에서 의류 구성 요소 간의 유사성을 나타내고, 최종 매칭 점수는 엣지를 따라 메시지 패싱으로 얻어집니다. GRNet에서는 그래프 추론이 그래프 컨볼루셔널 네트워크(graph convolutional network)를 훈련시키는 방식으로 해결되어 주요 의류 구성 요소를 정렬하여 의류 검색 성능을 개선할 수 있습니다. 미래 연구를 지원하기 위해, 우리는 바운딩 박스, 뷰, 가림 현상(occlusions), 그리고 크롭(cropping)에 대한 풍부한 주석을 포함한 새로운 벤치마크 FindFashion을 소개합니다. 광범위한 실험 결과, GRNet은 두 가지 어려운 벤치마크에서 새로운 최고 수준의 결과를 달성하였으며, 예를 들어 DeepFashion에서 상위 1위, 상위 20위, 상위 50위 정확도를 각각 26%, 64%, 75% (즉, 각각 4%, 10%, 10% 절대적인 개선)로 끌어올렸습니다. 이는 경쟁 알고리즘들보다 크게 우월한 성능을 보여주었습니다. FindFashion에서도 GRNet은 모든 경험적 설정에서 상당한 개선 효과를 보였습니다.