SwapNet: 단일 뷰 이미지 내 의류 전송

우리는 사람의 몸체 자세, 형태, 의류에 관계없이 의류를 이미지 간에 전이할 수 있는 SwapNet이라는 프레임워크를 제안한다. 의류 전이는 (i) 의류 특징을 몸체 자세 및 형태로부터 분리하고, (ii) 새로운 몸체에 실감 나는 의류 질감을 합성하는 것을 요구하는 도전적인 과제이다. 우리는 이러한 하위 문제들을 해결하기 위해 두 가지 작업에 특화된 하위 네트워크를 갖춘 신경망 아키텍처를 제안한다. 서로 다른 몸체에 같은 의류가 착용된 이미지 쌍을 확보하는 것은 어렵기 때문에, 우리는 단일 이미지로부터 데이터 증강을 통해 훈련 쌍을 생성하는 새로운 약한 감독 방식을 제안한다. 우리는 3D 재구성 문제를 해결하지 않고도 제약 없는 이미지에서 의류 전이를 완전히 자동으로 수행할 수 있는 최초의 방법을 제시한다. 다양한 전이 결과를 제시하며, 기존의 이미지-이미지 및 유사성 기반 파이프라인 대비 우리의 우수성을 강조한다.