ClothFlow: 옷을 입은 사람 생성을 위한 기반 흐름 모델

우리는 포즈 유도(person image generation) 및 가상 체험(virtual try-on)을 위한 옷 입은 사람 이미지를 생성하기 위해 외형 흐름(appearance-flow) 기반의 생성 모델인 ClothFlow을 제안한다. 원본 옷과 목표 옷 영역 사이의 밀도 높은 흐름을 추정함으로써, ClothFlow은 기하학적 변화를 효과적으로 모델링하고 자연스럽게 외형을 전이하여 새로운 이미지를 합성할 수 있다(그림 1 참조). 이는 세 단계 프레임워크를 통해 달성된다. 1) 목표 포즈를 조건으로 하여 먼저 사람의 세밀한 레이아웃(sematic layout)을 추정하여 생성 과정에 더 풍부한 안내를 제공한다. 2) 두 개의 특징 피라미드 네트워크를 기반으로 구성된 연속적 흐름 추정 네트워크는 대응하는 옷 영역 간의 외형 일치를 정확히 추정한다. 생성된 밀도 높은 흐름은 원본 이미지를 왜곡에 유연하게 대응하도록 왜곡(warp)한다. 3) 마지막으로, 생성 네트워크는 왜곡된 옷 영역을 입력으로 받아 목표 시점의 이미지를 렌더링한다. 우리는 포즈 유도 사람 이미지 생성을 위한 DeepFashion 데이터셋과 가상 체험 작업을 위한 VITON 데이터셋에서 광범위한 실험을 수행하였으며, 강력한 정성적 및 정량적 결과를 통해 제안한 방법의 효과성을 입증하였다.