12일 전

Poly-GAN: 패션 합성용 다중 조건부 GAN

Nilesh Pandey, Andreas Savakis
Poly-GAN: 패션 합성용 다중 조건부 GAN
초록

우리는 패션 합성(Fashion Synthesis)이라는 응용 분야에 착안하여 개발한 새로운 조건부 GAN 아키텍처인 Poly-GAN을 제안한다. 패션 합성은 인간 모델의 특정 자세에 따라 옷을 자동으로 이미지에 배치하는 작업을 의미한다. Poly-GAN은 다중 입력에 대한 조건부 처리가 가능하며, 이미지 정렬(image alignment), 이미지 스티칭(image stitching), 그리고 이미지 보정(inpainting) 등 다양한 작업에 적합하다. 기존의 방법들은 일반적으로 세 가지 서로 다른 네트워크를 순차적으로 사용하는 파이프라인을 따르며, 먼저 옷을 인간의 자세에 맞게 정렬한 후, 정렬된 옷을 스티칭하고, 마지막으로 결과를 보정하는 방식이다. 반면, Poly-GAN은 이러한 세 가지 작업을 모두 수행할 수 있는 동일한 아키텍처를 처음으로 도입한 사례이다. 본 연구에서 제안하는 새로운 아키텍처는 인코더의 모든 계층에서 조건을 강제 적용하며, 인코더의 거시적 계층에서 디코더의 해당 계층으로 이어지는 스케일 연결(skip connections)을 활용한다. Poly-GAN은 임의의 자세를 가진 모델의 RGB 스켈레톤을 기반으로 옷에 대한 공간 변환을 수행할 수 있으며, 옷의 방향에 관계없이 이미지 스티칭을 수행할 수 있고, 불규칙한 구멍이 포함된 옷 마스크에 대해 이미지 보정도 가능하다. 제안된 시스템은 DeepFashion 데이터셋을 기반으로 구조적 유사도 지수(Structural Similarity Index) 및 인셉션 스코어(Inception Score) 측정 기준에서 최신 기술 수준의 정량적 성능을 달성하였다.

Poly-GAN: 패션 합성용 다중 조건부 GAN | 최신 연구 논문 | HyperAI초신경