11일 전

스타일 기반 글로벌 아웃피처 플로우를 통한 가상 체험

Sen He, Yi-Zhe Song, Tao Xiang
스타일 기반 글로벌 아웃피처 플로우를 통한 가상 체험
초록

이미지 기반 가상 체험 시스템은 가게 내 착용된 사람 이미지에 상의나 하의와 같은 의류를 자연스럽게 부착하는 것을 목표로 한다. 이를 달성하기 위해 핵심적인 단계로 의류 왜곡(garment warping)이 존재하며, 이는 타겟 의류를 사람 이미지 내 해당 신체 부위와 공간적으로 정렬하는 과정이다. 기존 방법들은 일반적으로 국소적 외관 흐름 추정 모델을 사용한다. 그러나 이러한 접근 방식은 어려운 자세나 신체 부분의 가림 현상, 사람 이미지와 의류 이미지 간의 큰 정렬 오차(도 Fig.~\ref{fig:fig1} 참조)에 취약한 본질적 한계를 지닌다. 이 문제를 극복하기 위해 본 연구에서는 새로운 글로벌 외관 흐름 추정 모델을 제안한다. 본 논문에서는 처음으로 StyleGAN 기반 아키텍처를 외관 흐름 추정에 도입하여, 전체 이미지의 맥락을 캡처할 수 있는 글로벌 스타일 벡터를 활용함으로써 위에서 언급한 도전 과제에 효과적으로 대응할 수 있도록 하였다. 또한, StyleGAN 기반 흐름 생성기가 국소적 의류 변형에 더 집중할 수 있도록 유도하기 위해, 국소적 맥락 정보를 추가하는 흐름 정제 모듈을 도입하였다. 인기 있는 가상 체험 기준 데이터셋에서의 실험 결과, 제안하는 방법은 새로운 최고 성능(SOTA)을 달성하였다. 특히, 참조 이미지가 전신 이미지로 구성되어 의류 이미지와 큰 정렬 오차가 발생하는 ‘실제 환경(‘in-the-wild’)’ 상황에서 특히 효과적임을 확인할 수 있었다(도 Fig.~\ref{fig:fig1} 상단 참조). 코드는 다음 링크에서 공개되어 있다: \url{https://github.com/SenHe/Flow-Style-VTON}.

스타일 기반 글로벌 아웃피처 플로우를 통한 가상 체험 | 최신 연구 논문 | HyperAI초신경