CloTH-VTON+: 이미지 기반 하이브리드 가상 착용을 위한 의류 3차원 재구성

딥러닝 기반의 이미지 기반 가상 시착(VTON) 시스템은 연구계와 산업계 모두에서 주목받고 있다. 이러한 시스템은 사람과 시착 의류 이미지의 자연스러운 융합 및 가려진 영역의 합성 측면에서 뛰어난 성능을 보이지만, 복잡한 자세를 가진 사람에 대한 결과는 기하학적 왜곡 및 질감 보존 능력의 한계로 인해 종종 만족스럽지 못하다. 이러한 문제를 해결하기 위해, 본 연구에서는 3D 모델의 형태 왜곡 능력과 이미지 기반 딥러닝 기법을 원활하게 통합할 수 있는 CloTH-VTON+를 제안한다. 구체적으로, 기준 인체 모델을 이용하여 3D 의류 모델의 자동 재구성 및 왜곡을 수행하는 완전 자동화 파이프라인을 개발하였다. 먼저, 시착 의류가 단순한 형태의 기준 인체 모델 내 타겟 의류 영역과 일치시켜 매칭하고, 이후 3D 의류 모델을 재구성한다. 재구성된 3D 의류 모델은 의류의 질감을 유지하면서 매우 자연스러운 자세 및 형태 전이를 가능하게 한다. 추가로, 의류 정밀화 네트워크를 통해 인간 자세 추정 및 3D 왜곡 과정에서 발생할 수 있는 오차로 인한 정렬 오류를 보정한다. 왜곡된 의류 이미지는 조건부 생성 네트워크를 활용하여 가려진 영역을 보정하고, 모든 요소를 자연스럽게 융합한다. 기존 벤치마크 데이터셋에서 수행한 실험 결과, CloTH-VTON+는 최신 기술 수준의 VTON 시스템 및 기존 CloTH-VTON 대비 더 높은 품질의 결과를 생성함을 입증하였다. 또한 CloTH-VTON+는 다중 자세 유도 및 비디오 기반 VTON과 같은 확장형 응용 분야에 쉽게 통합될 수 있다.