야외 환경에서 3D 옷을 입힌 인간 재구성

3D 옷 입힌 인간 재구성 분야에서 많은 진전이 이루어졌음에도 불구하고, 대부분의 기존 방법들은 다양한 자세와 외모를 가진 야외 이미지(in-the-wild images)로부터 견고한 결과를 생성하는 데 실패하고 있습니다. 이는 주로 훈련 데이터셋과 야외 데이터셋 사이의 큰 도메인 간극(domain gap) 때문입니다. 훈련 데이터셋은 일반적으로 합성 데이터셋으로, GT 3D 스캔에서 렌더링된 이미지를 포함합니다. 그러나 이러한 데이터셋은 실제 야외 데이터셋에 비해 단순한 인간 자세와 덜 자연스러운 이미지 외모를 가지고 있어, 이를 야외 이미지에 일반화시키는 것이 매우 어려워집니다. 이러한 문제를 해결하기 위해 본 연구에서는 처음으로 야외 이미지에 대한 견고성을 다루는 3D 옷 입힌 인간 재구성 프레임워크인 ClothWild를 제안합니다. 첫째, 도메인 간극에 대한 견고성을 위해 우리는 야외 데이터셋의 2D 감독 목표로 훈련 가능한 약간 지도된(weakly supervised) 파이프라인을 제안합니다. 둘째, 약한 감독의 모호성을 줄이기 위해 DensePose 기반 손실 함수(loss function)를 설계하였습니다. 여러 공개된 야외 데이터셋에 대한 광범위한 경험적 테스트 결과, 제안된 ClothWild가 최신 방법들보다 훨씬 정확하고 견고한 결과를 생성한다는 것을 보여주었습니다. 코드는 다음 링크에서 확인할 수 있습니다: https://github.com/hygenie1228/ClothWild_RELEASE.