17일 전

3D 마법 거울: 인과적 관점에서 단일 이미지로부터 의류 재구성하기

Zhedong Zheng, Jiayin Zhu, Wei Ji, Yi Yang, Tat-Seng Chua
3D 마법 거울: 인과적 관점에서 단일 이미지로부터 의류 재구성하기
초록

이 연구는 단일 이미지에서 인간의 의류 형상과 질감을 복원하는 자기지도형 3D 의류 재구성 방법을 탐구하는 것을 목표로 한다. 기존 방법들과 비교하여 세 가지 주요 과제가 여전히 남아 있음을 관찰하였다. (1) 의류의 3D 참값 메시는 레이블링의 어려움과 시간적 비용으로 인해 일반적으로 접근이 불가능하다. (2) 기존의 템플릿 기반 방법은 비강체 물체(예: 핸드백, 드레스 등 패션 이미지에서 흔한 물체)의 모델링에 한계가 있다. (3) 카메라 위치에 따른 형상의 모호성은 모델 학습을 방해하며, 이는 원거리에서 촬영한 큰 형상과 근거리에서 촬영한 작은 형상 사이의 딜레마로 나타난다.위의 한계를 극복하기 위해, 우리는 3D 레이블 없이 2D 이미지에서 비강체 물체를 적응적으로 3D로 재구성할 수 있는 인과 인식(self-supervised) 학습 방법을 제안한다. 특히, 카메라 위치, 형상, 질감, 조명이라는 네 가지 은닉 변수 간의 본질적 모호성을 해결하기 위해 설명 가능한 구조적 인과 지도(Explainable Structural Causal Map, SCM)를 도입하여 모델을 구축하였다. 제안된 모델 구조는 인과 지도의 정신을 따르며, 카메라 추정과 형상 예측 과정에서 사전 템플릿을 명시적으로 고려한다. 최적화 과정에서는 인과 개입 도구인 두 개의 기대-최대화 반복 루프를 알고리즘 내부에 깊이 통합하여 (1) 네 개의 인코더를 분리하고 (2) 사전 템플릿의 활용을 촉진한다.두 가지 2D 패션 벤치마크(ATR 및 Market-HQ)에서 실시한 광범위한 실험 결과, 제안된 방법이 높은 품질의 3D 재구성을 가능하게 함을 확인하였다. 또한, 더 세밀한 종 분류 데이터셋인 CUB에 대한 실험을 통해 제안 방법의 확장성도 검증하였다. 코드는 https://github.com/layumi/3D-Magic-Mirror 에서 공개되어 있다.

3D 마법 거울: 인과적 관점에서 단일 이미지로부터 의류 재구성하기 | 최신 연구 논문 | HyperAI초신경