2D 컬렉션을 이용한 텍스트 안내 3D 인간 생성

3D 인간 모델링은 게임, 영화, 애니메이션에서 상호작용을 활성화하는 데 널리 사용되고 있습니다. 이러한 캐릭터의 맞춤화는 창의성과 확장성을 위해 중요하며, 이는 제어 가능성의 중요성을 강조합니다. 본 연구에서는 패션 설명에 의해 안내되는 3D 인간 생성(Text-guided 3D Human Generation, \texttt{T3H})을 소개합니다. 이 작업에는 두 가지 목표가 있습니다: 1) 3D 인간이 명확하게 렌더링되어야 하며, 2) 주어진 텍스트로 의상이 제어되어야 합니다. 이러한 \texttt{T3H} 작업을 해결하기 위해 우리는 조합적 크로스모달 인간(Compositional Cross-modal Human, CCH)을 제안합니다. CCH는 크로스모달 어텐션을 사용하여 조합적 인간 렌더링과 추출된 패션 의미론을 융합합니다. 각 인간 신체 부위는 관련 텍스트 가이드를 시각적 패턴으로 인식합니다. 우리는 인간 사전 지식과 의미론적 구분력을 통합하여 3D 기하 변환과 세부 일치성을 향상시키고, 데이터 효율성을 위해 2D 컬렉션에서 학습할 수 있도록 합니다. 다양한 패션 속성을 포함하는 DeepFashion 및 SHHQ 데이터셋에서 평가를 수행하였습니다. 광범위한 실험 결과는 CCH가 높은 효율성으로 \texttt{T3H} 작업에서 우수한 성능을 달성함을 입증하고 있습니다.