초록
우리는 단일 RGB 이미지에서 3D 인간 자세와 신체 형태를 동시에 추정하기 위한 새로운 엔드투엔드 프레임워크인 DenseRaC을 제안한다. 본 연구의 이단계적 프레임워크는 신체 픽셀과 표면 간의 대응 맵(즉, IUV 맵)을 대표적 표현으로 활용한 후, 파라미터화된 인간 자세 및 형태 추정을 수행한다. 구체적으로, 추정된 IUV 맵을 입력으로 하여, 3D 신체 재구성 손실을 최적화하는 딥 신경망을 설계하고, 입력 이미지와 렌더링된 출력 간의 차이를 최소화하기 위해 렌더링-비교( render-and-compare) 기법을 도입한다. 이 기법은 밀도 높은 신체 랜드마크, 신체 부위 마스크, 그리고 적대적 사전 정보(adversarial priors)를 포함한다. 학습 성능을 향상시키기 위해, 웹 크롤링을 통해 확보한 모션 캡처(Mocap) 시퀀스, 3D 스캔 데이터 및 애니메이션을 활용하여 대규모 합성 데이터셋(MOCA)을 구축하였다. 생성된 데이터셋은 다양한 카메라 시점, 인간 동작, 신체 형태를 포괄하며, 완전한 지표(true labels)와 쌍을 이루고 있다. 본 모델은 하이브리드 데이터셋에서 3D 인간 신체를 동시에 표현하는 능력을 학습함으로써, 페어링되지 않은 학습 데이터 문제를 완화한다. 실험 결과, 다양한 인간 관련 작업에 대한 공개 벤치마크에서 기존 최고 수준의 기법들을 상회하는 우수한 성능을 달성함을 입증하였다.