단안표현체 재구성: 체형 주도 주의를 통한 접근

사람들이 어떻게 보이는지, 상호작용하거나 작업을 수행하는지를 이해하기 위해서는 RGB 이미지에서 사람의 3D 몸체, 얼굴, 그리고 손을 빠르고 정확하게 함께 캡처할 필요가 있습니다. 기존의 대부분 방법은 몸체의 일부만 집중합니다. 최근에 몇몇 접근법에서는 이미지를 사용하여 얼굴과 손을 포함한 완전한 표현력 있는 3D 인간을 재구성하려고 시도했습니다. 이러한 방법들은 최적화 기반으로, 따라서 느리고 국소 최적해에 빠질 위험이 있으며 2D 키포인트를 입력으로 요구합니다. 우리는 이러한 제한점을 해결하기 위해 ExPose (EXpressive POse and Shape rEgression)를 소개합니다. ExPose는 RGB 이미지에서 직접 SMPL-X 형식으로 몸체, 얼굴, 그리고 손을 회귀합니다. 이 문제는 몸체의 차원이 매우 높고 표현력 있는 학습 데이터가 부족하기 때문에 어려운 문제입니다. 또한, 손과 얼굴은 몸체보다 훨씬 작아서 이미지 픽셀 중 매우 적은 부분만 차지합니다. 이로 인해 신경망을 위한 이미지 축소 과정에서 손과 얼굴 추정이 어렵습니다.우리는 세 가지 주요 기여를 합니다. 첫째, 야외 이미지에서 SMPL-X 피팅 데이터셋을 수집하여 학습 데이터 부족 문제를 해결하였습니다. 둘째, 우리는 몸체 추정이 얼굴과 손을 비교적 잘 위치시킨다는 것을 관찰하였습니다. 원본 이미지의 얼굴과 손 영역에 대한 몸체 주도적인 주의 메커니즘(body-driven attention)을 도입하여 고해상도 크롭(higher-resolution crops)을 추출하고 이를 전용 정교화 모듈(dedicated refinement modules)에 입력하였습니다. 셋째, 이러한 모듈들은 기존의 얼굴 및 손 전용 데이터셋에서 파트별 지식(part-specific knowledge)을 활용합니다. ExPose는 기존 최적화 방법보다 훨씬 낮은 계산 비용으로 더 정확하게 표현력 있는 3D 인간을 추정합니다. 우리의 데이터, 모델, 그리고 코드는 연구 목적으로 https://expose.is.tue.mpg.de 에서 이용 가능합니다.