초록
사람과 물체 사이의 가림 현상, 특히 사람-물체 상호작용 활동에서는 이러한 현상이 실용적 응용에서 매우 흔하다. 그러나 기존의 3D 사람의 형태와 자세 추정 방법 대부분은 사람의 몸체가 완전히 촬영되거나 미세한 자기 가림만 존재하는 조건을 전제로 한다. 본 논문에서는 단일 컬러 이미지에서 물체에 의해 가려진 사람의 형태와 자세를 직접 추정하는 문제에 초점을 맞춘다. 우리의 핵심 아이디어는 물체에 의해 가려진 사람의 몸체를 부분적인 UV 매핑(UV map)으로 표현하고, 최종적으로 전체 3D 사람 형태 추정 문제를 이미지 보정(image inpainting) 문제로 변환하는 것이다. 이를 위해 잠재 특징(latent feature) 감독을 통해 엔드 투 엔드 회귀기(end-to-end regressor)를 훈련할 수 있는 새로운 이중 분기(dual-branch) 네트워크 아키텍처를 제안하며, 물체에 의해 가려진 컬러 이미지에서 사람 정보를 추출하기 위한 새로운 색채 강조도 지도(saliency map sub-net)도 포함한다. 네트워크 훈련을 위한 보조 지도를 제공하기 위해, 새로운 데이터셋인 3DOH50K를 구축하였다. 제안된 방법의 유효성을 입증하기 위해 여러 실험을 수행하였으며, 실험 결과는 기존 방법들과 비교하여 최신 기술 수준(state-of-the-art)의 성능을 달성함을 보여준다. 관련 데이터셋 및 코드는 https://www.yangangwang.com 에 공개되어 있다.