BodyNet: 3D 인간 체형의 볼륨 추론

인간 형태 추정은 비디오 편집, 애니메이션 및 패션 산업에서 중요한 작업입니다. 그러나 인간의 체형, 의상 및 시점 등의 요인으로 인해 자연 이미지에서 3D 인간 몸체 형태를 예측하는 것은 매우 어려운 문제입니다. 이 문제를 해결하기 위한 기존 방법들은 일반적으로 포즈와 형태에 대한 특정 사전 정보를 사용하여 매개변수화된 몸체 모델을 맞추는 것을 목표로 합니다. 본 연구에서는 대안적인 표현을 제안하며, 단일 이미지로부터 직접 부피 형태를 추론하는 신경망인 BodyNet을 소개합니다. BodyNet은 (i) 부피 3D 손실, (ii) 다중 시점 재투영 손실, (iii) 2D 포즈, 2D 몸체 부분 분할 및 3D 포즈에 대한 중간 감독을 통해 학습 가능한 엔드-투-엔드 네트워크입니다. 실험 결과 각각의 요소가 성능 향상에 기여함을 확인할 수 있었습니다. 본 방법의 평가를 위해 SMPL 모델을 우리의 네트워크 출력에 맞추고 SURREAL 및 Unite the People 데이터셋에서 최신 접근법들을 능가하는 최첨단 결과를 보여주었습니다. 최첨단 성능을 달성한 것 외에도, 우리의 방법은 부피 형태 부분 분할도 가능하게 합니다.