Neural Body Fitting: 딥러닝과 모델 기반 인간 자세 및 형태 추정의 통합

3차원(3D) 신체 자세 및 형태를 직접 예측하는 것은 심도 있는 학습 모델에서도 여전히 어려운 과제입니다. 2차원(2D) 이미지 공간에서 예측 공간으로의 매핑은 어렵습니다: 관점의 모호성이 손실 함수를 노이즈로 만들고, 훈련 데이터가 부족하기 때문입니다. 본 논문에서는 새로운 접근 방식인 Neural Body Fitting (NBF)을 제안합니다. 이 방법은 CNN 내에 통계적 신체 모델을 통합하여, 신뢰할 수 있는 하향식 의미론적 신체 부분 분할과 견고한 상향식 신체 모델 제약 조건을 활용합니다. NBF는 완전히 미분 가능하며 2D와 3D 주석을 사용하여 훈련될 수 있습니다. 상세한 실험을 통해 우리의 모델 구성 요소가 성능에 미치는 영향, 특히 부분 분할을 명시적인 중간 표현으로 사용하는 것의 효과를 분석하고, 표준 벤치마크에서 경쟁력 있는 결과를 보여주는 2D 이미지로부터 3D 인간 자세를 추정하기 위한 견고하고 효율적으로 훈련 가능한 프레임워크를 제시합니다. 코드는 http://github.com/mohomran/neural_body_fitting 에서 제공될 예정입니다.