야생 환경에서 이미지를 이용한 3D 인간 형태 및 자세 추정을 위한 계층적 운동학 확률 분포

본 논문은 RGB 이미지에서 3차원 인간 몸체 형태와 자세를 추정하는 문제를 다룹니다. 이는 특히 주제가 가려져 있을 때, 입력에 포함된 시각적 증거와 일치하는 여러 개의 가능한 3차원 몸체가 존재하기 때문에 종종 불안정한 문제입니다. 따라서 단일 3차원 재구성을 대신하여 입력 이미지를 조건으로 하는 3차원 몸체 형태와 자세의 분포를 추정하는 것이 바람직합니다. 우리는 인간 몸체의 운동학적 트리 구조를 활용하면서 상대적인 3차원 관절 회전 행렬(즉, 몸체 자세)에 대한 계층적 매트릭스-피셔 분포와 SMPL 몸체 형태 매개변수에 대한 가우시안 분포를 추정하도록 깊은 신경망을 훈련시킵니다. 입력 이미지에 포함된 시각적 증거와 예측된 분포에서 샘플링한 결과 사이의 재투영 손실을 부과하기 위해 차별화 가능한 거부 샘플러를 구현하여 예측된 형태와 자세 분포가 시각적 증거와 일치하도록 보장합니다. 우리는 제안한 방법이 SSP-3D 및 3DPW 데이터셋에서 3차원 형태와 자세 메트릭 측면에서 최신 연구들과 경쟁력이 있으며, 이를 통해 주어진 입력 이미지를 설명할 수 있는 여러 개의 가능한 3차원 재구성을 샘플링하고 예측 불확실성을 의미 있게 정량화할 수 있는 구조화된 확률 분포를 얻을 수 있음을 보여줍니다. 코드는 https://github.com/akashsengupta1997/HierarchicalProbabilistic3DHuman 에서 제공됩니다.