다양한 제약 없는 환경에서 다중 이미지를 이용한 확률적 3D 인간 형태 및 자세 추정

본 논문은 RGB 이미지에서 3D 인간 몸체 형상과 자세 추정 문제를 다룹니다. 이 분야의 최근 연구는 주로 단일 이미지, 비디오 또는 다중 시점 이미지를 입력으로 사용하는 데 초점을 맞추었습니다. 반면에, 우리는 제약 없이 한 사람을 여러 각도에서 촬영한 이미지 그룹에서 형상과 자세를 추정하는 새로운 과제를 제안합니다. 이 과제에 대한 우리의 해결책은 그룹 내 입력 이미지를 조건으로 하여 SMPL 몸체 형상과 자세 매개변수의 분포를 예측합니다. 우리는 각 이미지에서 예측된 몸체 형상 분포를 확률적으로 결합하여 최종적인 다중 이미지 형상 예측을 얻습니다. 우리는 SSP-3D 데이터셋과 테이프로 측정한 개인들의 사설 데이터셋에서, 다중 이미지 입력 그룹에 포함된 추가적인 몸체 형상 정보가 단일 이미지 입력보다 3D 인간 형상 추정 지표를 개선함을 보여줍니다. 또한, 3D 몸체의 분포를 예측함으로써 중요한 가림 현상이 있는 도전적인 입력 이미지에서 자세 예측 불확실성을 정량화할 수 있습니다. 우리의 방법은 3DPW 데이터셋에서 의미 있는 자세 불확실성을 보여주며, 자세 추정 지표 측면에서는 최신 기술들과 경쟁력을 갖습니다.