3D 다중 객체: 모호한 이미지 데이터에 적합한 3D 인간 모델 집합 맞춤

우리는 단일 및 부분적으로 가려진 시점에서 인간의 밀도 높은 3D 재구성을 얻는 문제를 고려합니다. 이러한 경우, 시각적 증거가 일반적으로 유일한 3D 재구성을 식별하기에 충분하지 않으므로, 입력 데이터와 호환되는 여러 개의 타당한 재구성을 복원하는 것을 목표로 합니다. 우리는 적절한 3D 모델(예: 인간을 위한 SMPL)을 통해 가능한 신체 형태와 자세를 매개변수화함으로써 불확실성이 더 효과적으로 모델링될 수 있다고 제안합니다. 우리는 최적의 M 손실(best-of-M loss)을 사용하여 다중 가설 신경망 회귀기를 학습하는 방법을 제안하며, 이때 각 M 가설은 생성 모델을 통해 타당한 인간 자세의 다양체(manifold) 위에 존재하도록 제약됩니다. 실험 결과, 우리의 방법이 표준 벤치마크에서 불확실한 자세 복원에서 대안적인 접근 방식보다 우수하며, 이러한 벤치마크의 중복 가림(occlusion) 버전에서도 성능이 뛰어남을 보였습니다.