확률적 모델링을 이용한 인간 메시 복원

본 논문은 2D 증거로부터 3D 인간 재구성 문제에 초점을 맞추고 있습니다. 이 문제는 본질적으로 모호한 것이지만, 최근의 대부분 연구들은 불확실성을 모델링하는 것을 피하고 주로 단일 추정치를 출력하는 데 중점을 두고 있습니다. 반면에, 본 연구에서는 이러한 재구성의 모호성을 받아들이고 입력에서 가능한 3D 자세 분포로의 매핑 학습 문제로 재정의하였습니다. 우리의 접근 방식은 정규화 흐름(Normalizing Flows) 모델을 기반으로 하며 여러 가지 장점을 제공합니다.전통적인 응용 프로그램에서는 단일 3D 추정치가 필요한 경우, 우리의 공식화는 효율적인 모드 계산을 가능하게 합니다. 모드를 사용하면 결정론적 단일모드 회귀 모델들 사이에서 최신 수준의 성능을 달성할 수 있습니다. 동시에 각 샘플의 우도에 접근할 수 있으므로, 예측의 확률적 특성을 더 정확한 추정 도구로 활용하는 일련의 후속 작업에서 우리의 모델이 유용함을 보여주었습니다. 이러한 작업에는 여러 개의 미교정된 뷰로부터의 재구성 및 인간 모델 피팅이 포함되며, 여기서 우리의 모델은 메시 복원을 위한 강력한 이미지 기반 사전 정보(Prior) 역할을 합니다.우리의 결과는 확률적 모델링의 중요성을 검증하며, 다양한 환경에서 최신 수준의 성능을 나타내고 있음을 시사합니다. 코드와 모델은 다음 링크에서 확인할 수 있습니다: https://www.seas.upenn.edu/~nkolot/projects/prohmr.