2달 전

확률적 단일 카메라 3D 인간 자세 추정을 위한 정규화 흐름

Wehrbein, Tom ; Rudolph, Marco ; Rosenhahn, Bodo ; Wandt, Bastian
확률적 단일 카메라 3D 인간 자세 추정을 위한 정규화 흐름
초록

단일 카메라 이미지에서 3D 인간 자세 추정은 깊이의 모호성과 가림 현상으로 인해 매우 어려운 문제입니다. 그럼에도 불구하고, 대부분의 기존 연구들은 이러한 모호성을 무시하고 단일 해법만을 추정합니다. 반면에, 우리는 가능한 3D 자세의 전체 사후 확률 분포를 나타내는 다양한 가설 집합을 생성합니다. 이를 위해, 우리는 결정론적인 3D-2D 매핑을 활용하여 모호한 역 2D-3D 문제를 해결하는 정규화 흐름(normalizing flow) 기반 방법을 제안합니다. 또한, 불확실한 검출과 가림 현상을 효과적으로 모델링하기 위해 2D 검출기의 불확실성 정보를 조건으로 통합합니다. 성공의 다른 핵심 요소로는 학습된 3D 자세 사전 확률 분포와 최고 M 손실(best-of-M loss)의 일반화가 있습니다. 우리는 Human3.6M 및 MPI-INF-3DHP 두 벤치마크 데이터셋에서 접근 방식을 평가하였으며, 대부분의 지표에서 모든 유사한 방법들을 능가하는 결과를 얻었습니다. 본 연구의 구현 코드는 GitHub에서 제공됩니다.