HuManiFlow: SO(3) 다양체에서 조상 조건부 정규화 흐름을 이용한 인간 자세 및 형태 분포 추정

단일 카메라를 이용한 3D 인간 자세 및 형태 추정은 주어진 피사체의 2D 이미지를 설명할 수 있는 여러 가지 3D 해가 존재하기 때문에 불완전한 문제입니다. 최근 연구에서는 이미지에 조건부로 가능한 3D 자세 및 형태 매개변수에 대한 확률 분포를 예측하는 방법을 제안하고 있습니다. 우리는 이러한 접근법들이 세 가지 핵심 특성 사이에서 상호 교환 관계를 보임을 입증하였습니다: (i) 정확도 - 예측된 분포 하에서 실제 3D 해의 가능성, (ii) 샘플-입력 일관성 - 예측된 분포에서 추출된 3D 샘플이 가시적인 2D 이미지 증거와 얼마나 잘 일치하는지, 그리고 (iii) 샘플 다양성 - 예측된 분포가 모델링하는 가능한 3D 해의 범위. 우리의 방법인 HuManiFlow는 동시에 정확하고, 일관적이며, 다양한 분포를 예측합니다. 우리는 인간 운동학 트리를 사용하여 전체 몸통 자세를 각 부위별 자세 분포로 인자분해합니다. 이 과정은 조상 조건부(ancestor-conditioned) 방식으로 자기회귀적으로 수행됩니다. 각 부위별 자세 분포는 SO(3)의 다양체 구조를 고려하는 정규화 흐름(normalising flows)을 사용하여 구현됩니다. SO(3)는 각 부위별 자세의 리 군(Lie group)입니다. 우리는 불완전하지만 일반적인 3D 점 추정 손실이 샘플 다양성을 감소시키는 것을 보여주고, 오직 확률적 훈련 손실만을 사용하였습니다. 코드는 다음 링크에서 확인할 수 있습니다: https://github.com/akashsengupta1997/HuManiFlow.