초록
단일 이미지에서 3D 인간 자세 추정은 누락된 깊이의 고유한 모호성 때문에 역 문제입니다. 이전의 여러 연구에서는 이 역 문제를 다루기 위해 여러 가설을 생성하는 방법을 제안했습니다. 그러나 이러한 연구들은 강한 감독을 필요로 하며, 실제로 얻기 어려운 2D-3D 대응 관계에 대한 정확한 지식을 요구합니다. 본 논문에서는 역 문제를 해결하고 정확한 2D-3D 대응 관계에 대한 필요성을 회피하기 위해 약한 감독을 받는 딥 제너레이티브 네트워크를 제안합니다. 이를 위해 우리의 네트워크는 미지의 다중 모드 타겟 후방 분포를 근사하기 위한 제안 분포를 모델링하도록 설계되었습니다. 우리는 제안 분포와 타겟 분포 사이의 KL 발산(KL divergence)을 최소화하여 이 근사를 달성하며, 이는 약한 감독을 받는 2D 재투영 오류와 사전 손실 항으로 이어집니다. 또한, 우리는 평균 이동(mean-shift) 알고리즘을 사용하여 샘플들의 조건부 모드로 가장 확률적인 해법을 결정합니다. 우리는 Human3.6M, MPII 및 MPI-INF-3DHP 세 개의 벤치마크 데이터셋에서 우리의 방법을 평가하였습니다. 실험 결과, 우리의 접근 방식은 여러 가능한 가설들을 생성할 수 있으며, 기존의 약한 감독 접근 방식과 비교하여 최신 수준의 성능을 달성하였습니다. 우리의 소스 코드는 프로젝트 웹사이트에서 이용 가능합니다.