SVMAC: 단일 이미지에서 비지도 학습을 이용한 3D 인간 자세 추정에 대한 단일 뷰 다각도 일관성

2D 관절에서 3D 인간 자세를 복원하는 것은 여전히 어려운 문제이며, 특히 3D 주석, 비디오 정보 또는 다중 시점 정보 없이 수행할 때 더욱 그렇습니다. 본 논문에서는 3D 주석 없이 단일 이미지에서 3D 인간 자세를 추정하기 위한 무감독 GAN 기반 모델을 제시합니다. 이 모델은 여러 가중치 공유 생성기로 구성되어 있습니다. 또한, 본 연구에서는 단일 시점-다각도 일관성(Single-View-Multi-Angle Consistency, SVMAC)을 도입하여 추정 성능을 크게 향상시키고자 합니다. 모델의 입력으로 2D 관절 위치를 사용하여, 3D 자세와 카메라를 동시에 추정합니다. 학습 과정 중에 추정된 3D 자세는 임의의 각도로 회전되며, 추정된 카메라는 회전된 3D 자세들을 다시 2D로 투영합니다. 이렇게 얻어진 2D 재투영 결과들은 가중치 공유 생성기에 입력되어 해당하는 3D 자세와 카메라를 추정하며, 이를 혼합하여 SVMAC 제약 조건을 부여하여 학습 과정을 자기 감독(self-supervise)합니다.실험 결과는 Human 3.6M 및 MPI-INF-3DHP 데이터셋에서 본 방법론이 최신 무감독 방법론들보다 우수한 성능을 보임을 입증하였습니다. 또한 MPII 및 LSP 데이터셋에서의 정성적 결과는 본 방법론이 알려지지 않은 데이터에도 잘 일반화됨을 보여줍니다.