AdaptPose: 학습 가능한 모션 생성을 통한 3D 인간 자세 추정의 크로스 데이터셋 적응

본 논문은 3D 인간 자세 추정 모델의 크로스 데이터셋 일반화 문제를 다룹니다. 사전 학습된 3D 자세 추정기를 새로운 데이터셋에서 테스트할 때 성능이 크게 저하되는 현상이 발생합니다. 이전 방법들은 주로 학습 데이터의 다양성을 개선함으로써 이 문제를 해결해 왔습니다. 그러나 우리는 다양성만으로는 충분하지 않으며, 학습 데이터의 특성이 새로운 데이터셋의 특성(예: 카메라 시점, 위치, 인간 행동, 체형)에 적응되어야 함을 주장합니다. 이를 위해 본 연구에서는 AdaptPose라는 엔드투엔드 프레임워크를 제안합니다. AdaptPose는 소스 데이터셋에서 합성 3D 인간 운동을 생성하고 이를 사용하여 3D 자세 추정기를 미세 조정(fine-tune)하는 기능을 수행합니다. AdaptPose는 적대적(adversarial) 학습 방식을 따릅니다. 소스 3D 자세로부터 생성기는 일련의 3D 자세와 카메라 방향을 생성하며, 이 방향은 생성된 자세를 새로운 시점으로 투영(projection)하기 위해 사용됩니다. 어떠한 3D 라벨이나 카메라 정보도 없이 AdaptPose는 타겟 데이터셋에서 합성 3D 자세를 생성하는 방법을 성공적으로 배우며, 오직 2D 자세만으로 학습되었습니다. Human3.6M, MPI-INF-3DHP, 3DPW, 그리고 Ski-Pose 데이터셋에서 수행한 실험 결과, 본 방법은 크로스 데이터셋 평가에서 이전 연구보다 14% 우수하며, 부분적인 3D 주석(partial 3D annotations)을 사용하는 이전 반지도학습(semi-supervised learning) 방법들보다도 16% 더 우수한 성능을 보였습니다.