VirtualPose: 가상 데이터로부터 일반화 가능한 3D 인간 자세 모델 학습

단일 카메라 3D 자세 추정이 공개 데이터셋에서 매우 정확한 결과를 달성한 것처럼 보이지만, 이들의 일반화 능력은 대부분 간과되고 있습니다. 본 연구에서는 기존 방법들을 체계적으로 평가하여, 다른 카메라, 인간 자세 및 외관에 대해 테스트할 때 크게 증가하는 오류를 발견하였습니다. 이 문제를 해결하기 위해, 우리는 VirtualPose라는 두 단계 학습 프레임워크를 소개합니다. 이 프레임워크는 이 작업에 특유한 숨겨진 "무료 점심"을 활용하는데, 즉 무제한의 자세와 카메라를 생성하여 모델 훈련 비용 없이 이를 사용하는 것입니다. 이를 위해 첫 번째 단계에서는 이미지를 추상적 기하학적 표현(AGR)로 변환하고, 두 번째 단계에서는 이를 3D 자세로 매핑합니다. 일반화 문제는 두 가지 측면에서 해결됩니다: (1) 첫 번째 단계는 다양한 2D 데이터셋으로 훈련되어 제한된 외관에 과적합될 위험을 줄입니다; (2) 두 번째 단계는 대규모 가상 카메라와 자세에서 합성된 다양한 AGR로 훈련됩니다. 이 방법은 벤치마크에서 어떤 짝짓기 이미지와 3D 자세도 사용하지 않고도 최신(SOTA) 방법들을 능가하며, 실용적인 응용 분야로의 길을 열어줍니다. 코드는 https://github.com/wkom/VirtualPose에서 확인할 수 있습니다.