CanonPose: 야외 환경에서 자기 지도 단일 시점 3D 인간 자세 추정

단일 이미지에서 인간 자세를 추정하는 것은 정확하게 해결하기 위해서는 대량의 라벨된 훈련 데이터가 필요한 컴퓨터 비전 분야의 어려운 문제입니다. 불행히도, 많은 인간 활동(예: 야외 스포츠)에 대한 이러한 훈련 데이터는 존재하지 않거나 전통적인 모션 캡처 시스템을 사용하여 획득하기 어렵거나 거의 불가능합니다. 우리는 라벨이 없는 다중 시점 데이터로부터 단일 이미지 3D 자세 추정기를 학습하는 자기 감독 방식을 제안합니다. 이를 위해, 우리는 관찰된 2D 자세를 기저 3D 자세와 카메라 회전으로 분리하기 위해 다중 시점 일관성 제약 조건을 활용합니다. 대부분의 기존 방법과 달리, 우리는 교정된 카메라를 요구하지 않으므로 이동하는 카메라로부터 학습할 수 있습니다. 그러나 정적 카메라 설정의 경우, 우리는 여러 시점에 걸쳐 일정한 상대적인 카메라 회전을 프레임워크에 포함시키기 위한 선택적 확장을 제시합니다. 성공의 핵심은 여러 시점과 훈련 샘플 간 정보를 혼합하는 새로운 편향되지 않은 재구성 목표입니다. 제안된 접근 방식은 두 개의 벤치마크 데이터셋(Human3.6M 및 MPII-INF-3DHP)과 실제 환경에서 촬영된 SkiPose 데이터셋에서 평가되었습니다.