자기 감독 학습을 이용한 모션 캡처의 학습

현재 단일 카메라를 사용한 모션 캡처의 최신 솔루션은 최적화 기반입니다. 이들은 3D 인간 모델의 매개변수를 최적화하여 그 재투영이 비디오에서의 측정값(예: 사람 분할, 광학 흐름, 키포인트 검출 등)과 일치하도록 합니다. 최적화 모델은 국소 최소값에 취약합니다. 이는 캡처 시 깨끗한 녹색 스크린 같은 배경을 사용하거나, 수동 초기화를 수행하거나, 여러 카메라를 입력 자원으로 활용해야 하는 병목 현상이 되었습니다. 본 연구에서는 단일 카메라 입력을 위한 학습 기반 모션 캡처 모델을 제안합니다. 우리의 모델은 메시와 뼈대 매개변수를 직접 최적화하는 대신, 단일 RGB 비디오가 주어졌을 때 3D 형태와 뼈대 구성 예측을 위한 신경망 가중치를 최적화합니다. 우리의 모델은 합성 데이터로부터 강력한 감독과 (a) 뼈대 키포인트, (b) 밀도 높은 3D 메시 운동, (c) 사람-배경 분할의 미분 가능한 렌더링을 통한 자기 감독의 조합으로 엔드-투-엔드 프레임워크에서 훈련됩니다. 경험적으로 우리는 우리의 모델이 지도 학습과 테스트 시간 최적화의 양쪽 세계에서 가장 좋은 점들을 결합함을 보여줍니다: 지도 학습은 수동 노력 없이 테스트 시간에 적절한 포즈와 표면 초기화를 보장하기 위해 모델 매개변수를 올바른 영역으로 초기화합니다. 미분 가능한 렌더링을 통해 역전파되는 자기 감독은 (비지도) 테스트 데이터에 대한 모델의 적응을 가능하게 하며, 사전 훈련된 고정된 모델보다 훨씬 더 정밀한 맞춤성을 제공합니다. 우리는 제안된 모델이 경험에 따라 개선되며, 이전 최적화 방법들이 실패하는 곳에서 저 오차 해법으로 수렴함을 보여줍니다.