모델 피팅 루프를 통한 3D 인간 자세 및 형태 재구성 학습

모델 기반 인간 자세 추정은 현재 두 가지 다른 패러다임을 통해 접근되고 있습니다. 최적화 기반 방법은 반복적인 방식으로 2D 관측치에 매개변수화된 신체 모델을 맞춤화하여 정확한 이미지-모델 일치를 제공하지만, 종종 느리고 초기화에 민감합니다. 반면, 회귀 기반 방법은 픽셀에서 직접 모델 매개변수를 추정하는 깊은 네트워크를 사용하여 합리적이지만 픽셀 단위로 정확하지 않은 결과를 제공하며, 대량의 감독이 필요합니다. 본 연구에서는 어느 접근법이 더 나은지를 조사하는 대신, 두 패러다임이 강력한 협력을 이룰 수 있다는 점에 주목하였습니다. 네트워크에서 직접적으로 합리적인 추정값을 얻어 이를 초기값으로 사용하면, 반복 최적화 과정이 더 빠르고 정확해질 수 있습니다. 마찬가지로, 반복 최적화를 통해 얻은 픽셀 단위로 정확한 맞춤화는 네트워크에 대한 강력한 감독 역할을 할 수 있습니다. 이것이 우리가 제안하는 접근법 SPIN (SMPL oPtimization IN the loop)의 핵심입니다. 깊은 네트워크는 훈련 루프 내에서 2D 관절에 신체 모델을 맞춤화하는 반복 최적화 과정을 초기화하고, 이후 이 맞춤화된 추정값은 네트워크를 감독하는 데 사용됩니다. 우리의 접근법은 본질적으로 자기 개선형이며, 더 나은 네트워크 추정값이 더 나은 최적화 솔루션으로 이끌 수 있으며, 더 정확한 최적화 맞춤화가 네트워크에 대해 더 나은 감독을 제공할 수 있습니다. 우리는 3D 지상 진실 데이터가 부족하거나 존재하지 않는 다양한 환경에서 우리 접근법의 효과성을 입증하였으며, 현행 가장 앞선 모델 기반 자세 추정 접근법들보다 크게 우수한 성능을 보였습니다. 비디오, 결과 및 코드가 포함된 프로젝트 웹사이트는 https://seas.upenn.edu/~nkolot/projects/spin 에서 확인할 수 있습니다.