초록
우리는 이미지에 3D 인간 형태를 적합화하기 위한 새로운 알고리즘을 제안한다. 반복적인 기울기 기반 최적화 기법의 정밀도와 세부 조정 능력과 깊은 신경망의 강건성을 결합하여, 각 반복 단계에서 매개변수 업데이트 규칙을 예측하는 신경망을 활용하는 기울기 하강 알고리즘을 제안한다. 이 매개변수별 및 상태 인식형 업데이트는 매우 적은 단계 내에 우수한 해로 수렴하도록 최적화기를 안내하며, 일반적으로 몇 단계 내에 수렴한다. 학습 과정에서 본 방법은 SMPL로 매개변수화된 인간 자세의 MoCap 데이터만을 요구한다. 이 데이터를 바탕으로 네트워크는 최적화가 훨씬 더 효율적으로 수행될 수 있도록 유효한 자세와 형태의 부분공간을 학습한다. 본 방법은 얻기 어려운 이미지-3D 대응 관계를 필요로 하지 않는다. 테스트 시점에서는 추가적인 사전 지식이나 정규화 항목 없이 2D 관절 재투영 오차만을 최적화하면 된다. 실험적으로 이 알고리즘이 빠르며(평균 120ms 수렴), 초기값 및 데이터셋에 대해 강건하며, 도전적인 3DPW 실외 기준(testbed)을 포함한 공개 평가 데이터셋에서 최신 기술 수준의 성능을 달성함을 보였다(기존 SMPLify 대비 45% 향상). 또한 이미지-3D 대응 관계를 사용하는 기존 접근법과도 유사한 성능을 달성한다.