초록
우리는 자연 이미지에서 2차원(2D) 및 3차원(3D) 인간 자세 추정을 동시에 수행하는 엔드투엔드 아키텍처를 제안한다. 본 연구의 핵심은 이미지당 여러 개의 자세 제안( pose proposals )을 생성하고 평가하는 방식으로, 이를 통해 다수의 사람에 대한 2D 및 3D 자세를 동시에 예측할 수 있다는 점이다. 따라서 본 방법은 초기화를 위한 인간 위치의 근사적 추정을 필요로 하지 않는다. 제안하는 아키텍처인 LCR-Net은 다음과 같은 세 가지 주요 구성 요소로 구성된다: 1) 이미지 내 다양한 위치에서 잠재적인 자세를 제안하는 자세 제안 생성기; 2) 다양한 자세 제안을 평가하는 분류기; 3) 2D 및 3D 공간에서 자세 제안을 정밀하게 보정하는 회귀기. 세 가지 단계는 공유된 합성곱 특징 레이어를 사용하며, 공동으로 학습된다. 최종 자세 추정은 인접한 자세 가설들을 통합함으로써 도출되며, 이는 기존의 표준 비최대 억제(non-maximum suppression, NMS) 알고리즘보다 우수한 성능을 보임이 입증되었다. 제안한 방법은 통제된 환경에서의 Human3.6M 데이터셋에서 3D 자세 추정 측면에서 기존 최고 수준의 성능을 크게 상회한다. 또한 MPII 2D 자세 벤치마크의 단일 및 다중 인물 서브셋에 대해 실제 이미지에서도 유망한 성능을 나타내며, 실용적인 적용 가능성을 입증한다.