포즈 문법 학습을 통한 3D 포즈 추정을 위한 인간 신체 구성을 인코딩

본 논문에서는 3D 인간 자세 추정 문제를 해결하기 위해 자세 문법을 제안합니다. 제안된 모델은 2D 자세를 직접 입력으로 받아 일반화된 2D-3D 매핑 함수를 학습합니다. 본 모델은 효율적으로 자세 정렬 특징을 포착하는 기반 네트워크와 이를 상위에 배치하여 인간 신체 구성을 관련한 지식(즉, 운동학, 대칭성, 운동 조절)을 명시적으로 통합하는 양방향 순환 신경망(BRNN)의 계층 구조로 구성됩니다. 따라서 제안된 모델은 인간 자세에 대한 고차원적 제약을 강제합니다. 학습 과정에서 우리는 가상 카메라 뷰에서 훈련 샘플을 확장하기 위한 자세 샘플 시뮬레이터를 개발하였으며, 이는 모델의 일반화 능력을 더욱 향상시킵니다. 우리는 공개 3D 인간 자세 벤치마크에서 본 방법론을 검증하고, 서로 다른 뷰 간의 일반화 능력을 확인하기 위해 크로스-뷰 설정에서 작동하는 새로운 평가 프로토콜을 제안합니다. 경험적으로 관찰한 결과, 대부분의 최신 방법들이 이러한 설정 하에서 어려움을 겪는 반면, 우리의 방법론은 이러한 도전 과제를 잘 처리할 수 있었습니다.