주변 컨볼루션을 활용한 주의 기반 신경망을 이용한 비디오로부터의 향상된 3차원 인간 자세 추정

주의 메커니즘은 공간 모델을 학습하는 데 있어 향상된 암묵적 시간 일관성을 갖춘 순차적 예측 프레임워크를 제공한다. 본 연구에서는 기존의 네트워크 구조와 다양한 형태의 제약 조건이 주의 메커니즘 프레임워크에 어떻게 통합될 수 있는지를 2차원에서 3차원으로의 체계적인 설계 방식을 제시한다. 이는 자세 추정 작업에서 장거리 의존성 학습을 위한 기반이 된다. 본 논문의 기여는 엔드 투 엔드 자세 추정을 위한 주의 기반 모델의 체계적인 설계 및 훈련 접근법을 제시하는 것으로, 임의의 비디오 시퀀스를 입력으로 하여 유연성과 확장성을 갖춘 모델을 구현하는 데에 있다. 이를 위해 다중 스케일 확장 컨볼루션 구조를 활용하여 시간적 수용 영역을 적응적으로 조정한다. 또한 제안하는 아키텍처는 인과 모델로 쉽게 변환 가능하여 실시간 성능을 달성할 수 있다. 기존의 오프더쇼elf 2D 자세 추정 시스템(예: 모션 캡처 라이브러리)도 즉시 적합하게 통합할 수 있다. 제안한 방법은 Human3.6M 데이터셋에서 평균 관절 위치 오차를 33.4mm로 감소시켜 기존의 방법들을 능가하는 최신 기술 수준의 성능을 달성하였다.