공간과 시간에서 3D CNN을 사용한 인간 자세 추정

본 논문은 인간이 쉽게 처리할 수 있는 작업인 다양한 각도에서 인간의 3차원 자세를 인식하는 데 있어 컨볼루션 신경망의 능력을 탐구합니다. 그러나 본 연구에서는 단일 시각 시스템(monocular vision system)을 사용하는 것에 제한됩니다. 이를 위해 RGB 비디오에 컨볼루션 신경망 접근법을 적용하고 이를 3차원 컨볼루션으로 확장합니다. 이는 비디오의 시간 차원을 컨볼루션 공간의 3번째 차원으로 인코딩하여, 3차원 좌표 공간에서 직접 인간 몸체 관절 위치를 회귀(regression)하는 방식으로 수행됩니다. 본 연구는 이러한 네트워크가 선택된 Human3.6M 데이터셋에서 최고 수준의 성능을 달성할 수 있음을 보여주며, 컨볼루션 연산에서 추가적인 차원을 통해 시간적 데이터를 성공적으로 표현할 가능성을 입증합니다.