야외 환경에서의 손 추적을 위한 전방 전파, 역방향 회귀 및 자세 연관

우리는 제약 없는 영상에서 손을 실시간으로 동시에 탐지하고 추적할 수 있는 새로운 컨볼루션 아키텍처인 HandLer를 제안한다. HandLer는 Cascade-RCNN 기반으로, 추가적으로 세 가지 새로운 단계를 포함한다. 첫 번째 단계는 전방 전파(Forward Propagation)로, 이전 프레임에서 탐지된 손과 그들의 추정된 운동을 기반으로 프레임 t-1의 특징을 프레임 t로 전파한다. 두 번째 단계는 탐지 및 후방 회귀(Detection and Backward Regression)로, 전방 전파의 출력을 활용하여 프레임 t에서 손을 탐지하고, 해당 손이 프레임 t-1에서 차지하는 상대적인 오프셋을 추정한다. 세 번째 단계에서는 기존의 인간 자세 추정 기법을 활용하여 분절된 손 트랙릿(Tracklet)을 연결한다. 우리는 전방 전파, 후방 회귀, 탐지 단계를 Cascade-RCNN의 다른 구성 요소들과 함께 엔드투엔드(end-to-end)로 학습한다. HandLer를 학습하고 평가하기 위해, 우리는 손의 위치와 궤적을 레이블링한 최초의 도전적 대규모 데이터셋인 YouTube-Hand를 공개한다. 이 데이터셋 및 기타 벤치마크에서의 실험 결과, HandLer는 기존 최첨단 추적 알고리즘보다 큰 성능 차이를 보였다.