단계: 비디오 동작 감지 위한 시공간 점진적 학습

본 논문에서는 비디오에서 공간-시간 행동 검출을 위한 Spatio-TEmporal Progressive (STEP) 행동 검출기---단계적인 학습 프레임워크를 제안합니다. 몇 개의 대략적인 제안 큐브에서 시작하여, 우리의 접근 방식은 몇 단계에 걸쳐 행동으로 제안들을 점진적으로 정교화합니다. 이 방법을 통해 이전 단계의 회귀 출력을 활용함으로써, 후속 단계에서 고품질의 제안(즉, 행동 움직임에 부합하는 것)을 점차적으로 얻을 수 있습니다. 각 단계에서 우리는 시간적으로 관련된 더 많은 맥락을 포함하기 위해 제안들을 적응적으로 확장합니다. 한 번에 행동 검출을 수행하는 기존 연구와 비교할 때, 우리의 단계적 학습 프레임워크는 행동 튜브 내의 공간 변위를 자연스럽게 처리할 수 있으므로, 공간-시간 모델링에 더욱 효과적인 방법을 제공합니다. 우리는 UCF101과 AVA 데이터셋에서 본 접근 방식을 광범위하게 평가하였으며, 우수한 검출 결과를 보여주었습니다. 특히, 3개의 단계적 과정과 각각 11개 및 34개의 초기 제안만 사용하여 두 데이터셋에서 mAP(median Average Precision) 75.0%와 18.6%를 달성하였습니다.