특권 지식 증류를 이용한 온라인 행동 감지

동영상에서의 온라인 행동 감지(Online Action Detection, OAD)는 이전 및 현재 비디오 프레임만을 얻을 수 있는 실시간 예측 과제를 해결하기 위해 프레임별 라벨링 작업으로 제안되었습니다. 본 논문에서는 향후 프레임이 학습 단계에서만 관찰 가능한 특성을 활용하여 새로운 형태의 특권 정보(privileged information) 기반 온라인 행동 감지 학습 프레임워크를 제시합니다. 지식 증류(Knowledge Distillation) 기법을 사용하여 오프라인 교사 모델로부터 온라인 학생 모델로 특권 정보를 전달합니다. 우리는 이 설정이 네트워크 구조보다는 입력 데이터에 주로 차이가 있는 점 때문에 기존의 지식 증류와 다르다는 점을 강조합니다. 이를 위해 (i) 커리큘럼 학습 절차를 일정하게 조절하고 (ii) 학생 모델에 보조 노드(auxiliary nodes)를 삽입하는 특권 지식 증류(Privileged Knowledge Distillation, PKD) 방법을 제안합니다. 이러한 접근 방식은 정보 격차를 줄이고 학습 성능을 향상시키기 위한 것입니다. 다른 미래 프레임을 명시적으로 예측하는 OAD 방법들과 비교할 때, 우리의 접근 방식은 불필요하면서도 일관성 없는 시각적 콘텐츠의 예측을 피하며, 두 가지 인기 있는 OAD 벤치마크인 TVSeries와 THUMOS14에서 최고 수준의 정확도를 달성하였습니다.