약한 감독(Temporal Action Localization)를 위한 적응형 상호 감독

약한 감독(Temporal Action Localization) 기반의 시계열 행동 탐지 작업은 단순히 영상 수준의 행동 카테고리 레이블만을 이용하여 트림되지 않은 영상 내에서 행동을 탐지하는 것을 목표로 한다. 기존의 대부분의 방법들은 행동 활성화 시퀀스(Class Activation Sequence, CAS)의 불완전성 문제를 간과하여 의미 없는 탐지 결과를 초래하는 경향이 있다. 본 연구에서는 이러한 문제를 해결하기 위해 두 가지 브랜치를 갖춘 적응형 상호 감독 프레임워크(Adaptive Mutual Supervision, AMS)를 제안한다. 기본 브랜치는 CAS를 활용하여 가장 구분력 있는 행동 영역을 탐지하고, 보조 브랜치는 새로운 적응형 샘플러를 통해 구분력이 낮은 행동 영역을 탐지한다. 적응형 샘플러는 기본 브랜치로부터 생성된 CAS와 부정적 상관관계를 갖는 샘플링 가중치 시퀀스를 동적으로 업데이트함으로써, 보조 브랜치가 기본 브랜치에 의해 과소평가된 행동 영역을 탐지하도록 유도한다. 두 브랜치 간의 상호 강화를 촉진하기 위해 상호 위치 감독을 구축하였다. 각 브랜치는 다른 브랜치로부터 생성된 위치 사전 레이블(pseudo-labels)을 탐지 감독으로 활용한다. 이 두 브랜치를 다수의 반복 과정에서 번갈아 최적화함으로써 행동 영역을 점진적으로 완성할 수 있다. THUMOS14 및 ActivityNet1.2 데이터셋에서 실시한 광범위한 실험 결과, 제안한 AMS 방법이 최신 기술 대비 유의미하게 뛰어난 성능을 보였다.