시간적 활동 탐지를 위한 약한 지도 자가지도 사전 학습

시간적 활동 탐지(Temporal Activity Detection)는 활동 분류(즉, 활동 인식)에서와 달리 프레임 단위로 활동 클래스를 예측하는 것을 목표로 한다. 탐지 작업을 위해 필요한 프레임 단위 레이블링이 비용이 매우 높기 때문에, 탐지 데이터셋의 규모는 제한되어 있다. 따라서 기존의 시간적 활동 탐지 연구는 주로 대규모 분류 데이터셋(예: Kinetics-400)에서 사전 훈련된 분류 모델을 미세 조정하는 방식을 활용한다. 그러나 사전 훈련된 모델과 최종 탐지 작업 사이의 임무 간 불일치로 인해, 이러한 모델은 탐지 작업에 최적화되어 있지 않다. 본 연구에서는 탐지 작업을 위한 새로운 '약한 지도(self-supervised) 사전 훈련' 방법을 제안한다. 우리는 약한 레이블(분류 레이블)을 활용하여, 프레임 단위 가짜 레이블(frame-level pseudo labels), 다중 활동 프레임(multi-action frames), 활동 세그먼트(action segments)를 생성함으로써, 자가 지도 사전 훈련 사전 과제(pretext task)를 도입한다. 간단히 말해, 추가적인 레이블 없이 대규모 분류 데이터에서 최종 탐지 작업과 유사한 탐지 과제를 설계한다. 제안하는 약한 지도 자가 지도 탐지 사전 훈련을 통해 사전 훈련된 모델이 Charades 및 MultiTHUMOS와 같은 여러 도전적인 활동 탐지 벤치마크에서 기존 방법보다 우수한 성능을 보임을 입증한다. 또한 광범위한 실험 분석을 통해 제안된 모델을 활동 탐지에 활용할 때의 적절한 시점과 방법에 대한 통찰을 제공한다. 코드는 https://github.com/kkahatapitiya/SSDet 에서 확인할 수 있다.