WOAD: Untrimmed 비디오에서 약한 감독 하에 온라인 동작 검출

비편집된 비디오에서의 온라인 동작 검출은 동작이 발생하는 순간을 식별하는 것을 목표로 하며, 이는 실시간 응용 프로그램에 매우 중요합니다. 기존 방법들은 훈련을 위해 시간적 동작 경계의 번거로운 주석에 의존하여, 온라인 동작 검출 시스템의 확장성을 저해하였습니다. 우리는 비디오 클래스 라벨만으로 훈련할 수 있는 약한 감독 프레임워크인 WOAD를 제안합니다. WOAD는 두 개의 공동 훈련 모듈, 즉 시간적 제안 생성기 (Temporal Proposal Generator, TPG)와 온라인 동작 인식기 (Online Action Recognizer, OAR)를 포함하고 있습니다. 비디오 클래스 라벨의 지도 아래 TPG는 오프라인으로 작동하며, OAR를 위한 가상 프레임 단위 라벨을 정확하게 추출하는 것을 목표로 합니다. TPG로부터 얻은 감독 신호를 통해 OAR는 온라인 방식으로 동작 검출을 학습합니다. THUMOS'14, ActivityNet1.2 및 ActivityNet1.3 데이터셋에서 수행된 실험 결과는 우리의 약한 감독 방법이 약한 감독 베이스라인보다 크게 우수하며, 이전의 강한 감독 방법과 유사한 성능을 보임을 확인하였습니다. 또한, WOAD는 강한 감독이 가능할 때 이를 활용할 수 있는 유연성을 가지고 있습니다. 강한 감독을 받았을 때, 우리의 방법은 온라인 프레임 단위 동작 인식 및 온라인 동작 시작 검출 작업에서 최신 연구 결과를 달성하였습니다.