UntrimmedNets를 이용한 약간의 지도를 받은 행동 인식 및 탐지

현재의 행동 인식 방법은 모델 훈련을 위해 잘라낸 비디오에 크게 의존하고 있습니다. 그러나 대규모로 잘라낸 비디오 데이터셋을 확보하는 것은 비용이 많이 들고 시간이 오래 걸립니다. 본 논문에서는 시간 주석이 필요하지 않은 원시 비디오에서 직접 행동 인식 모델을 학습할 수 있는 새로운 약한 감독 아키텍처인 UntrimmedNet을 제시합니다. 우리의 UntrimmedNet은 행동 모델을 학습하는 분류 모듈과 행동 인스턴스의 시간 지속성을 추론하는 선택 모듈이라는 두 가지 중요한 구성 요소를 결합하여 설계되었습니다. 이 두 모듈은 순방향 네트워크로 구현되며, 따라서 UntrimmedNet은 끝에서 끝까지 훈련 가능한 아키텍처입니다. 우리는 THUMOS14와 ActivityNet의 원시 비디오 데이터셋에서 학습된 모델을 이용하여 약한 감독 하에서의 행동 인식(Weakly Supervised Recognition, WSR)과 검출(Weakly Supervised Detection, WSD)을 수행하였습니다. 우리 UntrimmedNet이 단지 약한 감독만 사용하였음에도 불구하고, 이 방법은 이 두 데이터셋에서 강한 감독 접근법과 유사하거나 우수한 성능을 달성하였습니다.