Sparse Temporal Pooling Network을 이용한 약한 지도 하의 행동 위치 추정

우리는 컨볼루션 신경망을 사용하여 미리 자르지 않은 비디오에서 약한 지도를 통해 시간적 행동 위치 추정 알고리즘을 제안합니다. 우리의 알고리즘은 비디오 수준의 클래스 라벨로부터 학습하며, 시간적 위치 주석이 필요하지 않게 인간 행동의 시간 간격을 예측합니다. 우리는 주목 모듈을 사용하여 비디오 내에서 목표 행동과 관련된 희소한 하위 세그먼트 집합을 식별하고, 적응형 시간 풀링을 통해 이러한 하위 세그먼트를 결합하도록 네트워크를 설계했습니다. 우리의 손실 함수는 비디오 수준의 행동 분류 오류를 최소화하고 세그먼트 선택의 희소성을 강제하는 두 가지 항으로 구성됩니다. 추론 시에는 시간적 클래스 활성화와 클래스 무관한 주목을 사용하여 시간적 제안들을 추출하고 점수를 매겨, 목표 행동에 해당하는 시간 간격을 추정합니다. 제안된 알고리즘은 THUMOS14 데이터셋에서 최고 수준의 결과를 달성하였으며, 약한 지도 조건에서도 ActivityNet1.3에서 우수한 성능을 보였습니다.