구조화된 세그먼트 네트워크를 이용한 시간적 행동 검출

비편집된 비디오에서 행동을 감지는 중요한 과제이지만 어려운 문제입니다. 본 논문에서는 구조화된 시점 피라미드를 통해 각 행동 인스턴스의 시간적 구조를 모델링하는 새로운 프레임워크인 구조화된 세그먼트 네트워크(SSN, Structured Segment Network)를 제시합니다. 이 피라미드 위에 우리는 두 개의 분류기로 구성된 분해된 판별 모델을 도입하여, 하나는 행동을 분류하고 다른 하나는 완전성을 결정합니다. 이를 통해 프레임워크는 배경이나 불완전한 제안과 긍정적인 제안을 효과적으로 구분할 수 있어, 정확한 인식과 위치 추정이 가능하게 됩니다. 이러한 구성 요소들은 통합되어 단일 네트워크로 구성되며, 엔드투엔드 방식으로 효율적으로 학습될 수 있습니다. 또한, 간단하면서도 효과적인 시간적 행동 제안 방식인 시간적 액션 그룹핑(TAG, Temporal Actionness Grouping)을 설계하여 높은 품질의 행동 제안을 생성합니다. THUMOS14와 ActivityNet라는 두 가지 어려운 벤치마크에서 우리의 방법은 기존 최신 연구 방법들을 크게 능가하며, 다양한 시간적 구조를 가진 행동 처리에서 우수한 정확성과 강력한 적응력을 보여주었습니다.