TACNet: Transition-Aware Context Network for Spatio-Temporal Action Detection TACNet: 시공간 행동 검출을 위한 전이 인식 컨텍스트 네트워크

현재 최신의 시공간 행동 검출 방법들은 뛰어난 성과를 거두었지만, 시간 범위 검출에 대해서는 여전히 만족스럽지 못한 결과를 보이고 있습니다. 주된 이유는 실제 행동과 유사한 애매한 상태들이 존재하여, 잘 훈련된 네트워크더라도 이를 목표 행동으로 인식할 수 있기 때문입니다. 본 논문에서는 이러한 애매한 샘플들을 "전이 상태"로 정의하고, 전이 상태를 구분하기 위한 전이 인식 컨텍스트 네트워크(TACNet)를 제안합니다. 제안된 TACNet은 두 가지 주요 구성 요소, 즉 시간적 컨텍스트 검출기와 전이 인식 분류기로 구성됩니다. 시간적 컨텍스트 검출기는 순환 네트워크를 구축하여 일정한 시간 복잡도로 장기적인 컨텍스트 정보를 추출할 수 있습니다. 전이 인식 분류기는 행동과 전이 상태를 동시에 분류함으로써 전이 상태를 더욱 구분할 수 있습니다. 따라서 제안된 TACNet은 시공간 행동 검출의 성능을 크게 향상시킬 수 있습니다. 우리는 UCF101-24 및 J-HMDB 데이터셋에서 제안된 TACNet을 광범위하게 평가하였습니다. 실험 결과는 TACNet이 J-HMDB에서 경쟁력 있는 성능을 보이는 한편, 프레임-mAP와 비디오-mAP 측면에서 모두 미리 자르지 않은 UCF101-24에서 기존 최신 방법들을 크게 능가한다는 것을 입증하였습니다.