Hybrid Fully Convolutional Networks을 이용한 Actionness 추정

액션니스(Actionness)는 특정 위치에서 일반적인 행동 인스턴스를 포함할 가능성을 정량화하기 위해 도입되었습니다. 액션니스의 정확하고 효율적인 추정은 비디오 분석에서 중요한 역할을 하며, 행동 인식 및 행동 탐지와 같은 관련 작업에도 이점을 제공할 수 있습니다. 본 논문에서는 액션니스 추정을 위한 새로운 딥 아키텍처인 하이브리드 완전 컨볼루셔널 네트워크(H-FCN)를 제시합니다. H-FCN은 정적 외관 관점에서 액션니스 맵을 추정하는 외관 FCN(A-FCN)과 동적 움직임 관점에서 액션니스 맵을 추정하는 모션 FCN(M-FCN)으로 구성됩니다. 또한, H-FCN의 완전 컨볼루셔널 특성 덕분에 임의의 크기의 비디오를 효율적으로 처리할 수 있습니다. 스탠퍼드40, UCF 스포츠, JHMDB 등 어려운 데이터셋에서 실험을 수행하여 H-FCN의 액션니스 추정 효과성을 검증하였으며, 실험 결과는 우리의 방법이 기존 방법보다 우수한 성능을 달성함을 보여주었습니다. 더불어, 우리는 추정된 액션니스 맵을 행동 제안 생성 및 행동 탐지에 적용하였습니다. 우리의 액션니스 맵은 이러한 작업들의 현재 최신 성능을 크게 향상시키고 있습니다.