2달 전

궤적 풀링된 딥 컨볼루션 설명자를 이용한 행동 인식

Wang, Limin ; Qiao, Yu ; Tang, Xiaoou
궤적 풀링된 딥 컨볼루션 설명자를 이용한 행동 인식
초록

영상에서 인간 행동 이해를 위해 시각적 특징은 매우 중요합니다. 본 논문에서는 궤도 풀링 딥 컨볼루션 설명자(Trajectory-pooled Deep-Convolutional Descriptor, TDD)라는 새로운 영상 표현을 제시합니다. 이 방법은 수작업으로 만든 특징과 딥 러닝으로 학습된 특징의 장점을 모두 갖추고 있습니다. 구체적으로, 우리는 차별적인 컨볼루션 특징 맵을 학습하기 위해 딥 아키텍처를 활용하고, 궤도 제약 풀링(trajectory-constrained pooling)을 통해 이러한 컨볼루션 특징들을 효과적인 설명자로 집계합니다. TDD의 견고성을 강화하기 위해, 우리는 공간-시간 정규화(spatiotemporal normalization)와 채널 정규화(channel normalization)라는 두 가지 정규화 방법을 설계하였습니다. 우리의 특징들의 장점은 다음과 같습니다: (i) TDD는 자동으로 학습되며, 수작업으로 만든 특징에 비해 높은 차별성(discriminative capacity)을 가지고 있습니다; (ii) TDD는 시간 차원의 고유한 특성을 고려하고, 깊게 학습된 특징들을 집계하기 위한 궤도 제약 샘플링 및 풀링 전략을 도입하였습니다. 우리는 HMDB51과 UCF101이라는 두 개의 어려운 데이터셋에서 실험을 수행하였으며, 실험 결과 TDD가 이전의 수작업으로 만든 특징들과 딥 러닝으로 학습된 특징들보다 우수한 성능을 보임을 확인하였습니다. 또한, 우리 방법은 이 데이터셋들(HMDB51 65.9%, UCF101 91.5%)에서 기존 최신 연구(state of the art)보다 더 우수한 성능을 달성하였습니다.