시간 구간 네트워크: 깊은 행동 인식을 위한 좋은 관행에 대한 접근

깊은 합성곱 네트워크는 정지 이미지의 시각 인식에서 큰 성공을 거두었습니다. 그러나 비디오에서의 행동 인식에 있어서는 전통적인 방법들보다 우위가 명확하지 않습니다. 본 논문은 비디오에서 효과적인 ConvNet(합성곱 신경망) 아키텍처 설계 원칙을 발견하고, 제한된 훈련 샘플로 이러한 모델을 학습하는 방법을 연구합니다.우리의 첫 번째 기여는 장기 시간 구조 모델링 아이디어를 바탕으로 한 새로운 비디오 기반 행동 인식 프레임워크인 시간 세그먼트 네트워크(TSN, Temporal Segment Network)입니다. 이 프레임워크는 희소 시간 샘플링 전략과 비디오 수준의 감독을 결합하여 전체 행동 비디오를 사용한 효율적이고 효과적인 학습을 가능하게 합니다.다른 기여점은 TSN의 도움으로 비디오 데이터에서 ConvNet을 학습할 때 일련의 좋은 관행에 대한 연구입니다. 우리의 접근 방식은 HMDB51($69.4\%$) 및 UCF101($94.2\%$) 데이터셋에서 최신 성능을 달성하였습니다. 또한, 학습된 ConvNet 모델들을 시각화하여 시간 세그먼트 네트워크와 제안된 좋은 관행들의 효과성을 정성적으로 입증하였습니다.