초록
비디오 기반 행동 분할의 주요 패러다임은 두 단계로 구성됩니다. 첫째, 각 프레임에 대해 Dense Trajectories 또는 Convolutional Neural Network(CNN)를 사용하여 국소적으로 시공간 정보를 인코딩하는 저수준 특징을 계산합니다. 둘째, 이러한 특징을 고수준 시간적 관계를 포착하는 분류기, 예를 들어 Recurrent Neural Network(RNN)에 입력합니다. 이 방법이 종종 효과적이긴 하지만, 두 개의 별도 모델을 지정해야 하며 각각의 복잡성이 따르므로, 더 미묘한 장거리 시공간 관계를 포착하는 것을 방해할 수 있습니다. 우리는 Temporal Convolutional Network(TCN)으로 입증된 통합 접근법을 제안합니다. 이 모델은 계층적으로 저수준, 중간 수준, 고수준 시간 척도에서 관계를 포착합니다. 우리의 모델은 세 가지 공개 행동 분할 데이터셋에서 비디오나 센서 데이터를 사용하여 우수하거나 경쟁력 있는 성능을 달성하며, RNN을 학습하는 데 필요한 시간의 일부만으로 학습될 수 있습니다.