깊게 설정된 조건부 잠재 표현을 이용한 행동 인식

최근 몇 년간 다중 라벨, 다중 클래스 비디오 동작 인식이 크게 주목을 받고 있습니다. 시간적으로 연결된 원자적 동작들을 추론하는 것은 지능 종에게는 일상적인 일이지만, 표준 인공 신경망(ANN)은 여전히 이러한 동작들을 분류하는 데 어려움을 겪고 있습니다. 실제 세계에서 원자적 동작들은 종종 시간적으로 연결되어 더 복잡한 합성 동작을 형성합니다. 문제는 배경에서 다른 독립적인 합성 또는 원자적 동작들이 발생하는 상황에서 다양한 지속 시간의 합성 동작을 인식하는 것입니다.관계형 네트워크의 성공을 바탕으로, 우리는 객체와 동작의 의미적 개념에 대해 추론할 수 있는 방법들을 제안합니다. 우리는 경험적으로 ANNs가 사전 학습(pretraining), 관계적 귀납 편향(relational inductive biases), 순서 없는 집합 기반 잠재 표현(unordered set-based latent representations)로부터 혜택을 받는 방법을 보여줍니다. 본 논문에서는 상태 표현과 시각 표현을 활용하여 이벤트와 동작에 대한 추론을 수행하는 두 스트림 관계형 네트워크인 깊은 집합 조건부 I3D (SCI3D)를 제안합니다. 이 방법은 비디오 내의 시간적으로 연결된 모든 동작들에 대해 추론하도록 학습됩니다.제안된 방법은 CATER 데이터셋에서 I3D-NL 베이스라인 대비 원자적 동작 인식에서 약 1.49% mAP(median Average Precision) 개선, 합성 동작 인식에서는 17.57% mAP 개선을 달성하였습니다.