시간 인셉션을 이용한 복잡한 행동 인식

본 논문은 비디오에서 인간 활동을 인식하는 데 있어 시간적 측면에 초점을 맞춥니다. 이는 오랫동안 과소평가되어온 중요한 시각적 힌트입니다. 우리는 전통적인 활동의 정의를 재검토하고 이를 복합 동작(Complex Action)으로 제한합니다. 복합 동작은 특정 목적을 위해 수행되는 여러 단일 동작들의 집합으로, 약한 시간 패턴을 가지고 있습니다.관련 연구들은 고정된 커널 크기를 사용하는 시공간 3D 합성곱을 활용하지만, 이는 복합 동작의 다양한 시간 범위를 포착하기에는 너무 경직되어 있으며, 장기적인 시간 모델링에는 너무 짧습니다. 반면에, 우리는 다중 스케일 시간 합성곱을 사용하여 3D 합성곱의 복잡성을 줄였습니다. 그 결과로 Timeception 합성곱 계층이 생성되었으며, 이는 최고의 관련 연구보다 8배 더 긴 분 단위의 시간 패턴을 추론할 수 있습니다.결과적으로, Timeception은 Charades, Breakfast Actions, 그리고 MultiTHUMOS 데이터셋에서 인간 활동 인식에 뛰어난 정확도를 달성하였습니다. 또한, Timeception이 장기적인 시간 의존성을 학습하며 복합 동작의 다양한 시간 범위를 용인함을 보여주었습니다.