초록
비디오 이해를 위한 주요 접근 방식 중 많은 부분이 데이터에 목마르고 시간이 많이 소요되며, 공간-시간 진화의 핵심을 효율적으로 포착하지 못하는 문제를 가지고 있습니다. 최신 연구에 따르면 CNN 네트워크는 이미지 내에서의 정적 관계를 추론할 수 있음이 밝혀졌습니다. 이러한 동적 진화 추론 능력을 더욱 활용하기 위해, 우리는 두 가지 주요 기여점을 가진 새로운 네트워크 모듈인 DenseImage Network(DIN)을 소개합니다.1) 비디오의 중요한 공간-시간 진화를 행렬 형태로 요약한 새로운 압축 표현인 DenseImage를 제안합니다. 이 표현은 효율적인 비디오 인코딩을 위해 설계되었습니다.2) DenseImage와 시간 순서를 보존하는 CNN 네트워크를 기반으로 한 간단하면서도 강력한 학습 전략을 제안합니다. 이 전략은 다양한 필터 너비를 사용하여 여러 시간 스케일에서 시간적 진화를 포착하는 지역적 시간 상관성 제약을 포함하고 있습니다.최근 두 개의 도전적인 벤치마크에서 수행된 광범위한 실험 결과, 우리의 DenseImage Network는 시각적 변동성이 크거나 시간 스케일이 다른 경우에도 유사한 행동 간의 공통적인 공간-시간 진화를 정확히 포착할 수 있음을 입증했습니다. 또한, 우리 방법은 훨씬 적은 시간과 메모리 비용으로 동작 및 제스처 인식 분야에서 최상의 성능을 달성하며, 이는 비디오 표현 및 이해 분야에서 큰 잠재력을 지니고 있음을 나타냅니다.