DMC-Net: 빠른 압축된 비디오 동작 인식을 위한 차별화된 운동 신호 생성

동작은 비디오 이해에 유용하다는 것이 입증되었습니다. 일반적으로 동작은 광학 흐름(optical flow)으로 표현됩니다. 그러나 비디오 프레임에서 흐름을 계산하는 것은 매우 시간이 소요되는 작업입니다. 최근 연구에서는 압축된 비디오에서 쉽게 얻을 수 있는 모션 벡터와 잔차를 직접 활용하여 비용 없이 동작을 표현하고 있습니다. 이 방법은 흐름 계산을 피할 수 있지만, 모션 벡터가 노이즈가 많고 해상도가 크게 줄어들어, 더 구별력 있는 동작 표현이 되지 않는다는 단점이 있습니다.이러한 문제를 해결하기 위해, 우리는 노이즈를 줄이고 미세한 동작 세부 정보를 포착하는 경량 생성기 네트워크를 제안합니다. 이를 통해 더 구별력 있는 동작 신호(Discriminative Motion Cue, DMC) 표현을 달성할 수 있습니다. 광학 흐름은 더 정확한 동작 표현 방식이므로, 우리는 DMC 생성기를 재구성 손실(reconstruction loss)과 생성적 적대 손실(generative adversarial loss)을 사용하여 흐름을 근사하도록 학습시키며, 이는 하류의 행동 분류 작업과 함께 이루어집니다.세 가지 행동 인식 벤치마크(HMDB-51, UCF-101, Kinetics의 일부 집합)에서 수행된 광범위한 평가들은 우리의 방법론의 효과성을 확인해주었습니다. 생성기와 분류기로 구성된 전체 시스템은 DMC-Net이라는 이름으로 명명되었으며, 이 시스템은 광학 흐름을 사용하는 것에 가까운 높은 정확도를 달성하면서 추론 시 광학 흐름을 사용하는 것보다 두 자릿수 배로 빠르게 작동합니다.