초록
깊은 두 스트림 아키텍처는 비디오 기반 행동 인식에서 우수한 성능을 보였습니다. 그러나 이 접근 방식에서 가장 계산량이 많은 단계는 광학 흐름(optical flow)의 계산으로, 이로 인해 실시간 처리가 어려웠습니다. 본 논문에서는 광학 흐름을 압축된 비디오에서 추가적인 계산 없이 직접 얻을 수 있는 운동 벡터(motion vector)로 대체하여 이 아키텍처를 가속화합니다. 하지만 운동 벡터는 세부 구조가 부족하며, 노이즈와 부정확한 움직임 패턴을 포함하고 있어 인식 성능이 명백히 저하됩니다. 이 문제를 완화하기 위한 우리의 핵심 통찰력은 광학 흐름과 운동 벡터가 본질적으로 상관관계가 있다는 것입니다. 광학 흐름 CNN에서 학습된 지식을 운동 벡터 CNN으로 전달하면 후자의 성능을 크게 향상시킬 수 있습니다. 구체적으로, 우리는 이를 위해 초기화 전송(initialization transfer), 감독 전송(supervision transfer), 그리고 두 방법의 조합(combo)이라는 세 가지 전략을 제안합니다. 실험 결과, 우리의 방법은 최신 연구들과 비교 가능한 인식 성능을 달성하면서, 초당 390.7 프레임(fps)을 처리할 수 있으며, 이는 원래 두 스트림 방법보다 27배 빠릅니다.