초록
최근 몇 년간 온라인 행동 감지는 점점 더 많은 연구 관심을 받고 있습니다. 현재의 연구들은 과거 의존성을 모델링하고 미래를 예측하여 비디오 세그먼트 내에서의 행동 변화를 인식하고 감지 정확도를 향상시키는 데 초점을 맞추고 있습니다. 그러나 기존 패러다임은 범주 수준 모델링을 무시하고 효율성에 충분한 주목을 하지 않았습니다. 범주를 고려할 때, 그 범주의 대표적인 프레임들은 다양한 특성을 나타냅니다. 따라서, 범주 수준 모델링은 시간적 의존성 모델링에 보완적인 지침을 제공할 수 있습니다. 본 논문에서는 먼저 프레임과 예시 프레임 사이의 유사성을 측정하고, 그 다음 유사성 가중치를 기반으로 예시 특성을 집계하는 효과적인 예시 상담 메커니즘을 개발합니다. 이 메커니즘은 유사성 측정과 특성 집계 모두 제한된 계산만 필요하기 때문에 효율적입니다. 예시 상담 메커니즘을 바탕으로, 과거 프레임들을 예시로 간주하여 장기 의존성을 포착할 수 있으며, 한편으로는 범주의 대표 프레임들을 예시로 간주하여 범주 수준 모델링을 달성할 수 있습니다. 범주 수준 모델링의 보완성이 덕분에, 우리의 방법은 경량화된 아키텍처를 사용하지만 세 가지 벤치마크에서 새로운 높은 성능을 달성하였습니다. 또한, 공간-시간 네트워크를 사용하여 비디오 프레임을 처리함으로써, 우리의 방법은 효과와 효율성 사이에서 좋은 균형을 이루었습니다. 코드는 https://github.com/VividLe/Online-Action-Detection 에서 확인 가능합니다.