MiniROAD: 온라인 행동 탐지를 위한 최소 RNN 프레임워크

온라인 액션 탐지(Online Action Detection, OAD)는 미래 프레임에 접근할 수 없는 스트리밍 영상에서 액션을 식별하는 작업이다. 최근에는 장거리 시간적 구조를 효과적으로 포착할 수 있는 트랜스포머(Transformer)가 주목받으며, 장거리 의존성( long-range dependencies)을 효과적으로 학습하기 위한 연구가 활발히 이루어지고 있다. 반면, 최근 트랜스포머 기반의 방법들에 비해 성능이 낮다는 점으로 인해 순환 신경망(RNN)은 최근 상대적으로 덜 주목받고 있다. 본 논문에서는 RNN이 트랜스포머 기반 알고리즘에 비해 성능이 떨어지는 근본적인 원인을 탐구한다. 연구 결과, 학습과 추론 간의 불일치가 RNN의 효과적인 학습을 방해하는 주요 요인임을 밝혀냈다. 이를 해결하기 위해 각 시간 단계에서 계산된 손실에 비균일한 가중치를 적용하는 새로운 전략을 제안한다. 이는 RNN 모델이 추론 단계와 더 유사한 환경에서 예측을 기반으로 학습할 수 있도록 해준다. THUMOS, TVSeries, FineAction 세 가지 벤치마크 데이터셋에서 실시한 광범위한 실험 결과, 제안된 방법론을 통해 학습된 최소한의 RNN 기반 모델이 기존 최고 성능의 방법들에 비해 동등하거나 더 우수한 성능을 보이며, 효율성 측면에서 크게 향상됨을 확인했다. 코드는 https://github.com/jbistanbul/MiniROAD 에 공개되어 있다.