시간 재귀 네트워크를 이용한 온라인 동작 감지

대부분의 시간적 행동 검출 연구는 오프라인 문제로 정식화되어 있으며, 이는 전체 비디오가 완전히 관찰된 후에 행동의 시작과 종료 시간을 결정하는 것을 의미합니다. 그러나 감시 및 운전자 지원 시스템과 같은 중요한 실시간 응용 프로그램은 각 비디오 프레임이 도착하자마자 현재와 과거의 관찰만을 바탕으로 행동을 식별해야 합니다. 본 논문에서는 이러한 요구 사항을 충족하기 위해, 현재 발생 중인 행동을 더 잘 인식하기 위해 동시에 온라인 행동 검출과 즉각적인 미래 예측을 수행하는 새로운 프레임워크인 시간 재귀 신경망(Temporal Recurrent Network, TRN)을 제안합니다. 시간의 각 순간에서 우리의 접근 방식은 누적된 과거 증거와 예측된 미래 정보를 모두 활용하여 현재 발생 중인 행동을 더 정확하게 인식하고, 이를 통합한 단일 엔드투엔드 아키텍처를 구축합니다. 우리는 제안한 접근 방식을 두 개의 유명한 온라인 행동 검출 데이터셋인 HDD와 TVSeries, 그리고 다른 널리 사용되는 데이터셋인 THUMOS'14에서 평가했습니다. 결과는 TRN이 기존 최신 기술(state-of-the-art)보다 크게 우수함을 보여주었습니다.