초록
행동 예측은 행동이 발생하기 전에 이를 감지하는 것을 목표로 합니다. 로봇공학과 감시 분야의 많은 실제 응용 프로그램들이 이러한 예측 능력과 관련되어 있습니다. 현재 방법들은 이 문제를 해결하기 위해 먼저 미래 프레임의 시각적 표현을 예측하고, 그 다음에 예측된 표현들을 행동으로 분류합니다. 그러나 이러한 예측은 단일 과거 프레임의 표현에 기반하여 이루어지므로, 과거 경향성을 무시하게 됩니다. 또한, 고정된 미래 시간만을 예측할 수 있다는 한계가 있습니다. 우리는 이러한 문제를 해결하기 위해 강화 학습 인코더-디코더(Reinforced Encoder-Decoder, RED) 네트워크를 제안합니다. RED는 여러 개의 과거 표현을 입력으로 받아 미래 표현 시퀀스를 학습하여 예측합니다. RED의 주요 특징 중 하나는 시퀀스 레벨 감독을 제공하기 위해 강화 모듈을 채택한 것입니다. 보상 함수는 시스템이 가능한 한 빠르게 올바른 예측을 하도록 설계되었습니다. 우리는 TVSeries, THUMOS-14 및 TV-Human-Interaction 데이터셋에서 행동 예측을 위한 RED를 테스트하였으며, 모든 데이터셋에서 최고 수준의 성능을 달성하였습니다.