RED : Réseaux d'encodeur-décodeur renforcés pour l'anticipation des actions

L'anticipation d'action vise à détecter une action avant qu'elle ne se produise. De nombreuses applications dans le domaine de la robotique et de la surveillance sont liées à cette capacité prédictive. Les méthodes actuelles abordent ce problème en anticipant d'abord les représentations visuelles des futures images, puis en catégorisant ces représentations en actions. Cependant, l'anticipation est basée sur la représentation d'une seule image passée, ce qui ignore la tendance historique. De plus, elle ne peut anticiper qu'un temps futur fixe. Nous proposons un réseau encodeur-décodeur renforcé (RED) pour l'anticipation d'action. RED prend plusieurs représentations historiques en entrée et apprend à anticiper une séquence de représentations futures. Un aspect saillant de RED est l'adoption d'un module de renforcement pour fournir une supervision au niveau de la séquence ; la fonction de récompense est conçue pour encourager le système à faire des prédictions correctes dès que possible. Nous testons RED sur les jeux de données TVSeries, THUMOS-14 et TV-Human-Interaction pour l'anticipation d'action et obtenons des performances de pointe sur tous les jeux de données.