Détection d’événements footballistiques à l’aide d’un réseau de neurones convolutif à deux flux et d’un réseau de neurones récurrent à dilatation

Ce papier aborde le problème de la détection et de la localisation des événements dans des vidéos longues de football (soccer). Notre idée principale est que la compréhension des dépendances à longue portée entre les cadres vidéo est essentielle pour une localisation précise des événements dans des vidéos longues de football. En outre, une détection d’événements adéquate s’avère peu probable pour des mouvements rapides dans les vidéos de football si l’on ne tient pas compte des corrélations à moyenne et courte portée entre cadres voisins. Nous affirmons qu’une amélioration significative de la détection d’événements peut être obtenue en intégrant de manière unifiée les dépendances entre cadres à courte, moyenne et longue portée dans une même architecture. Pour modéliser les dépendances à longue et moyenne portée, nous proposons d’utiliser un réseau de neurones récurrents dilatés (DilatedRNN) basé sur des unités LSTM, alimenté par des caractéristiques issues d’un réseau de neurones convolutifs à deux flux (Two-stream CNN). Alors que le Two-stream CNN extrait des caractéristiques spatio-temporelles locales nécessaires pour capturer les détails fins, le DilatedRNN permet de rendre disponibles pour le classificateur et les algorithmes de localisation les informations provenant de cadres éloignés. L’évaluation de notre algorithme de détection d’événements sur le plus grand jeu de données public disponible pour le football – SoccerNet – montre une amélioration de précision allant de 0,8 % à 13,6 % par rapport aux méthodes de pointe, et un gain pouvant atteindre 30,1 % par rapport aux méthodes de base. Nous menons également une étude ablation exhaustive afin d’analyser la contribution de chaque composant du réseau neuronal à la précision de la détection d’événements.