Modélisation des relations dans la localisation spatio-temporelle des actions

Ce document présente notre solution au défi de croisement AVA-Kinetics du workshop ActivityNet lors de la CVPR 2021. Notre solution utilise plusieurs méthodes de modélisation des relations pour la détection d'actions spatio-temporelles et adopte une stratégie d'entraînement permettant d'intégrer ces différentes méthodes de modélisation des relations dans un entraînement global sur deux grands ensembles de données vidéo. Nous avons également examiné l'apprentissage avec un mémoire bancaire (memory bank) et le réglage fin (finetuning) pour les distributions à queue longue afin d'améliorer davantage les performances. Dans ce document, nous détaillons les implémentations de notre solution et fournissons les résultats expérimentaux ainsi que les discussions correspondantes. Nous obtenons finalement un mAP de 40,67 sur l'ensemble de test AVA-Kinetics.