Auto-Encodage de la Régression de la Distribution des Scores pour l'Évaluation de la Qualité des Actions

L'évaluation de la qualité d'action (AQA) dans les vidéos est une tâche visuelle complexe, car la relation entre les vidéos et les scores d'action est difficile à modéliser. Par conséquent, l'AQA a été largement étudiée dans la littérature. Traditionnellement, l'AQA est traitée comme un problème de régression pour apprendre les correspondances sous-jacentes entre les vidéos et les scores d'action. Cependant, les méthodes précédentes ont ignoré l'incertitude des données dans le jeu de données AQA. Pour aborder l'incertitude aléatoire, nous avons développé un module plug-and-play appelé Distribution Auto-Encoder (DAE). Plus précisément, ce module encode les vidéos en distributions et utilise la technique de réparamétrisation des auto-encodeurs variationnels (VAE) pour échantillonner des scores, ce qui établit une correspondance plus précise entre les vidéos et les scores. En parallèle, une perte de vraisemblance est utilisée pour apprendre les paramètres d'incertitude. Nous avons intégré notre approche DAE à MUSDL et CoRe. Les résultats expérimentaux sur des jeux de données publics montrent que notre méthode atteint l'état de l'art sur les jeux de données AQA-7, MTL-AQA et JIGSAWS. Notre code est disponible à l'adresse suivante : https://github.com/InfoX-SEU/DAE-AQA.