Une Approche Étapes par Étapes Basée sur les Étiquettes pour Améliorer l'Entraînement Adversaire dans la Résumé Vidéo Non Supervisé

Dans cet article, nous présentons notre travail visant à améliorer l’efficacité de l’entraînement adversaire pour la synthèse vidéo non supervisée. Notre point de départ est le modèle SUM-GAN, qui génère un résumé représentatif sur la base de l’intuition selon laquelle un tel résumé doit permettre de reconstruire une vidéo indiscernable de la version originale. Nous nous appuyons sur une implémentation publique d’une variante de ce modèle, incluant une couche de compression linéaire afin de réduire le nombre de paramètres appris, ainsi qu’une approche incrémentale pour l’entraînement des différents composants de l’architecture. Après avoir évalué l’impact de ces modifications sur la performance du modèle, nous proposons un processus d’apprentissage progressif basé sur les étiquettes, visant à améliorer l’efficacité de la partie adversaire du modèle. Avant de mesurer l’efficacité de notre modèle, nous menons une étude approfondie des protocoles d’évaluation utilisés, et examinons son potentiel de performance sur deux jeux de données de référence : SumMe et TVSum. Les évaluations expérimentales et les comparaisons avec les méthodes de pointe mettent en évidence la compétitivité de la méthode proposée. Une étude d’ablation indique les bénéfices de chaque modification appliquée sur la performance du modèle, et souligne le rôle avantageux de la stratégie d’apprentissage progressive et étiquetée introduite sur l’efficacité d’apprentissage de la partie adversaire de l’architecture.