AC-SUM-GAN : Connecter les réseaux acteur-critique et les réseaux génératifs adversariaux pour la synthèse vidéo non supervisée

Cet article présente une nouvelle méthode pour la synthèse vidéo non supervisée. L’architecture proposée intègre un modèle Actor-Critic dans un Réseau Générateur Adversarial (GAN) et formule la sélection des fragments vidéo importants (utilisés pour constituer le résumé) comme une tâche de génération de séquence. L’Actor et le Critic participent à un jeu itératif qui conduit progressivement à l’identification des fragments clés de la vidéo, et leurs choix à chaque étape du jeu génèrent des récompenses provenant du Discriminateur. Le workflow d’entraînement conçu permet à l’Actor et au Critic de découvrir un espace d’actions et d’apprendre automatiquement une politique de sélection des fragments clés. En outre, le critère introduit pour sélectionner le meilleur modèle une fois l’entraînement terminé permet une sélection automatique des valeurs appropriées pour les paramètres du processus d’entraînement qui ne sont pas appris à partir des données (tels que le facteur de régularisation σ). Une évaluation expérimentale sur deux jeux de données de référence (SumMe et TVSum) démontre que le modèle AC-SUM-GAN proposé se comporte de manière cohérente et obtient des résultats de l’état de l’art (SoA) par rapport aux méthodes non supervisées, tout en restant compétitif par rapport aux méthodes supervisées.