HyperAIHyperAI

Command Palette

Search for a command to run...

AC-SUM-GAN : Connecter les réseaux acteur-critique et les réseaux génératifs adversariaux pour la synthèse vidéo non supervisée

Ioannis Patras Vasileios Mezaris Alexandros I. Metsai Eleni Adamantidou Evlampios Apostolidis

Résumé

Cet article présente une nouvelle méthode pour la synthèse vidéo non supervisée. L’architecture proposée intègre un modèle Actor-Critic dans un Réseau Générateur Adversarial (GAN) et formule la sélection des fragments vidéo importants (utilisés pour constituer le résumé) comme une tâche de génération de séquence. L’Actor et le Critic participent à un jeu itératif qui conduit progressivement à l’identification des fragments clés de la vidéo, et leurs choix à chaque étape du jeu génèrent des récompenses provenant du Discriminateur. Le workflow d’entraînement conçu permet à l’Actor et au Critic de découvrir un espace d’actions et d’apprendre automatiquement une politique de sélection des fragments clés. En outre, le critère introduit pour sélectionner le meilleur modèle une fois l’entraînement terminé permet une sélection automatique des valeurs appropriées pour les paramètres du processus d’entraînement qui ne sont pas appris à partir des données (tels que le facteur de régularisation σ). Une évaluation expérimentale sur deux jeux de données de référence (SumMe et TVSum) démontre que le modèle AC-SUM-GAN proposé se comporte de manière cohérente et obtient des résultats de l’état de l’art (SoA) par rapport aux méthodes non supervisées, tout en restant compétitif par rapport aux méthodes supervisées.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp