HyperAIHyperAI

Command Palette

Search for a command to run...

Raisonnement relationnel sur des graphes spatio-temporels pour la synthèse vidéo

Jie zhou Jiwen Lu Yucheng Han Wencheng Zhu

Résumé

Dans cet article, nous proposons une approche de modélisation dynamique des graphes pour apprendre des représentations spatio-temporelles destinées à la synthèse vidéo. La plupart des méthodes existantes de synthèse vidéo extraient des caractéristiques au niveau des images à l’aide de modèles profonds pré-entraînés sur ImageNet. À la différence de ces approches, notre méthode exploite des informations au niveau des objets et au niveau des relations afin de capturer les dépendances spatio-temporelles. Plus précisément, notre méthode construit des graphes spatiaux à partir des propositions d’objets détectés. Ensuite, un graphe temporel est établi à partir des représentations agrégées des graphes spatiaux. Par la suite, nous effectuons un raisonnement relationnel sur les graphes spatiaux et temporels à l’aide de réseaux de convolution de graphe, et extrayons des représentations spatio-temporelles pour la prédiction des scores d’importance et la sélection des segments clés. Pour éliminer les bruits relationnels causés par des nœuds fortement connectés, nous avons conçu en outre un module d’agrégation d’arêtes basé sur l’attention auto-attention, qui ignore les relations sans signification au sein des graphes. Nous avons mené des expériences étendues sur deux benchmarks populaires, à savoir les jeux de données SumMe et TVSum. Les résultats expérimentaux démontrent que la méthode proposée atteint des performances supérieures par rapport aux méthodes d’état de l’art en synthèse vidéo.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp