HyperAIHyperAI

Command Palette

Search for a command to run...

Intégrer le schéma temporel pour la synthèse vidéo non supervisée via un mécanisme d'attention

Viet H. Vo Bang Q. Vo

Résumé

Dans ce travail, nous proposons un nouveau schéma non supervisé nommé SegSum, conçu pour la synthèse vidéo par la création de résumés vidéo (video skims). La plupart des méthodes actuelles consistent à entraîner un résumeur afin qu’il attribue des scores d’importance à chaque trame vidéo, lesquels sont ensuite agrégés pour calculer des scores correspondant aux segments vidéo générés par des méthodes telles que le Kernel Temporal Segmentation (KTS). Toutefois, cette approche limite l’accès du résumeur à des informations cruciales nécessaires à la génération du résumé, en particulier les relations spatio-temporelles présentes dans les segments vidéo. La méthode proposée intègre les informations relatives aux segments obtenues via KTS dans le processus d’apprentissage du résumeur, en s’appuyant sur une architecture à attention concentrée dans les modèles d’apprentissage profond. Dans nos expérimentations, nous avons évalué de manière exhaustive notre méthode sur plusieurs jeux de données et diverses architectures pour la synthèse vidéo non supervisée. Grâce à l’intégration d’un module d’attention concentrée, nous avons obtenu des scores F1 optimaux sur des benchmarks établis, atteignant 54 % sur le jeu de données SumMe et 62 % sur TVSum. De plus, même avec un réseau régresseur simple, SegSum démontre une performance compétitive, produisant des résumés qui se rapprochent étroitement des annotations humaines.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp