HyperAIHyperAI

Command Palette

Search for a command to run...

Amélioration des propositions d’actions temporelles grâce au contexte hiérarchique

Shenghai Rong Zilei Wang Qinying Liu

Résumé

La proposition d’actions temporelles (TAP) vise à générer des candidats précis d’instances d’actions dans une vidéo non tronquée. Il a été démontré que les contextes jouent un rôle fondamental pour cette tâche. Dans cet article, nous proposons un nouveau réseau hiérarchique de contexte (HCN) afin d’explorer plus en profondeur les contextes au niveau des snippets et au niveau des propositions, utilisés respectivement pour améliorer les représentations des snippets et des propositions. Premièrement, nous montrons que les différentes échelles de contextes au niveau des snippets n’ont pas toutes la même importance pour toutes les instances d’actions. À cet effet, nous intégrons un mécanisme de porte innovant dans la structure U-Net afin de capturer des contextes au niveau des snippets adaptés au contenu. Deuxièmement, pour exploiter efficacement les contextes au niveau des propositions, nous proposons un modèle d’attention auto-spécifique à haute efficacité. En empilant plusieurs modèles d’attention, nous pouvons explorer en profondeur les contextes au niveau des propositions sur une large échelle. Enfin, pour tirer parti des deux niveaux de contexte, nous équipons HCN de trois branches permettant d’évaluer les propositions selon des perspectives locales à globales. Nos expériences sur les jeux de données ActivityNet-1.3 et THUMOS14 montrent que HCN surpasse significativement les méthodes précédentes de TAP. En outre, des expériences complémentaires démontrent que notre méthode peut considérablement améliorer les performances de détection d’actions de l’état de l’art lorsqu’elle est combinée avec des classificateurs d’actions existants.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp