HyperAIHyperAI

Command Palette

Search for a command to run...

Transformateur à court et long terme pour la détection d'actions en ligne

Mingze Xu Yuanjun Xiong Hao Chen Xinyu Li Wei Xia Zhuowen Tu Stefano Soatto

Résumé

Nous présentons le Long Short-term TRansformer (LSTR), un algorithme de modélisation temporelle pour la détection en ligne d'actions, qui utilise un mécanisme de mémoire à long et court terme pour modéliser des données de séquences prolongées. Il se compose d'un encodeur LSTR qui exploite dynamiquement des informations historiques à grande échelle issues d'une fenêtre temporelle étendue (par exemple, 2048 images couvrant jusqu'à 8 minutes), associé à un décodeur LSTR qui se concentre sur une fenêtre temporelle courte (par exemple, 32 images couvrant 8 secondes) pour modéliser les caractéristiques fines des données. Comparé aux travaux antérieurs, LSTR fournit une méthode efficace et performante pour modéliser des vidéos longues avec moins d'heuristiques, ce qui est validé par une analyse empirique approfondie. LSTR atteint des performances de pointe sur trois benchmarks standards de détection en ligne d'actions : THUMOS'14, TVSeries et HACS Segment. Le code est disponible à l'adresse suivante : https://xumingze0308.github.io/projects/lstr


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Transformateur à court et long terme pour la détection d'actions en ligne | Articles | HyperAI