HyperAIHyperAI

Command Palette

Search for a command to run...

Détection d’actions temporelles sans proposition par apprentissage masque de segmentation globale

Sauradip Nag Xiatian Zhu Yi-Zhe Song Tao Xiang

Résumé

Les méthodes existantes de détection d’actions temporelles (TAD) reposent sur la génération d’un nombre massivement élevé de propositions par vidéo. Cela entraîne des architectures de modèles complexes, dues à la génération de propositions et/ou à l’évaluation de chaque proposition en tant qu’instance d’action, ainsi qu’un coût computationnel élevé. Dans ce travail, pour la première fois, nous proposons un modèle de détection d’actions temporelles sans propositions, appelé TAGS (Temporal Action detection with Global Segmentation mask). Notre idée centrale consiste à apprendre, de manière conjointe sur toute la durée de la vidéo, un masque de segmentation global pour chaque instance d’action. Contrairement aux méthodes classiques basées sur les propositions, le modèle TAGS se concentre sur l’apprentissage de représentations temporelles globales afin de détecter directement les points de début et de fin locaux des instances d’action, sans avoir recours à des propositions. En outre, en modélisant la TAD de manière holistique plutôt que de manière locale au niveau de chaque proposition individuelle, TAGS nécessite une architecture de modèle bien plus simple et un coût computationnel réduit. Des expériences étendues montrent que, malgré sa conception simplifiée, TAGS surpasser les méthodes existantes de TAD, atteignant de nouveaux records sur deux benchmarks. Notamment, il est environ 20 fois plus rapide à entraîner et environ 1,6 fois plus efficace en phase d’inférence. Notre implémentation en PyTorch de TAGS est disponible à l’adresse suivante : https://github.com/sauradip/TAGS.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp