HyperAIHyperAI

Command Palette

Search for a command to run...

PivoTAL : Supervision guidée par priori pour la localisation temporelle d'actions en supervision faible

Mei Chen Mubarak Shah Sandra Sajeev Matthew Hall Ye Yu Gaurav Mittal Mamshad Nayeem Rizve

Résumé

La localisation temporelle d’actions faiblement supervisée (WTAL) vise à localiser les actions dans des vidéos non coupées en ne disposant que d’une supervision au niveau de la vidéo. La plupart des travaux récents abordent la WTAL sous l’angle de la localisation par classification, où ces méthodes cherchent à classer chaque trame de vidéo, suivie d’un pipeline post-traitement manuellement conçu pour agréger les prédictions d’action par trame en segments d’actions. En raison de cette approche, le modèle ne possède aucune compréhension explicite des frontières des actions et a tendance à se concentrer uniquement sur les parties les plus discriminantes de la vidéo, conduisant à une localisation incomplète des actions. Pour remédier à ce problème, nous proposons PivoTAL, une supervision pilotée par priori pour la localisation temporelle d’actions faiblement supervisée, qui aborde la WTAL sous l’angle de la localisation par localisation, en apprenant directement à localiser les segments d’actions. À cette fin, PivoTAL exploite les régularités spatio-temporelles intrinsèques des vidéos sous la forme de priori scéniques spécifiques à l’action, de priori de génération de segments d’action, ainsi que d’un prior Gaussien apprenable, afin de superviser l’entraînement basé sur la localisation. PivoTAL obtient une amélioration significative (d’au moins 3 % en moyenne de mAP) par rapport à toutes les méthodes existantes sur les jeux de données de référence THUMOS-14 et ActivityNet-v1.3.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp