HyperAIHyperAI

Command Palette

Search for a command to run...

Supervision mutuelle adaptative pour la localisation temporelle d'actions sous supervision faible

Chen Ju Peisen Zhao Siheng Chen Ya Zhang Xiaoyun Zhang Qi Tian

Résumé

La localisation temporelle d’actions sous supervision faible vise à localiser des actions dans des vidéos non segmentées à l’aide uniquement d’étiquettes de catégorie d’action au niveau de la vidéo. La plupart des méthodes précédentes ignorent le problème d’incomplétude des séquences d’activation de classe (CAS), ce qui conduit à des résultats de localisation triviaux. Pour résoudre ce problème, nous proposons un cadre de supervision mutuelle adaptative (AMS) composé de deux branches : la branche principale utilise les CAS pour localiser les régions d’action les plus discriminantes, tandis que la branche complémentaire localise les régions d’action moins discriminantes grâce à un nouvel échantillonneur adaptatif. Cet échantillonneur met à jour dynamiquement l’entrée de la branche complémentaire à l’aide d’une séquence de poids d’échantillonnage négativement corrélée aux CAS provenant de la branche principale, incitant ainsi la branche complémentaire à localiser les régions d’action sous-estimées par la branche principale. Pour favoriser une amélioration mutuelle entre les deux branches, nous instaurons une supervision de localisation mutuelle : chaque branche utilise des pseudo-étiquettes de localisation générées par l’autre branche comme supervision. En optimisant alternativement les deux branches sur plusieurs itérations, nous complétons progressivement les régions d’action. Des expériences étendues sur THUMOS14 et ActivityNet1.2 démontrent que la méthode AMS proposée surpasse significativement les états de l’art.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp