Supervision mutuelle adaptative pour la localisation temporelle d'actions sous supervision faible

La localisation temporelle d’actions sous supervision faible vise à localiser des actions dans des vidéos non segmentées à l’aide uniquement d’étiquettes de catégorie d’action au niveau de la vidéo. La plupart des méthodes précédentes ignorent le problème d’incomplétude des séquences d’activation de classe (CAS), ce qui conduit à des résultats de localisation triviaux. Pour résoudre ce problème, nous proposons un cadre de supervision mutuelle adaptative (AMS) composé de deux branches : la branche principale utilise les CAS pour localiser les régions d’action les plus discriminantes, tandis que la branche complémentaire localise les régions d’action moins discriminantes grâce à un nouvel échantillonneur adaptatif. Cet échantillonneur met à jour dynamiquement l’entrée de la branche complémentaire à l’aide d’une séquence de poids d’échantillonnage négativement corrélée aux CAS provenant de la branche principale, incitant ainsi la branche complémentaire à localiser les régions d’action sous-estimées par la branche principale. Pour favoriser une amélioration mutuelle entre les deux branches, nous instaurons une supervision de localisation mutuelle : chaque branche utilise des pseudo-étiquettes de localisation générées par l’autre branche comme supervision. En optimisant alternativement les deux branches sur plusieurs itérations, nous complétons progressivement les régions d’action. Des expériences étendues sur THUMOS14 et ActivityNet1.2 démontrent que la méthode AMS proposée surpasse significativement les états de l’art.