Localisation d’actions à supervision faible par apprentissage multi-exemplaires par maximisation d’espérance

La localisation d’actions sous-supervisée repose sur l’apprentissage d’un modèle capable de localiser les segments d’actions dans une vidéo à partir uniquement d’étiquettes au niveau de la vidéo. Cette tâche peut être abordée dans le cadre du Multiple Instance Learning (MIL), où une « poche » (la vidéo) contient plusieurs « instances » (segments d’actions). Étant donné qu’uniquement l’étiquette de la poche est connue, le défi principal réside dans l’attribution des instances clés à l’origine de l’étiquette de la poche. La plupart des modèles précédents utilisent des approches basées sur l’attention, qui appliquent des poids d’attention pour construire une représentation de la poche à partir des instances, puis entraînent le modèle via la classification de la poche. Toutefois, ces approches violent implicitement l’hypothèse fondamentale du MIL selon laquelle les instances contenues dans des poches négatives doivent être uniformément négatives. Dans ce travail, nous modélisons explicitement l’attribution des instances clés comme une variable cachée et adoptons un cadre d’optimisation basé sur l’algorithme d’Expectation-Maximization (EM). Nous proposons deux schémas de génération de pseudo-étiquettes pour modéliser les étapes d’E (Expectation) et de M (Maximization), et optimisons itérativement une borne inférieure de la vraisemblance. Nous démontrons que notre approche EM-MIL modélise de manière plus précise à la fois l’objectif d’apprentissage et les hypothèses du MIL. Elle atteint des performances de pointe sur deux benchmarks standards, THUMOS14 et ActivityNet1.2.