Détection d'objets faiblement supervisée guidée par l'activité

La détection d'objets faiblement supervisée vise à réduire la quantité de supervision nécessaire pour entraîner des modèles de détection. Ces modèles sont traditionnellement appris à partir d'images/vidéos étiquetées uniquement avec la classe d'objet et non avec la boîte englobante de l'objet. Dans notre travail, nous tentons de tirer parti non seulement des étiquettes de classe d'objet, mais aussi des étiquettes d'action associées aux données. Nous montrons que l'action représentée dans l'image/vidéo peut fournir des indices forts sur l'emplacement de l'objet associé. Nous apprenons une contrainte spatiale pour l'objet en fonction de l'action (par exemple, « balle » est plus proche du « pied de la personne » dans « frapper une balle »), et intégrons cette contrainte pour entraîner simultanément un modèle conjoint de détection d'objets et de classification d'actions. Nous avons mené des expériences sur des ensembles de données vidéo et d'images pour évaluer les performances de notre modèle de détection d'objets faiblement supervisé. Notre approche a surpassé la méthode actuelle state-of-the-art (SOTA) de plus de 6 % en mAP sur le jeu de données vidéo Charades.