Apprentissage de représentation guidé sémantiquement pour l'anticipation d'actions

L’anticipation d’action consiste à prédire une activité future à partir d’une séquence d’événements partiellement observée. Toutefois, cette tâche est sujette à une incertitude intrinsèque liée à l’avenir, ainsi qu’à la difficulté de raisonner sur des actions interconnectées. Contrairement aux travaux antérieurs qui se concentrent principalement sur l’extraction d’informations visuelles et temporelles améliorées, nous nous focalisons sur l’apprentissage de représentations d’actions conscientes de leurs interconnexions sémantiques, fondées sur des motifs d’actions prototypes et des co-occurrences contextuelles. À cette fin, nous proposons un cadre novateur, nommé S-GEAR (Semantically Guided Representation Learning). S-GEAR apprend des prototypes d’actions visuelles et exploite des modèles linguistiques pour structurer leurs relations, ce qui renforce leur expressivité sémantique. Pour évaluer l’efficacité de S-GEAR, nous le testons sur quatre benchmarks d’anticipation d’actions, obtenant des résultats supérieurs à ceux des méthodes précédentes : une amélioration de +3,5, +2,7 et +3,5 points absolus en précision Top-1 sur Epic-Kitchen 55, EGTEA Gaze+ et 50 Salads, respectivement, ainsi qu’une augmentation de +0,8 point en rappel Top-5 sur Epic-Kitchens 100. Nous constatons également que S-GEAR transfère efficacement les associations géométriques entre actions, issues du langage, vers les prototypes visuels. Enfin, S-GEAR ouvre de nouvelles perspectives de recherche dans les tâches d’anticipation en mettant en évidence l’impact subtil et complexe de l’interconnexion sémantique entre les actions.