Inférence Visuelle des Étapes d'un Objectif à l'aide de wikiHow

Comprendre la séquence d'étapes nécessaires pour atteindre un objectif peut aider les systèmes d'intelligence artificielle à raisonner sur les activités humaines. Les travaux antérieurs en traitement du langage naturel (NLP) ont examiné la tâche de l'inférence des étapes pour le texte. Nous introduisons l'équivalent visuel. Nous proposons la tâche d'Inférence Visuelle des Étapes et des Objectifs (VGSI), où un modèle est donné un objectif textuel et doit choisir quelle image parmi quatre représente une étape plausible vers cet objectif. Avec un nouveau jeu de données récolté à partir de wikiHow, composé de 772 277 images représentant des actions humaines, nous montrons que notre tâche est difficile pour les modèles multimodaux de pointe. De plus, la représentation multimodale apprise à partir de nos données peut être transférée efficacement à d'autres jeux de données comme HowTo100M, augmentant la précision de la VGSI de 15 à 20 %. Notre tâche facilitera le raisonnement multimodal sur les événements procéduraux.