Modèles récurrents pour la reconnaissance de situations

Ce travail propose des modèles de Réseaux de Neurones Récurrents (RNN) pour prédire des situations structurées d'images – des actions et des entités nominales jouant des rôles sémantiques liés à l'action. Contrairement aux travaux antérieurs qui s'appuyaient sur les Champs Aléatoires Conditionnels (CRFs), nous utilisons un réseau spécialisé pour la prédiction des actions, suivi d'un RNN pour la prédiction des noms. Notre système atteint une précision de pointe sur le jeu de données imSitu récent et difficile, surpassant les modèles basés sur les CRFs, y compris ceux entraînés avec des données supplémentaires. De plus, nous montrons que les caractéristiques spécialisées apprises à partir de la prédiction des situations peuvent être transférées à la tâche de légendage d'images afin de décrire plus précisément les interactions entre humains et objets.