Génération de graphes de scène par passage de messages itératif

La compréhension d'une scène visuelle va au-delà de la reconnaissance d'objets individuels en isolation. Les relations entre les objets constituent également une information sémantique riche sur la scène. Dans ce travail, nous modélisons explicitement les objets et leurs relations à l'aide de graphes de scènes, une structure graphique ancrée visuellement dans une image. Nous proposons un modèle novateur end-to-end qui génère une telle représentation structurée de la scène à partir d'une image d'entrée. Le modèle résout le problème d'inférence des graphes de scènes en utilisant des RNNs standards et apprend à améliorer itérativement ses prédictions par le biais du passage de messages. Notre modèle d'inférence conjointe peut tirer parti des indices contextuels pour faire de meilleures prédictions sur les objets et leurs relations. Les expériences montrent que notre modèle surpasse significativement les méthodes précédentes pour la génération de graphes de scènes en utilisant le jeu de données Visual Genome et l'inférence des relations de support avec le jeu de données NYU Depth v2.