Réseaux de Graphes Bilineaires pour la Réponse aux Questions Visuelles

Ce papier revisite les réseaux d'attention bilinéaires dans la tâche de réponse aux questions visuelles sous l'angle des graphes. Les réseaux d'attention bilinéaires classiques construisent une carte d'attention bilinéaire pour extraire la représentation conjointe des mots de la question et des objets de l'image, mais ils ne parviennent pas à explorer pleinement les relations entre les mots pour un raisonnement complexe. En revanche, nous développons des réseaux de graphes bilinéaires pour modéliser le contexte des plongements conjoints des mots et des objets. Deux types de graphes sont étudiés, à savoir le graphe d'image et le graphe de question. Le graphe d'image transfère les caractéristiques des objets détectés vers leurs mots-clés associés, permettant aux nœuds de sortie d'avoir à la fois des informations sémantiques et factuelles. Le graphe de question échange les informations entre ces nœuds de sortie issus du graphe d'image afin d'amplifier la relation implicite mais importante entre les objets. Ces deux types de graphes coopèrent mutuellement, ce qui permet à notre modèle final de modéliser les relations et dépendances entre les objets, conduisant ainsi à la réalisation d'un raisonnement en plusieurs étapes. Les résultats expérimentaux sur l'ensemble de validation VQA v2.0 démontrent la capacité de notre méthode à traiter des questions complexes. Sur l'ensemble de test standard (test-std), notre meilleur modèle unique atteint une performance au niveau de l'état de l'art, améliorant la précision globale à 72,41%.