Inférence itérative à graphes sensible au contexte pour la dialogique visuelle

Le dialogue visuel est une tâche exigeante qui nécessite une compréhension des dépendances sémantiques entre les contextes visuels implicites et les contextes textuels. Cette tâche peut être vue comme une inférence de relations dans un modèle graphique à contextes clairsemés et à structure de graphe inconnue (descripteur de relations), et la manière de modéliser l’inférence relationnelle sensible au contexte sous-jacente est cruciale. À cet effet, nous proposons un nouveau réseau neuronal, le modèle graphique sensible au contexte (CAG, Context-Aware Graph). Chaque nœud du graphe correspond à une caractéristique sémantique conjointe, incluant à la fois des représentations contextuelles basées sur les objets (visuelles) et des représentations liées à l’historique (textuelles). La structure du graphe (les relations dans le dialogue) est mise à jour itérativement grâce à un mécanisme d’échange de messages adaptatif top-$K$. Plus précisément, à chaque étape d’échange de messages, chaque nœud sélectionne les $K$ nœuds les plus pertinents, et ne reçoit des messages que de ceux-ci. Ensuite, après la mise à jour, nous appliquons une attention graphique à tous les nœuds afin d’obtenir l’encodage final du graphe et d’inférer la réponse. Dans le cadre de CAG, chaque nœud possède des relations dynamiques au sein du graphe (des voisins $K$ différents selon le contexte), et seuls les nœuds les plus pertinents contribuent à l’inférence relationnelle sensible au contexte. Les résultats expérimentaux sur les jeux de données VisDial v0.9 et v1.0 montrent que CAG surpasser les méthodes comparatives. Les résultats de visualisation confirment en outre l’interprétabilité de notre approche.