Le raisonnement graphique symbolique rencontre les convolutions

Au-delà des réseaux de convolution locaux, nous explorons comment exploiter diverses sources de connaissances humaines externes afin d’incorporer aux réseaux la capacité de raisonnement sémantique global. Contrairement à l’utilisation de modèles graphiques indépendants (par exemple, les CRF) ou de contraintes pour modéliser des dépendances étendues, nous proposons une nouvelle couche de raisonnement graphique symbolique (SGR), qui effectue un raisonnement sur un ensemble de nœuds symboliques dont les sorties représentent explicitement différentes propriétés sémantiques au sein d’un graphe de connaissances a priori. Pour coopérer efficacement avec les convolutions locales, chaque couche SGR est constituée de trois modules : a) un module de vote local-vers-sémantique primal, dans lequel les caractéristiques de tous les nœuds symboliques sont générées par vote à partir des représentations locales ; b) un module de raisonnement graphique qui propage l’information à travers le graphe de connaissances afin d’assurer une cohérence sémantique globale ; c) un module de cartographie sémantique-vers-local dual, qui apprend de nouvelles associations entre les nœuds symboliques évolués et les représentations locales, améliorant ainsi les caractéristiques locales. La couche SGR peut être insérée entre n’importe quelles couches de convolution et être instanciée à l’aide de graphes de connaissances a priori distincts. Des expériences étendues montrent que l’intégration de la couche SGR améliore significativement les réseaux de convolution classiques sur trois tâches de segmentation sémantique et une tâche de classification d’images. Des analyses supplémentaires démontrent que la couche SGR apprend des représentations symboliques partagées pour des domaines ou jeux de données présentant des ensembles d’étiquettes différents, lorsqu’un graphe de connaissances universel est fourni, illustrant ainsi sa capacité de généralisation supérieure.