Apprentissage précis de représentations de graphes par pooling multiset de graphes

Les réseaux de neurones graphiques ont été largement utilisés pour modéliser des données graphes, obtenant des résultats remarquables sur des tâches telles que la classification de nœuds et la prédiction de liens. Toutefois, pour obtenir une représentation précise d’un graphe, il est nécessaire d’employer une fonction de pooling qui transforme un ensemble de représentations de nœuds en une forme compacte. Une somme ou une moyenne simple sur toutes les représentations de nœuds traite toutes les caractéristiques de nœuds de manière équivalente, sans tenir compte de leur pertinence pour la tâche ni des dépendances structurelles entre elles. En revanche, les méthodes récentes de pooling hiérarchique pour graphes peuvent produire la même représentation pour deux graphes distincts, différenciés par le test de Weisfeiler-Lehman, car elles préservent de manière sous-optimale les informations provenant des caractéristiques des nœuds. Pour surmonter ces limitations des méthodes de pooling existantes, nous formulons d’abord le problème de pooling de graphe comme un problème d’encodage de multiset, en intégrant des informations auxiliaires sur la structure du graphe, puis proposons un Graph Multiset Transformer (GMT), une couche de pooling global basée sur l’attention multi-têtes, capable de capturer les interactions entre les nœuds en fonction de leurs dépendances structurelles. Nous démontrons que GMT satisfait à la fois l’injectivité et l’invariance par permutation, ce qui implique qu’il est au moins aussi puissant que le test d’isomorphisme de graphes de Weisfeiler-Lehman. En outre, notre méthode peut être facilement étendue aux approches antérieures de regroupement de nœuds afin de réaliser un pooling hiérarchique pour graphes. Nos résultats expérimentaux montrent que GMT surpasse significativement les méthodes de pooling de graphes les plus avancées sur des benchmarks de classification de graphes, tout en offrant une efficacité élevée en mémoire et en temps, et obtient même des gains de performance encore plus importants sur des tâches de reconstruction et de génération de graphes.